WO2015046440A1 - 解析装置、顕微鏡装置、解析方法、及びプログラム - Google Patents

解析装置、顕微鏡装置、解析方法、及びプログラム Download PDF

Info

Publication number
WO2015046440A1
WO2015046440A1 PCT/JP2014/075658 JP2014075658W WO2015046440A1 WO 2015046440 A1 WO2015046440 A1 WO 2015046440A1 JP 2014075658 W JP2014075658 W JP 2014075658W WO 2015046440 A1 WO2015046440 A1 WO 2015046440A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
state
image
bright spot
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/075658
Other languages
English (en)
French (fr)
Inventor
一郎 佐瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=52743566&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2015046440(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to EP14850023.4A priority Critical patent/EP3051276B2/en
Priority to JP2015539385A priority patent/JP6292238B2/ja
Publication of WO2015046440A1 publication Critical patent/WO2015046440A1/ja
Priority to US15/079,568 priority patent/US10268033B2/en
Anticipated expiration legal-status Critical
Priority to US16/239,827 priority patent/US10527838B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/56—Optics using evanescent waves, i.e. inhomogeneous waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present invention relates to an analysis apparatus, a microscope apparatus, an analysis method, and a program.
  • This application claims priority based on Japanese Patent Application No. 2013-200705 filed on September 27, 2013, the contents of which are incorporated herein by reference.
  • STORM Stochastic Optical Reconstruction Microscopy
  • STORM Stochastic Optical Reconstruction Microscopy
  • an observation sample a fluorescent substance having a characteristic of being activated when irradiated with an activation light having a predetermined wavelength and subsequently emitting fluorescence when inactivated with an excitation light having a wavelength different from the activation light, or the fluorescence A substance to which a substance is attached is used.
  • the fluorescent material By irradiating such an observation sample with weak activation light, the fluorescent material is activated at a low density, and thereafter, excitation light is irradiated to cause the fluorescent material to emit light, thereby obtaining a fluorescent image.
  • the fluorescent luminescent spots (fluorescent substance images) are arranged at low density and are separated individually, so that the position of the center of gravity of each image can be obtained.
  • a high-resolution sample image can be obtained by repeating such a step of obtaining a fluorescent image a plurality of times, for example, several hundred times to several tens of thousands times or more, and performing image processing for synthesizing the obtained plurality of fluorescent images. .
  • An analysis apparatus is an analysis apparatus for quantifying the state of a fluorescent image including a plurality of bright spots, and is set according to the positions of the plurality of bright spots in the fluorescent image.
  • An area setting unit that quantifies the state of the bright spot included in a plurality of areas as a numerical value is provided.
  • a microscope apparatus includes a sample image generation apparatus that generates a fluorescent image including the plurality of bright spots by expressing the position of the fluorescent substance image included in the acquired fluorescent image as a bright spot. .
  • An analysis method is an analysis method for quantifying a state of a fluorescent image including a plurality of bright spots, and is set according to positions of the plurality of bright spots in the fluorescent image.
  • One aspect of the present invention provides a computer of an analysis apparatus for quantifying a state of a fluorescent image including a plurality of bright spots, and a plurality of regions set according to the positions of the plurality of bright spots in the fluorescent image.
  • An analysis apparatus is an analysis apparatus for quantifying a state of a fluorescent image including a plurality of bright spots, and is included in each of a plurality of predetermined regions in the fluorescent image.
  • a region setting unit that quantifies the state of the bright spot as a numerical value.
  • an outline of an analysis method for quantitatively analyzing a moving object such as a living cell is shown.
  • an analysis technique for quantitatively analyzing the state of cells from continuously observed fluorescence images In the conventional analysis method, the fluorescence image acquired with the pixel of the light receiving element as the smallest unit of space is handled, so the intensity distribution information of the fluorescence image (such as the intensity distribution of the fluorescence generated from the fluorescent substance contained in the observation sample) Is assigned to the smallest space unit of “pixel” and quantitatively uses the four values of the intensity value (fluorescence intensity) between the pixels (or between pixels), that is, uses the pixel intensity value (fluorescence intensity) of the image (or between images). It was possible to perform the four arithmetic operations.
  • Ratio also referred to as “PB ratio (peak to background ratio)” or FRAP (after light fade)
  • FRET fluorescence resonance energy transfer
  • STORM Stochastic Optical Reconstruction Microscopy
  • a general STORM can obtain a high-resolution sample image, but generates a sample image based on the fluorescent bright spots in a plurality of fluorescent images discretely detected on the time axis. In order to obtain one sample image, a plurality of fluorescent images detected in a predetermined period are required.
  • STORM calculates the position of the fluorescent bright spot from the luminance distribution in the fluorescent image by calculation. In short, STORM increases the resolution indicating the position of the fluorescent luminescent spot by calculating the position based on the information obtained by optically obtaining the position of the fluorescent luminescent spot.
  • a general STORM calculates the position of a fluorescent bright spot from a plurality of fluorescent images detected at different times in order to obtain one sample image.
  • it is known to increase the resolution of the obtained sample image by increasing the number of fluorescent images.
  • the STORM of the type that calculates the position of the fluorescent luminescent spot stochastically based on the luminance distribution, if the number of fluorescent images is increased to increase the resolution, the time for obtaining one sample image becomes longer. The calculation load increases. Conversely, if the number of fluorescent images is reduced in an attempt to shorten the interval for obtaining the sample image, the necessary resolution cannot be obtained.
  • the following high-resolution sample image analysis method obtains a plurality of fluorescent images including bright spots due to excitation light irradiated on the sample, and shows the positions of the bright spots calculated from image information indicating the fluorescent images Based on the analysis.
  • a predetermined area including the position of the bright spot is set as an area corresponding to the bright spot based on the position information calculated as the position of the bright spot in the sample image.
  • FIG. 1 is a schematic view showing a microscope apparatus according to this embodiment.
  • the microscope apparatus 10 includes a light source 12, a control unit 14, a microscope main body 15, a storage unit 16, and a display unit 17.
  • the microscope apparatus 10 is a microscope apparatus using super-resolution microscope technology (Stochastic Optical Reconstruction Microscopy; STORM).
  • the microscope apparatus 10 uses a sample provided with a fluorescent substance that emits fluorescence and deactivates when irradiated with excitation light L1 in an activated state.
  • This fluorescent substance has a characteristic that it becomes inactivated again when it is irradiated with activation light L2 having a wavelength different from that of the excitation light L1 after it is inactivated by emitting fluorescence when irradiated with the excitation light L1. is doing.
  • the operation movement which observes the fluorescence distributed discretely by making only the one part fluorescent substance in a sample light-emit using excitation light L1 and activation light L2, and many fluorescence images acquired by this are repeated. To form a sample image.
  • the light source 12 includes an excitation illumination system 11 and an activation illumination system 13.
  • the excitation illumination system 11 includes a laser light source 21, a shutter 22, and a total reflection mirror 32, and the excitation illumination system 11 and the microscope main body 15 are connected via the total reflection mirror 32.
  • the laser light source 21 is a light source that supplies excitation light L1 for causing the fluorescent material applied to the sample to emit light to the microscope body 15.
  • the laser light source 21 only needs to emit excitation light L1 having a wavelength suitable for the fluorescent material included in the sample. For example, a green laser (wavelength 532 nm), a red laser (wavelength 633 nm) depending on the type of the fluorescent material. , 657 nm), a violet laser (wavelength 405 nm), a blue laser (wavelength 457 nm), or the like.
  • the shutter 22 is a device that switches between supply and stop of the excitation light L1 to the microscope body 15.
  • a light shielding member that shields the excitation light L1 emitted from the laser light source 21, and an optical path of the excitation light L1 through the light shielding member. It can be set as the structure provided with the drive device made to advance / retreat with respect to.
  • an AOTF Acoustic-Optic Tunable Filter
  • the total reflection mirror 32 is for totally reflecting the excitation light L1 emitted from the laser light source 21 toward the stage 31 of the microscope main body 15 to be described later. Based on such a configuration, the excitation illumination system 11 irradiates the entire area of the observation visual field (observation region) on the stage 31 with the excitation light L1.
  • the activation illumination system 13 includes a laser light source 42, a scanner 43, and a dichroic mirror 33, and the dichroic mirror 33 is inserted into the optical path of the excitation light L1, thereby enabling the activation illumination system 13 and The microscope main body 15 is connected.
  • the dichroic mirror 33 is for reflecting the activation light L ⁇ b> 2 emitted from the laser light source 42 toward the stage 31 and transmitting the excitation light L ⁇ b> 1 toward the stage 31.
  • the laser light source 42 irradiates the microscope main body 15 with the activation light L2 for activating the fluorescent material.
  • the laser light source 42 only needs to emit the activation light L2 having a wavelength suitable for the fluorescent material included in the sample.
  • a green laser wavelength 532 nm
  • a red laser wavelength depending on the type of the fluorescent material.
  • 633 nm, 657 nm a violet laser (wavelength 405 nm), a blue laser (wavelength 457 nm), or the like can be used.
  • the scanner 43 scans the activation light L2 on the stage 31 of the microscope main body 15.
  • a biaxial galvano scanner can be used.
  • the activation illumination system 13 can irradiate the observation light field (observation region) on the stage 31 while scanning the activation light L ⁇ b> 2 by the scanner 43.
  • a laser light source device that includes the laser light source 21 and the laser light source 42 in one housing and is configured to emit a plurality of types of laser light may be employed.
  • an illumination system including the shutter 22 and the scanner 43 is configured together with the laser light source device, so that both the excitation light L1 and the activation light L2 are transmitted to the microscope body 15 by one illumination system. Supply is possible.
  • the microscope body 15 is composed of an inverted microscope, for example.
  • the microscope main body 15 includes a stage 31 on which a sample to be observed is placed.
  • the microscope body 15 is connected to a camera 34 that captures a fluorescent image of the sample placed on the stage 31.
  • the camera 34 for example, a CCD camera having a plurality of pixels is used.
  • the microscope main body 15 is supplied with an objective lens that irradiates the stage 31 with the excitation light L1 and the activation light L2, and fluorescence (observation light) emitted from a fluorescent substance in the sample.
  • An imaging lens to be coupled to the light receiving surface is provided.
  • the objective lens and the imaging lens are configured as an imaging optical system of the present invention for observing a sample placed on the stage 31.
  • the stage 31 is configured to allow total reflection illumination that totally reflects the excitation light L1 and the activation light L2 at the interface between the cover glass attached to the sample and the sample.
  • FIG. 2 is an explanatory diagram showing a case where the sample S is irradiated with the activation light L2 (or excitation light L1) by total reflection illumination. As shown in FIG. 2, according to the total reflection illumination, when the illumination light (excitation light L1, activation light L2) is totally reflected, the sample S is illuminated by the evanescent light EV that oozes out from the cover glass 31a to the sample side. Can do.
  • the range where the evanescent light EV reaches is limited to the range of about 100 to 150 nm from the interface, only the fluorescent substance located near the surface of the cover glass 31a can emit light, and it is high by significantly reducing the fluorescence of the background. It can be realized with an S / N ratio.
  • microscope main body 15 of the present embodiment is configured to be usable by switching between the total reflection illumination and the normal epi-illumination.
  • control unit 14 is a computer that comprehensively controls the microscope apparatus 10, and is connected to a storage unit 16, a display unit 17, and a camera controller 19.
  • the control unit 14 includes at least a control signal generation function that generates a control signal for controlling these devices, a fluorescence image acquisition unit 141 that acquires a fluorescence image via the camera controller 19, and a plurality of control signal generation functions.
  • An image forming unit 142 that generates a sample image from the fluorescent image of the sample, and a sample image analysis unit 143 that analyzes based on the generated sample image.
  • the sample image analysis unit 143 includes an area setting unit 143A and an analysis processing unit 143B.
  • the region setting unit 143A sets a predetermined region for the bright spot based on the sample image generated by the image forming unit 142.
  • the analysis processing unit 143B performs quantitative analysis processing based on the image information indicating the predetermined region set for each bright spot by the region setting unit 143A. For example, Ratio or FRAP may be included as quantitative analysis processing. Specific processing of the sample image analysis unit 143 will be described later.
  • the storage unit 16 includes, for example, a semiconductor memory or a hard disk, and stores a program used in the control unit 14 and data (fluorescence image or the like) supplied from the control unit 14 in a state that can be read from the control unit 14.
  • the storage unit 16 indicates position information indicating the position of the bright spot and the state of the bright spot in the identification information for identifying the bright spot for each of the bright spots.
  • Information (numerical values and the like) is stored in association with each other, and information indicating an area associated with the bright spot is also stored.
  • the display unit 17 is, for example, a monitor (display device) or a printer (printing device), and provides a function of displaying and printing video based on image data output from the control unit 14.
  • a monitor is used as the display unit 17.
  • the camera controller 19 drives and controls the camera 34 connected to the microscope body 15.
  • the camera controller 19 operates the camera 34 based on the control signal input from the control unit 14, acquires an image of fluorescence emitted from the sample, and outputs the acquired fluorescence image to the control unit 14.
  • the microscope apparatus 10 realizes various operations necessary for carrying out an image processing method to be described later by executing a combination of the functions provided in the control unit 14. Therefore, the microscope apparatus 10 generates a sample image by STORM imaging processing and image processing, that is, a fluorescent image including a plurality of bright spots by expressing the position of the fluorescent substance image included in the acquired fluorescent image as a bright spot.
  • the microscope apparatus 10 performs image analysis on a sample image obtained by imaging using a super-resolution microscope technique.
  • FIG. 3 is a flowchart showing the image processing method of the present embodiment.
  • the image processing method according to the present embodiment will be described in the description of the image observation method in the microscope apparatus 10.
  • the image processing method includes an initialization processing step S101, a sample image generation step S102, and a sample image analysis step S103.
  • the initialization process step S101 includes a step S11 for performing an initialization process required for the subsequent observation process in the microscope apparatus 10.
  • the sample image generation step S102 includes a step S12 of irradiating the observation light with the activation light L2, and a step S13 of acquiring the second fluorescence image by irradiating the observation light after the irradiation with the activation light L2 with the excitation light L1.
  • step S14 for storing the second fluorescence image, step S15 for determining the end of imaging, and step S16 for generating a sample image from the plurality of second fluorescence images.
  • sample image analysis step S103 performs processing based on the STORM image (sample image), and based on the position information calculated as the position of the bright spot in the STORM image, a predetermined region including the position of the bright spot Is set as a region corresponding to the bright spot.
  • the outline of the image observation procedure by the microscope apparatus 10 is as follows. First, in the initialization processing step S101, after the initialization processing is completed, in the sample image generation step S102, an operation of irradiating the sample with the activation light L2 and the excitation light L1 are obtained to obtain a second fluorescent image. The operation is repeated hundreds to tens of thousands of times (STORM imaging process). Then, a high-resolution STORM image is obtained by synthesizing a large number of captured second fluorescent images (STORM image processing).
  • FIG. 4 is a diagram comparing an image (conventional image) observed without using the super-resolution microscope technique and the STORM image acquired in the sample image generation step S102
  • FIG. 4 (a) is a conventional image
  • FIG. 4B is a diagram showing an example of the STORM image
  • FIG. 5 is a schematic diagram conceptually showing a conventional image
  • FIG. 6 is a schematic diagram conceptually showing a STORM image.
  • the conventional image cannot be imaged from the optical resolution limit to the details.
  • FIG. 4A the conventional image cannot be imaged from the optical resolution limit to the details.
  • the detection target indicated by the conventional image is shown as a continuous line.
  • the STORM image acquired by the STORM image processing is an image showing a result detected with a higher resolution than the conventional image.
  • discretely arranged bright spots are shown.
  • the sample image analysis step S103 performs a process of analyzing based on the STORM image (sample image). For example, the area setting unit sets a predetermined area including the position of the bright spot as an area corresponding to the bright spot based on the position information calculated as the position of the bright spot in the STORM image (step S17).
  • the bright spot P1 and the bright spot P2 shown in FIG. 6 are shown. If a person observes this sample image, it can be seen that the bright spot P1 and the bright spot P2 are adjacent to each other in the sample image. However, the position information (coordinate position) indicating each of the bright spot P1 and the bright spot P2 can be understood as being arranged at a predetermined distance.
  • the bright spot P1 and the bright spot P2 shown in the sample image are not limited to those detected as points on the same fluorescent image, but those derived from data detected at different timings are arranged on the sample image.
  • the predetermined areas C1 and C2 corresponding to the bright spots P1 and P2 are associated with the bright spots P1 and P2, respectively. . Although not shown, this region association is performed for all the bright spots in the sample image.
  • a specific bright spot is determined as a reference point.
  • “Near the bright spot” indicates a range included in a predetermined condition based on the position of the bright spot.
  • a range of “near a bright spot” is defined based on a position in space.
  • a predetermined area defined by the distance from the bright spot can be specified as a range.
  • the predetermined region is defined as a sphere, the diameter is set in a range from ⁇ 10 nm to 200 nm, for example.
  • the predetermined area can be defined as a space window that is included in a range from a position of a bright spot as a reference to a predetermined distance.
  • the vicinity of a bright spot is defined by a time interval from the time when the bright spot is detected.
  • the time point when the bright spot is detected is the starting point (origin) of the time axis
  • the time lag from the time point when the bright spot is detected can be specified by the elapsed time from the start point.
  • an elapsed time range that defines “the vicinity of a bright spot” can be defined as a period. For example, it is desirable to set the period from the period from the detection of the bright spot to 1 ms (milliseconds) to the same 10 seconds as the range.
  • the time window in which the range from the detection of a certain bright spot to the lapse of the above period is an effective detection range is set in the period.
  • a plurality of fluorescent images are detected by STORM, and at least one sample image is generated based on the fluorescent images included in this period.
  • a value indicating the state of the defined spatial region By specifying a value indicating the state of the defined spatial region, even a result detected under different conditions can be quantitatively compared. For example, to illustrate the different conditions described above, when the spectral band is detected in a different range in a predetermined region on the same space and in a predetermined period on the same time axis, or detected in another predetermined region in the space And the case where it is detected in another period on the time axis.
  • a specific evaluation value can be calculated, for example, by taking a difference between integral values detected based on different conditions or taking a ratio by the above quantitative comparison method.
  • this evaluation value is within a predetermined range determined spatially or temporally, even if it is an integral value detected under different conditions (position, time, wavelength, etc.), it is calculated from the sample image detected last time. When there is little difference from the information, it can be estimated that the same sample has been detected.
  • an analysis process based on the determined image information is performed by determining a predetermined area based on the bright spot of the sample image as described above.
  • FIG. 7 is a diagram showing bright spots in the STORM image.
  • the target range shown in FIG. 7 is described as indicating a three-dimensional space, but is not limited to processing on a two-dimensional plane.
  • FIG. 7 (a) and FIG. 7 (b) shown here show sample images detected under different conditions of the spectrum band of light in the same period in a predetermined region in the same space.
  • the wavelength band of the light of the sample image SPa shown in FIG. 7A is set to a region of 530 nm (nanometers) or longer, in other words, a region having a wavelength longer than that of green light, and the light of the sample image SPb shown in FIG.
  • the wavelength band is less than 530 nm, in other words, a region having a wavelength shorter than that of green light.
  • 530 nm is defined as a threshold
  • the wavelength band of the light of the sample image SPa shown in each figure (a) is set to an area of 530 nm (nanometers) or more, and each figure (b) is shown.
  • the band of the light wavelength of the sample image SPb is set to less than 530 nm.
  • the positions (coordinates) of symbols OR1 to OR10 in FIG. 7A indicate the positions (coordinates) of individual bright spots.
  • Reference numerals CR1 to CR10 indicate predetermined areas on the space with reference to the individual bright spots OR1 to OR10. In FIG. 7, the predetermined area is a sphere (circle). Further, the positions of the symbols OG1 to OG11 in FIG.
  • FIG. 7A is compared with FIG. 7B, it can be seen that the number and position of the detected bright spots are different. Further, in FIG. 7 (a) and FIG. 7 (b), the distance between the bright spots detected under the conditions other than the wavelength is different due to the difference in the positions of the bright spots. Recognize.
  • the sample image analysis unit 143 (FIG. 1) includes the position of the bright spot according to the position of the bright spot in each sample image.
  • the predetermined area is set as an area corresponding to the bright spot.
  • bright spot position information (coordinate position) and information indicating the bright spot state are associated with each other and stored in the storage unit 16.
  • the sample image analysis unit 143 sets a value based on the information indicating the state of the bright spot as a value indicating the state of the predetermined region.
  • the sample image analysis unit 143 treats an area included in a predetermined radius centered on the position indicated by the position information as a predetermined area.
  • the predetermined region is associated with a plurality of unit lattices smaller than the predetermined region so that the analysis can be performed with a resolution corresponding to the size of the unit lattice.
  • the sample image analysis unit 143 may apply an analysis technique such as Ratio or FARP as the analysis with the resolution corresponding to the size of the unit cell.
  • FIG. 8 is a diagram showing a method for setting an area corresponding to a bright spot in the STORM image in the present embodiment.
  • the sample image is analyzed according to the rules defined as the setting method 1 shown below.
  • Setting method 1 Filling a predetermined area with a predetermined value (filling the sphere uniformly with a value indicating the state of one bright spot in the sphere)
  • Rule 1 First, a value indicating the state of one bright spot associated with each predetermined region (sphere) is set to a predetermined constant.
  • the intensity (number of photons) of a fluorescent image emitted from a sample (molecule) and forming a bright spot may be used as a value indicating the state of the bright spot.
  • Rule 2 A value indicating the state of one bright spot associated with each predetermined area (sphere) is assigned to each area in a certain sphere indicated as the predetermined area.
  • Rule 3 Next, when there are regions that overlap each other in a plurality of predetermined regions (spheres), each of the overlapping predetermined regions (spheres) is assigned in the above rule 2 respectively.
  • a region Z1a indicated by left-down hatching indicates a region where two or more spheres overlap each other.
  • a region Z1b indicated by right-down hatching indicates a region where two or more spheres overlap a predetermined region (sphere). Comparing the region Z1a in FIG. 8 (a) with the region Z1b in FIG. 8 (b) reveals that the positions of the respective regions are different, making it easier to perform quantitative analysis.
  • the size of each predetermined region and the number of photons of the bright spot are uniform, the size of the region where the predetermined region (sphere) overlaps appears depending on the distance between the bright points. That is, the value assigned to each region changes according to the density at which bright spots exist.
  • the space can be processed as a predetermined area (sphere) having a desired size.
  • Information of desired resolution can be obtained by finely dividing the space.
  • the number of data increases according to the number of divisions, it is suitable when the analysis target area is relatively narrow. For example, when analyzing a sample image in which the presence of two types of molecules changes from moment to moment in real time, it is preferable to perform grouping within a range having a diameter of 50 nm.
  • FIG. 9 is a diagram showing a method for setting an area corresponding to a bright spot in the STORM image in the present embodiment.
  • the sample image is analyzed according to the rules defined as the setting method 2 shown below.
  • Setting method 2 When filling a predetermined area (sphere) with a predetermined value (filling the sphere uniformly with the number of bright spots contained in the sphere)
  • a predetermined value corresponding to the number of bright spots included in each predetermined area is assigned.
  • Rule 1 First, a value indicating the state of a bright spot included in a predetermined area (sphere) is calculated.
  • a numerical value corresponding to the number of bright spots included in the predetermined area (sphere) may be a value indicating the state of the bright spots included in the predetermined area (sphere).
  • Rule 2 The value calculated in rule 1 is assigned to each area in a certain sphere shown as the predetermined area.
  • Rule 3 Next, when there are regions that overlap each other in a plurality of predetermined regions (spheres), each of the overlapping predetermined regions (spheres) is assigned in the above rule 2 respectively. The sum of the numerical values is calculated, and the sum of the calculation results is newly assigned as the value of the area where the predetermined area (sphere) overlaps.
  • regions (Z21a to Z24a) shown by changing the three types of shading indicate regions having different values assigned to predetermined regions (spheres).
  • areas (Z21b to Z23b) indicated by three types of hatching indicate areas having different values assigned to the predetermined area (sphere). Comparing FIG. 9 (a) and FIG. 9 (b) reveals that the positions of the regions indicated by the respective shades are different, and it is easy to perform quantitative analysis.
  • the size of each predetermined area can be made uniform, and the density of bright spots in the predetermined area (sphere) can be expressed by the number of bright spots included in the predetermined area. For example, even when the blinking time of the bright spot varies, the influence of the variation in the blinking time can be reduced, and the quantitative analysis can be performed by eliminating the variation in the blinking time.
  • FIG. 10 is a diagram showing a method for setting a region corresponding to a bright spot in the STORM image in the present embodiment.
  • the sample image is analyzed according to a rule defined as the setting method 3 shown below.
  • Setting method 3 dividing the cube as a predetermined area and filling it with a predetermined value (filling the cube uniformly with a value indicating the state of the bright spot contained in the cube)
  • Rule 1 First, a cube having a predetermined size is arranged to divide the region. Note that the positions where the cubes are arranged may be determined along the orthogonal coordinates, and may be arranged at positions determined by the lattice. An area shown as a divided cube is defined as a predetermined area as an analysis unit.
  • a predetermined region shown as a unit grid becomes a cube.
  • the size of the unit cell is a cube having a side length of 50 nm.
  • the predetermined region does not need to be an equidistant lattice, and may be set to an arbitrary shape (random shape). Also, a value indicating the state of the predetermined area is set to a predetermined constant.
  • a numerical value proportional to the number of photons of (a plurality of or one) bright spots included in a predetermined area or a numerical value proportional to the number of the (multiple or one) bright spots included in a predetermined area, It is good also as a value to show.
  • Rule 2 A value indicating the state of a predetermined area (cube) is assigned to each predetermined area indicated as the predetermined area. In FIG. 10, the results up to rule 2 are shown as oblique projections. In FIG. 10A, cubes denoted by reference numerals QR1 to QR10 are arranged in a partial region of the lattice.
  • the positions of the cubes QR1 to QR10 are determined according to the position of the bright spot in a specific wavelength range.
  • the specific wavelength range in FIG. 10A is, for example, a wavelength range of 530 nm or more.
  • a predetermined numerical value is assigned to the cubes QR1 to QR10 according to each bright spot as a value indicating the state of the predetermined region.
  • the numerical values assigned to the cubes QR1 to QR10 are sequentially set as (2, 2, 3, 3, 3, 3, 2, 1, 1, 1).
  • FIG. 10B cubes indicated by reference numerals QG1 to QG11 are arranged in a partial region of the lattice.
  • the positions of the cubes QG1 to QG11 are determined according to the position of the bright spot in the specific wavelength range.
  • the specific wavelength range in FIG. 10B is, for example, a wavelength range of less than 530 nm.
  • predetermined numerical values are assigned to the cubes QG1 to QG11 as values indicating the state of the predetermined region in accordance with each bright spot.
  • the numerical values assigned to the cubes QG1 to QG11 are sequentially set as (2, 3, 3, 3, 3, 3, 2, 4, 3, 3, 1).
  • FIG. 10 (a) is compared with FIG. 10 (b)
  • the position of the region indicated by each cube is determined according to the wavelength of the bright spot existing in the unit cell.
  • the size of each predetermined area is equal to the size of a cube which is a unit cell. In this way, a value corresponding to the number of photons of (a plurality or one) of bright spots belonging to this area or a value proportional to the number of (a plurality of or one) of bright spots included in a predetermined area is obtained. Can be set.
  • the space can be processed as a predetermined area (cube) having a desired size.
  • Information of desired resolution can be obtained by finely dividing the space.
  • the number of data increases according to the number of divisions, it is suitable when the analysis target area is relatively narrow.
  • data that is easy to compare can be generated by matching the pitch of the pixels of the confocal image with the pitch of arranging the cube. Note that the information generated by this embodiment replaces the original signal shape (sphere) with a cube.
  • FIG. 11 is a diagram showing a method for setting a region corresponding to a bright spot in the STORM image in the present embodiment.
  • the sample image is analyzed according to a rule defined as the setting method 4 shown below.
  • Setting method 4 When a determination area (sphere) and a predetermined area (cube) are defined, and a value of the predetermined area (cube) is determined based on a result determined by the determination area (sphere))
  • a predetermined value is assigned to each predetermined area.
  • Rule 1 First, an area is divided into analysis target ranges based on a grid with predetermined intervals.
  • An area indicated as a divided unit cell is defined as a predetermined area as an analysis unit.
  • a predetermined region shown as a unit grid becomes a cube. For example, in order to analyze in real time a sample image (three-dimensional image) in which the presence of two types of molecules changes from moment to moment, the size of the unit cell is a cube having a side length of 50 nm.
  • Rule 2 Next, a determination area (sphere) corresponding to each bright spot is defined.
  • the radius of the determination area is determined so that the determination area is an area having a size larger than the unit lattice (cube).
  • the size of the determination region is, for example, a sphere having a diameter of 200 nm (radius of 100 nm).
  • the size of the unit cell and the size of the determination region can be set independently, so that the size of the unit cell and the size of the determination region can be easily set. For example, by defining a sphere having a radius according to the number of photons as the determination region, even if the size of the sphere becomes larger than the size of the unit cell, the following determination can be made without adjusting the size of the determination region.
  • each determination area is assigned a value based on information indicating the state of the bright spot located at the center of each determination area (sphere). For example, information indicating the state of the bright spot is associated with a value proportional to the number of photons at the bright spot.
  • Rule 4 Next, a value corresponding to the determination region (sphere) included in each unit lattice (cube) is set as a value indicating the state of the bright spot included in the unit case.
  • the space can be processed as a unit lattice (cube) having a desired size.
  • Information of desired resolution can be obtained by finely dividing the space.
  • the position in the space can be normalized by using the unit cell (cube), so that the analysis becomes easy.
  • the determination area (sphere) and the predetermined area (cube) are set. However, only a predetermined area having an arbitrary three-dimensional shape is set, and the number of bright spots included in each predetermined area is set.
  • the numerical value may be a value indicating the state of the bright spot included in the predetermined area.
  • FIG. 12 is a diagram showing a method for setting a region corresponding to a bright spot in the STORM image in the present embodiment.
  • the sample image is analyzed according to a rule defined as the setting method 5 shown below.
  • Setting method 5 about the case where the size of the predetermined area is determined according to the brightness of the bright spot, and is filled with a predetermined value according to the information indicating the state of the bright spot (the sphere is filled uniformly)
  • a predetermined value is assigned to each predetermined area.
  • FIG. 12 (a) unlike the spheres CR1 to CR10 having the same radius shown in FIG. 7 (a), the spheres CR1 having radii different from each other with reference to the positions of the bright spots OR1 to OR10. 'From CR10' is shown.
  • FIG. 12 (a) unlike the spheres CR1 to CR10 having the same radius shown in FIG. 7 (a), the spheres CR1 having radii different from each other with reference to the positions of the bright spots OR1 to OR10. 'From CR10' is shown.
  • FIG. 12 (a) unlike the spheres CR1 to CR10
  • Each sphere is generated according to the following rules.
  • Rule 1 First, a sphere having a radius to a second bright spot (the closest bright spot) adjacent to the first bright spot is detected. The detected sphere is defined as a predetermined area corresponding to the first bright spot. A value indicating the state of the bright spot is determined in advance for one bright spot associated with each predetermined region (sphere).
  • a numerical value proportional to the number of photons at the bright spot may be a value indicating the state of the bright spot.
  • Rule 2 A value calculated based on the value of the state of each bright spot and the volume of the fixed area (sphere) is assigned to each area in the sphere indicated as the predetermined area. For example, the result of dividing the value based on the information indicating the state of the first bright spot by the value indicating the size (volume) occupying the first area indicates the state of the bright spot included in the first area. Value.
  • the sum of the numerical values assigned in rule 2 for each of the overlapping predetermined areas (spheres) And a sum based on the calculation result may be newly assigned as the value of the area where the predetermined area (sphere) overlaps.
  • the size of each predetermined region is determined according to the density at which the bright spots exist, and the number of photons at the bright spots can be distributed according to the density. That is, the value assigned to each region can be changed according to the density at which bright spots exist.
  • the resolution can be increased when the density at which bright spots are present is high, and the resolution can be decreased when the density at which bright spots are present is low.
  • the calculation processing amount can be adjusted according to the density at which the bright spots exist, and analysis can be performed efficiently. It becomes like this.
  • the microscope apparatus 10 (analysis apparatus) can perform quantitative analysis based on a high-resolution image.
  • the present invention is not limited to the configuration shown in the above embodiment, and the configuration can be changed without changing the gist of the invention.
  • STORM is taken as an example of a fluorescence microscope apparatus that acquires a super-resolution image, and a case where quantitative analysis is performed from an image acquired by these methods is exemplified.
  • US Pat. No. 7,626, The present invention is also applicable to a case where quantitative analysis is performed from an image (sample image) captured by PALM (Photoactivation Localization Microscopy) disclosed in No. 695 or the like.
  • Dronpa is adopted as a fluorescent material.
  • Dronpa When Dronpa is irradiated with light of a predetermined intensity, it can absorb the excitation wavelength, and has a characteristic that does not emit fluorescence even when receiving excitation light in a non-activated state. Therefore, the low-resolution fluorescent image can be used as a mask image by acquiring the low-resolution fluorescent image and the high-resolution fluorescent image by adjusting the intensity of light applied to the sample as appropriate, as in the above-described STORM. The quantitative analysis can be performed from the high-resolution fluorescence image.
  • STED Stimulated emission
  • the present invention can also be applied to a case where quantitative analysis is performed from an image (sample image) captured by depletion. Even in this case, as the conventional image, the image according to the above-described embodiment or the image acquired by the above-described SIM can be used. Note that the requirements of the above-described embodiments can be combined as appropriate. Some components may not be used. In addition, as long as it is permitted by law, the disclosure of all publications and US patents relating to the devices cited in the above embodiments and modifications are incorporated herein by reference.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

　複数の輝点を含む蛍光画像の状態を定量化するための解析装置であって、前記蛍光画像において、複数の輝点の位置に応じて設定された複数の領域に含まれる前記輝点の状態を数値として定量化する領域設定部を備える。

Description

解析装置、顕微鏡装置、解析方法、及びプログラム
　本発明は、解析装置、顕微鏡装置、解析方法、及びプログラムに関する。
　本願は、２０１３年９月２７日に出願された日本国特願２０１３－２００７０５号に基づき優先権を主張し、その内容をここに援用する。
　顕微鏡装置において、蛍光技術を利用して光学系の分解能を越えた観察を可能とする超解像顕微鏡がある。超解像顕微鏡の一形態として、ＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）が知られている（例えば特許文献１参照）。このＳＴＯＲＭでは、観察試料として、所定波長の活性化光を照射すると活性化し、後に活性化光とは異なる波長の励起光を照射すると蛍光を発して不活性化する特性を有する蛍光物質又はこの蛍光物質を付着させたものが用いられる。このような観察試料に対して微弱な活性化光を照射することで低密度に蛍光物質を活性化させ、その後に励起光を照射して蛍光物質を発光させることで蛍光画像を取得する。このようにして取得した蛍光画像では、蛍光輝点（蛍光物質の像）が低密度に配置され、個々に分離されたものとなるため、個々の像の重心位置を求めることができる。このような蛍光画像を得るステップを複数回、例えば数百回～数万回以上繰り返し、得られた複数の蛍光画像を合成する画像処理を行うことにより、高分解能の試料画像を得ることができる。
　このようなＳＴＯＲＭにおいて、蛍光輝点の位置を求める手法として、得られた情報に基づいた分布の確率を算出する演算処理（Gaussian分布）の結果から擬似的に蛍光輝点の位置を算出する手法が知られている（例えば、非特許文献１参照）。
米国特許出願公開第２００８／００３２４１４号明細書
Sara A Jones, Sang-Hee Shim, Jiang He & Xiaowei Zhuang，"Fast, three-dimensional super-resolution imaging of live cells"， Nature America, Inc.，2011
　しかしながら、ＳＴＯＲＭは、高分解能にて蛍光画像を得ることができるものであるが、輝点の情報（光子数、楕円率など）が特定の座標（重心位置等）に局在しているため、画像（又は画像間）の画素強度値（蛍光光量）を利用した四則演算を含むような定量解析を行なうことができないという問題があった。
　本発明に係る態様は、高分解能の画像を基にした定量解析を行える解析装置、顕微鏡装置、解析方法、及びプログラムを提供することを目的とする。
　本発明に係る一態様の解析装置は、複数の輝点を含む蛍光画像の状態を定量化するための解析装置であって、前記蛍光画像において、複数の輝点の位置に応じて設定された複数の領域に含まれる前記輝点の状態を数値として定量化する領域設定部を備える。
　本発明に係る一態様の顕微鏡装置は、取得した蛍光画像に含まれる蛍光物質の像の位置を輝点として表すことにより、前記複数の輝点を含む蛍光画像を生成する試料画像生成装置を備える。
　本発明に係る一態様の解析方法は、複数の輝点を含む蛍光画像の状態を定量化するための解析方法であって、前記蛍光画像において、複数の輝点の位置に応じて設定された複数の領域に含まれる前記輝点の状態を数値として定量化する領域設定過程を含む。
　本発明に係る一態様は、複数の輝点を含む蛍光画像の状態を定量化するための解析装置のコンピュータに、前記蛍光画像において、複数の輝点の位置に応じて設定された複数の領域に含まれる前記輝点の状態を数値として定量化する領域設定ステップを実行させるためのプログラムである。
　本発明に係る一態様の解析装置は、複数の輝点を含む蛍光画像の状態を定量化するための解析装置であって、前記蛍光画像において、予め設定された複数の領域の各領域に含まれる前記輝点の状態を数値として定量化する領域設定部を備える。
　本発明に係る態様によれば、高分解能の画像を基にした定量解析を行うことができる。
顕微鏡装置の第１実施形態を示す構成図である。 全反射照明の模式図である。 第１実施形態に係る観察方法を示すフローチャート図である。 コンベンショナル画像とＳＴＯＲＭ画像とを比較した図である。 コンベンショナル画像を概念的に示す模式図である。 ＳＴＯＲＭ画像を概略的に示す模式図である。 ＳＴＯＲＭ画像における輝点を示す図である。 第１実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。 第２実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。 第３実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。 第４実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。 第５実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
　以下、図面を参照して顕微鏡装置及び画像生成方法の一実施形態について説明する。
　最初に、生きた細胞のように動きのある対象を定量的に解析する解析方法の概要を示す。
　例えば、継続的に観察された蛍光画像から、細胞の状態を定量的に解析する解析手法がある。従来の解析手法においては受光素子の画素（ピクセル）を空間の最小単位として取得した蛍光画像を扱うので、蛍光画像の強度分布情報（観察試料に含まれる蛍光物質から発生する蛍光の強度分布等）を「画素」という最小空間単位に割振り、定量的に画素（又は画素間）で強度値（蛍光光量）を利用した四則演算、つまり画像（又は画像間）の画素強度値（蛍光光量）を利用した四則演算を行うことができた。このようにして得た情報を基にして、定量的に解析する方法として、例えば、Ｒａｔｉｏ（「Ｐ－Ｂ比（P-B ratio（peak to background ratio））」ともいう。）やＦＲＡＰ（光褪色後蛍光回復法、fluorescence recovery after photo bleaching）やＦＲＥＴ（fluorescence resonance energy transfer）などの方法がある。上記の方法に関する詳細は、下記の文献を参照とする。
（１）Rajesh Babu Sekar and Ammasi Periasamy,”Fluorescence resonance energy transfer (FRET) microscopy imaging of live cell protein localizations”, The Journal of Cell Biology,Volume 160, Number 5, March 3,2003:629-633
（２）Richard N. Day and Fred Schaufele, ”Imaging Molecular Interactions in Living Cells”, Endocrine Society, Molecular Endocrinology, July 2005, 19(7):1675-1686
（３）Peter F. Davies, Jenny Zilberberg, Brian P. Helmke, ”Spatial Microstimuli in Endothelial Mechanosignaling”, American Heart Association, Journal of the American Heart Association, Circuiation Research 2003;92:359-370
　ただし、観察試料に含まれる蛍光物質の位置情報に基づいて作成したＳＴＯＲＭ画像は、輝点の情報（光子数、楕円率など）が位置情報（重心座標）に帰属しているので、強度値（蛍光光量）を画素単位で取得する蛍光画像に対して適用する従来の定量解析方法をそのまま適用することができなかった。
　そこで、以下の実施形態に示す手法により、高分解能の試料画像において、複数の輝点を含む蛍光画像の状態を定量化し、定量的な解析を行えるようにする解析方法について説明する。
　以下の説明では、超解像顕微鏡としてＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）を例示して説明する。
　一般的なＳＴＯＲＭは、高分解能の試料画像を得ることができるものであるが、時間軸上で離散的に検出された複数の蛍光画像における蛍光輝点を基にして試料画像を生成しており、１枚の試料画像を得るには所定の期間に検出された複数の蛍光画像を必要とする。
　ＳＴＯＲＭは、蛍光画像における輝度分布から蛍光輝点の位置を計算によって算出する。
　要するに、ＳＴＯＲＭは、蛍光輝点の位置を光学的に得た情報を基に位置を算出して蛍光輝点の位置を示す分解能を高めている。
　そのため、一般的なＳＴＯＲＭは、１つの試料画像を得るために、異なる時刻に検出された複数の蛍光画像から蛍光輝点の位置を算出する。蛍光輝点の位置を算出にあたり、蛍光画像の数を多くすることにより、得られる試料画像の分解能を高めることが知られている。ただし、輝度分布を基にして確率的に蛍光輝点の位置を算出するタイプのＳＴＯＲＭでは、分解能を高めるために蛍光画像の数を多くすると、１つの試料画像を得るための時間が長くなるとともに、演算負荷が増加してしまう。逆に、試料画像を得る間隔を短くしようとして、蛍光画像の数を少なくすると、必要な分解能が得られなくなってしまう。
　このような、一般的なＳＴＯＲＭの課題を克服しつつ、高分解能の試料画像における定量的な解析を行えるようにする一手法について説明する。
　以下に示す高分解能の試料画像の解析方法は、試料に照射した励起光による輝点を含む蛍光像を複数取得して、蛍光像を示す画像情報から算出された輝点の位置を示す試料画像を基に解析する。また、同解析方法は、試料画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定している。
　なお、本実施形態は、発明の趣旨をより良く理解させるために具体的に説明するものであり、特に指定のない限り、本発明を限定するものではない。また、以下の説明で用いる図面は、特徴をわかりやすくするために、便宜上、要部となる部分を拡大して示している場合があり、各構成要素の寸法比率などが実際と同じであるとは限らない。
　図１は本実施形態に係る顕微鏡装置を示す概略図である。
　顕微鏡装置１０は、光源１２と、制御部１４と、顕微鏡本体１５と、記憶部１６と、表示部１７とを備えている。
　本実施形態の顕微鏡装置１０は超解像顕微鏡技術（Stochastic Optical Reconstruction Microscopy；ＳＴＯＲＭ）を用いた顕微鏡装置である。顕微鏡装置１０では、活性化状態で励起光Ｌ１が照射されると蛍光を発して不活性化する蛍光物質を標識として付与された試料を用いる。この蛍光物質は、励起光Ｌ１が照射されることで蛍光を発して不活性化した後、励起光Ｌ１とは異なる波長の活性化光Ｌ２が照射されると再度活性化状態となる特性を有している。そして、励起光Ｌ１と活性化光Ｌ２とを用いて試料中の一部の蛍光物質のみを発光させることで離散的に分布した蛍光を観察する動作を繰り返し、これにより取得した多数の蛍光画像を用いて試料画像を形成する。
　本実施形態に係る光源１２は、励起照明系１１と、活性化照明系１３と、を含む。
　励起照明系１１は、レーザ光源２１と、シャッタ２２と、全反射ミラー３２とを備えており、全反射ミラー３２を介して励起照明系１１と顕微鏡本体１５とが接続されている。
　レーザ光源２１は、試料に付与した蛍光物質を発光させるための励起光Ｌ１を顕微鏡本体１５に供給する光源である。レーザ光源２１は、試料に含まれる蛍光物質に適合する波長の励起光Ｌ１を射出するものであればよく、例えば、蛍光物質の種類に応じて、緑色レーザ（波長５３２ｎｍ）、赤色レーザ（波長６３３ｎｍ、６５７ｎｍ）、紫色レーザ（波長４０５ｎｍ）、青色レーザ（波長４５７ｎｍ）などを用いることができる。
　シャッタ２２は、顕微鏡本体１５への励起光Ｌ１の供給、停止を切り替える装置であり、例えば、レーザ光源２１から射出される励起光Ｌ１を遮蔽する遮光部材と、この遮光部材を励起光Ｌ１の光路に対して進退させる駆動装置とを備えた構成とすることができる。
　あるいはシャッタ２２として、ＡＯＴＦ（Acousto-Optic Tunable Filter；音響光学フィルタ）を用いても良い。全反射ミラー３２は、レーザ光源２１から照射される励起光Ｌ１を後述する顕微鏡本体１５のステージ３１に向けて全反射させるためのものである。
　このような構成に基づき、励起照明系１１は、ステージ３１上の観察視野（観察領域）の全域に対して励起光Ｌ１を照射するようになっている。
　一方、活性化照明系１３は、レーザ光源４２と、スキャナ４３と、ダイクロイックミラー３３とを備えており、ダイクロイックミラー３３が励起光Ｌ１の光路上に挿入されることで、活性化照明系１３と顕微鏡本体１５とが接続されている。ダイクロイックミラー３３は、レーザ光源４２から照射される活性化光Ｌ２をステージ３１に向けて反射させるとともに励起光Ｌ１をステージ３１に向けて透過させるためのものである。
　レーザ光源４２は、蛍光物質を活性化するための活性化光Ｌ２を顕微鏡本体１５に向けて照射する。レーザ光源４２は、試料に含まれる蛍光物質に適合する波長の活性化光Ｌ２を射出するものであればよく、例えば、蛍光物質の種類に応じて、緑色レーザ（波長５３２ｎｍ）、赤色レーザ（波長６３３ｎｍ、６５７ｎｍ）、紫色レーザ（波長４０５ｎｍ）、青色レーザ（波長４５７ｎｍ）などを用いることができる。
　スキャナ４３は、活性化光Ｌ２を顕微鏡本体１５のステージ３１上で走査する。スキャナ４３としては、例えば、二軸のガルバノスキャナを用いることができる。
　このような構成に基づき、活性化照明系１３は、ステージ３１上の観察視野（観察領域）に対して、活性化光Ｌ２をスキャナ４３により走査しながら照射可能になっている。
　なお、光源１２として、レーザ光源２１とレーザ光源４２とを１つの筐体内に備え、複数種のレーザ光を射出可能に構成されたレーザ光源装置を採用してもよい。このようなレーザ光源装置を備える場合、レーザ光源装置とともにシャッタ２２やスキャナ４３を備えた照明系を構成することで、１つの照明系により励起光Ｌ１と活性化光Ｌ２の両方を顕微鏡本体１５に供給可能となる。
　上記顕微鏡本体１５は、例えば、倒立顕微鏡から構成されるものである。顕微鏡本体１５は、観察対象である試料を載置するステージ３１を備えている。また、顕微鏡本体１５には、ステージ３１に載置された試料の蛍光画像を撮像するカメラ３４が接続されている。カメラ３４としては、例えば複数の画素を有したＣＣＤカメラを用いている。
　また図示は省略しているが、顕微鏡本体１５には、ステージ３１に励起光Ｌ１及び活性化光Ｌ２を照射する対物レンズや、試料内の蛍光物質から放射された蛍光（観察光）をカメラ３４の受光面に結合させる結像レンズなどが設けられている。上記対物レンズ及び結像レンズは、ステージ３１に載置される試料を観察する本発明の結像光学系として構成している。
　ステージ３１は、試料に貼り付けられたカバーガラスと試料との界面で励起光Ｌ１及び活性化光Ｌ２を全反射させる全反射照明が可能に構成されている。
　図２は、全反射照明により活性化光Ｌ２（あるいは励起光Ｌ１）を試料Ｓに照射する場合を示す説明図である。図２に示すように、全反射照明によれば、照明光（励起光Ｌ１、活性化光Ｌ２）が全反射する際にカバーガラス３１ａから試料側へにじみ出るエバネッセント光ＥＶにより試料Ｓを照明することができる。エバネッセント光ＥＶが届く範囲は界面から１００～１５０ｎｍ程度の範囲に限られるため、カバーガラス３１ａ表面近傍に位置する蛍光物質のみを発光させることができ、バックグランウドの蛍光を著しく低減することで高いＳ／Ｎ比で実現することができる。
　なお、本実施形態の顕微鏡本体１５は、上記の全反射照明と、通常の落射照明とを切り替えて使用可能に構成されている。
　図１に戻り、上記制御部１４は、顕微鏡装置１０を総合的に制御するコンピュータであり、記憶部１６と、表示部１７と、カメラコントローラ１９とに接続されている。本実施形態において、制御部１４は、少なくとも、これらの装置を制御するための制御信号を生成する制御信号生成機能と、カメラコントローラ１９を介して蛍光画像を取得する蛍光画像取得部１４１と、複数の蛍光画像から試料画像を生成する画像形成部１４２と、生成された試料画像を基に解析する試料画像解析部１４３と、を有する。
　また、試料画像解析部１４３は、領域設定部１４３Ａと解析処理部１４３Ｂと、を有する。領域設定部１４３Ａは、画像形成部１４２によって生成された試料画像を基に、輝点に対して、所定領域を設定する。解析処理部１４３Ｂは、領域設定部１４３Ａによって、輝点ごとに設定された所定領域を示す画像情報に基づいて、定量解析処理を行う。例えば、定量解析処理として、Ｒａｔｉｏや、ＦＲＡＰを含めても良い。試料画像解析部１４３の具体的な処理については後述とする。
　記憶部１６は、例えば半導体メモリやハードディスクなどからなり、制御部１４において使用されるプログラムや制御部１４から供給されるデータ（蛍光画像など）を、制御部１４から読出可能な状態で記憶する。なお、本実施形態の解析処理を行うにあたり、記憶部１６は、輝点のそれぞれに対して、輝点を識別する識別情報に、その輝点の位置を示す位置情報と輝点の状態を示す情報（数値など）とを対応付けて記憶するとともに、輝点に対応付けた領域を示す情報を併せて記憶する。
　表示部１７は、例えばモニタ（表示装置）やプリンタ（印刷装置）であり、制御部１４から出力される画像データに基づく映像を表示、印刷する機能を提供する。本実施形態では、表示部１７としてモニタを用いている。
　カメラコントローラ１９は、顕微鏡本体１５に接続されたカメラ３４を駆動制御する。
　カメラコントローラ１９は、制御部１４から入力される制御信号に基づいてカメラ３４を動作させ、試料から放射された蛍光の画像を取得し、取得した蛍光画像を制御部１４に出力する。
　顕微鏡装置１０は、制御部１４に備えられた上記の機能を組み合わせて実行することにより、後述する画像処理方法の実施に必要な各種の動作を実現する。従って、顕微鏡装置１０は、ＳＴＯＲＭ撮影処理及び画像処理により試料画像を生成する、すなわち、取得した蛍光画像に含まれる蛍光物質の像の位置を輝点として表すことにより複数の輝点を含む蛍光画像を生成する試料画像生成装置、及び、生成された試料画像を基に解析する試料画像解析装置を兼ね備えたものである。
　次に、顕微鏡装置１０の動作の説明に基づき、本発明の画像解析方法の一例についても説明する。顕微鏡装置１０は超解像顕微鏡技術を用いて撮像して得た試料画像に対して画像解析を行う。
　図３は、本実施形態の画像処理方法を示すフローチャートである。以下、顕微鏡装置１０における画像観察方法について説明する中で本実施形態に係る画像処理方法についても述べる。
　画像処理方法は、初期化処理ステップＳ１０１と、試料画像生成ステップＳ１０２と、試料画像解析ステップＳ１０３と、からなる。
　初期化処理ステップＳ１０１は、顕微鏡装置１０において以降の観察処理に必要とされる初期化処理を行うステップＳ１１を含む。また、試料画像生成ステップＳ１０２は、活性化光Ｌ２を観察視野に照射するステップＳ１２と、活性化光Ｌ２照射後の観察視野に励起光Ｌ１を照射して第２の蛍光画像を取得するステップＳ１３と、第２の蛍光画像を保存するステップＳ１４と、撮影終了を判定するステップＳ１５と、複数の第２の蛍光画像から試料画像を生成するステップＳ１６と、を含む。
　また、試料画像解析ステップＳ１０３は、ＳＴＯＲＭ画像（試料画像）を基に解析する処理を行い、ＳＴＯＲＭ画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定するステップＳ１７を含む。
　顕微鏡装置１０による画像観察手順の概略は以下の通りである。
　まず、初期化処理ステップＳ１０１において、初期化処理を終えた後、試料画像生成ステップＳ１０２において、活性化光Ｌ２を試料に照射する動作と、励起光Ｌ１を照射して第２の蛍光画像を得る動作とを、数百回から数万回繰り返す（ＳＴＯＲＭ撮影処理）。そして、撮影した多数の第２の蛍光画像を合成することで、高解像度のＳＴＯＲＭ画像を得る（ＳＴＯＲＭ画像処理）。
　図４から図６を参照し、超解像顕微鏡技術を用いずに観察される画像（コンベンショナル画像）と、試料画像生成ステップＳ１０２で取得されるＳＴＯＲＭ画像との違いについて説明する。
　図４は、超解像顕微鏡技術を用いずに観察される画像（コンベンショナル画像）と、試料画像生成ステップＳ１０２で取得されるＳＴＯＲＭ画像とを比較した図であり、図４（ａ）はコンベンショナル画像の一例を示し、図４（ｂ）はＳＴＯＲＭ画像の一例を示す図である。また、図５は、コンベンショナル画像を概念的に示す模式図であり、図６は、ＳＴＯＲＭ画像を概念的に示す模式図である。
　図４（ａ）に示されるように、コンベンショナル画像は光学的な解像限界から細部まで画像化することができない。図５に示すように、コンベンショナル画像によって示される検出対象は、連続した線として示されている。
　一方、図４（ｂ）に示されるように、ＳＴＯＲＭ画像処理で取得されるＳＴＯＲＭ画像は、コンベンショナル画像に比べて高分解能で検出された結果を示す画像である。図６に示されるように、離散的に配置された輝点が示されている。
　本実施形態に係る顕微鏡装置１０では、上記課題を解決すべく、上記試料画像生成ステップＳ１０２の後、試料画像解析ステップＳ１０３において、ＳＴＯＲＭ画像（試料画像）を基に解析する処理を行う。例えば、領域設定部は、ＳＴＯＲＭ画像における輝点の位置として算出された位置情報に基づいて、該輝点の位置を含む所定領域を、該輝点に対応する領域として設定する（ステップＳ１７）。
（実施形態に共通する原理）
　前述の図６を参照し、本実施形態におけるＳＴＯＲＭ画像（試料画像）から解析を行うための原理について説明する。
　図６に示されている輝点Ｐ１と輝点Ｐ２が示されている。この試料画像を、人が観察すれば、輝点Ｐ１と輝点Ｐ２は、試料画像において互いに隣接する関係にあることがわかる。
　しかしながら、輝点Ｐ１と輝点Ｐ２をそれぞれ示す位置情報（座標位置）からは、所定の距離を隔てて配置していることがわかるに留まる。この試料画像に示される輝点Ｐ１と輝点Ｐ２は、同じ蛍光画像上の点として検出されるものに限られず、別々のタイミングで検出されたデータから導出されたものが、試料画像上に並んだ点として示されている場合がある。
　仮にこの点が、それぞれ移動した場合、先に検出されていた点が移動したものなのか、別の点が移動してきたものか、さらに、新たに検出された点であるかを、データ上から判定することが困難である。
　そこで、ＳＴＯＲＭによって生成された試料画像における個々の輝点ごとに順に以下の処理を行うことにより、輝点Ｐ１，Ｐ２に対して、輝点Ｐ１、Ｐ２に対応する所定領域Ｃ１、Ｃ２をそれぞれ関連付ける。図示していないが、この領域の関連付けは、試料画像における全ての輝点に対し行う。
　まず、特定の輝点を基準点として定める。
　「輝点の近傍」は、輝点の位置を基準とする所定の条件に含まれる範囲を示す。例えば、「輝点の近傍」の範囲を空間における位置に基づいて定義する。この場合、輝点からの距離によって定められる所定領域を範囲として特定することができる。所定領域を、球として定義した場合、その直径を例えばφ１０ｎｍから２００ｎｍまでの範囲に設定する。
　要するに、上記所定領域について、基準とする輝点の位置から、予め定められた所定の距離までに含まれる範囲とする空間窓として定義できる。
　また、例えば、「輝点の近傍」を、輝点が検出された時点からの時間の隔たりによって定義する。この場合、その輝点が検出された時点を時間軸の起点（原点）とすると、起点からの経過時間によって、輝点が検出された時点からの時間の隔たりを特定することができる。また、「輝点の近傍」を定める経過時間の範囲を期間として定義できる。例えば、輝点が検出されてから１ｍ秒（ミリ秒）までの期間から、同１０秒までの期間を範囲として設定することが望ましい。換言すれば、上記期間は、ある輝点が検出されてから、上記の期間が経過するまでの範囲を有効な検出範囲とする時間窓が設定されたものといえる。
　この期間内には、ＳＴＯＲＭによる複数の蛍光画像が検出されており、この期間内に含まれる蛍光画像に基づいて、少なくとも１つの試料画像が生成される。
　このように定義した、空間上の所定領域と、時間軸上の期間とにより定められる空間領域（２次元、３次元）の状態を示す値を特定する。定義した空間領域の状態を示す値を特定することにより、異なる条件のもとで検出された結果であっても定量的に比較することができるようになる。例えば、上記の異なる条件を例示すれば、同じ空間上の所定領域、同じ時間軸上の所定の期間にスペクトル帯域が異なる範囲で検出された場合や、空間上の他の所定領域に検出された場合や、時間軸上の他の期間に検出された場合などが挙げられる。また、上記の定量的に比較する方法によって、例えば、異なる条件の基で検出された積分値の差分を取ったり、又は比を取ったりすることにより、具体的な評価値を算出することができる。この評価値が、空間的あるいは時間的に定めた所定の範囲にある場合、異なる条件（位置、時刻、波長など）で検出された積分値であっても、前回検出された試料画像から算出された情報との差が少ない場合には、同一の試料が検出されたと推定することができる。
　そこで、上記のように試料画像の輝点に基づいた所定領域を定めることにより、定めた画像情報に基づいた解析処理を行うこととする。
　図７を参照し、以下の実施形態の説明に共通する条件を整理する。
　図７は、ＳＴＯＲＭ画像における輝点を示す図である。この図７に示されている対象範囲は、３次元空間を示すものとして説明するが、２次元平面上の処理とすることを制限するものではない。
　ここで示されている図７（ａ）と図７（ｂ）の２つの図は、同じ空間上の所定領域における、同じ期間に、光のスペクトルの帯域が異なる条件で検出された試料画像を示している。例えば、図７（ａ）に示す試料画像ＳＰａの光の波長の帯域を５３０ｎｍ（ナノメートル）以上の領域、要するに緑色光より波長が長い領域とし、図７（ｂ）に示す試料画像ＳＰｂの光の波長の帯域を５３０ｎｍ未満とし、要するに緑色光より波長が短い領域とする。以下の説明においても、５３０ｎｍ（ナノメートル）を閾値として定め、各図（ａ）に示す試料画像ＳＰａの光の波長の帯域を５３０ｎｍ（ナノメートル）以上の領域とし、各図（ｂ）に示す試料画像ＳＰｂの光の波長の帯域を５３０ｎｍ未満とする。
　図７（ａ）における符号ＯＲ１からＯＲ１０の位置（座標）は個々の輝点の位置（座標）を示す。符号ＣＲ１からＣＲ１０は個々の輝点ＯＲ１からＯＲ１０を基準とする空間上の所定領域を示し、この図７においては所定領域を球（円）とした場合を示している。また、図７（ｂ）における符号ＯＧ１からＯＧ１１の位置は個々の輝点の位置を示し、符号ＣＧ１からＣＧ１１は個々の輝点ＯＧ１からＯＧ１１を基準とする空間上の所定領域を示し、この図７においては所定領域を球（円）とした場合を示している。
　図７（ａ）と図７（ｂ）を比べると、検出された輝点の数、位置が異なっていることがわかる。さらに、図７（ａ）と図７（ｂ）とにおいて、それぞれの輝点の位置が異なることにより、波長以外の条件をそろえて検出されている輝点間の距離も相違していることがわかる。
　なお、この図７（ａ）と図７（ｂ）に示されるように、試料画像解析部１４３（図１）は、それぞれの試料画像における輝点の位置に応じて、輝点の位置を含む所定領域を輝点に対応する領域として設定する。輝点のそれぞれに対して、輝点の位置情報（座標位置）と輝点の状態を示す情報とを対応付けて、記憶部１６によって記憶されている。試料画像解析部１４３は、輝点の状態を示す情報に基づいた値を所定領域の状態を示す値とする。
　試料画像解析部１４３は、位置情報が示す位置を中心とする所定の半径に含まれる領域を所定領域として扱う。例えば、以下の実施形態に示すように、上記の所定領域を、所定領域の大きさより小さい複数の単位格子に対応付けることにより、単位格子の大きさに応じた分解能により解析を行うことができるようになる。試料画像解析部１４３は、単位格子の大きさに応じた分解能による解析としては、Ｒａｔｉｏや、ＦＡＲＰなどの解析手法を適用してもよい。
　以下、異なる実施態様を各実施形態として順に例示するが、上記の試料画像に示した条件を共通の条件とする。
（第１実施形態）
　図８を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
　図８は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
　本実施形態は、次に示す設定方法１として定めたルールに従って試料画像を解析する。
（設定方法１：所定領域を所定の値で埋める（球内を球内の一つの輝点の状態を示す値で均一に埋める）場合について）
　本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
　ルール１：まず、所定領域（球）ごとに対応付けられている一つの輝点の状態を示す値を、予め定められる所定の定数に設定する。例えば、試料（分子）から発せられ、輝点を形成する蛍光像の強度（光子数）、つまり輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
　ルール２：所定領域（球）ごとに対応付けられている一つの輝点の状態を示す値を、所定領域として示される一定の球内の領域に、それぞれ割り付ける。
　ルール３：次に、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付ける。
　図８（ａ）において左下がりのハッチングで示す領域Ｚ１ａは、２つ以上の球の所定領域（球）が重なる領域を示す。図８（ｂ）において右下がりのハッチングで示す領域Ｚ１ｂは、２つ以上の球が所定領域（球）の重なる領域を示す。図８（ａ）の領域Ｚ１ａと図８（ｂ）の領域Ｚ１ｂとを比べると、それぞれの領域の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
　上記ルールに従えば、各所定領域の大きさと、輝点の光子数が一律であれば、輝点間の距離によって、所定領域（球）が重なる領域の大きさが異なって現れる。即ち、輝点が存在する密度に応じて、各領域に割り付けられる値が変化する。
　このルールに従って処理を行うことにより、空間を所望の大きさの所定領域（球）として処理することができる。空間を細かく分割することにより、所望の分解能の情報を得ることができる。その反面、分割数に応じてデータ数が多くなることから、解析対象とする領域が比較的狭い場合に適している。
　例えば、２種類の分子の存在が時々刻々と変わる試料画像をリアルタイムで解析する際には、５０ｎｍを直径とする範囲でグルーピングすると好適である。
（第２実施形態）
　図９を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
　図９は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
　本実施形態は、次に示す設定方法２として定めたルールに従って試料画像を解析する。
（設定方法２：所定領域（球）を所定の値で埋める（球内を球の中に含まれる輝点の数で均一に埋める）場合について）
　本実施形態において、それぞれの所定領域内に、含まれる輝点の数に応じた所定の値を割り付ける場合について説明する。
　ルール１：まず、所定領域（球）に含まれる輝点の状態を示す値を算出する。
　例えば、所定領域（球）に含まれる輝点の数に応じた数値を、所定領域（球）に含まれる輝点の状態を示す値としてもよい。
　ルール２：所定領域として示される一定の球内の領域に、ルール１において算出した値をそれぞれ割り付ける。
　ルール３：次に、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付ける。
　図９（ａ）において３種類の濃淡を変えて示す領域（Ｚ２１ａからＺ２４ａ）は、所定領域（球）に割り付けられた値がそれぞれ異なる領域を示す。図９（ｂ）において３種類のハッチングで示す領域（Ｚ２１ｂからＺ２３ｂ）は、所定領域（球）に割り付けられた値がそれぞれ異なる領域を示す。図９（ａ）と図９（ｂ）とを比べると、それぞれの濃淡で示した領域の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
　上記ルールに従えば、各所定領域の大きさを一律にすることができ、その領域に含まれる輝点の数によって、所定領域（球）における輝点の密度を表すことができる。例えば、輝点の明滅時間がばらつく場合であっても、明滅時間のばらつくことによる影響を低減することができ、明滅時間のばらつきを排除して定量性の解析が行える。
（第３実施形態）
　図１０を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
　図１０は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
　本実施形態は、次に示す設定方法３として定めたルールに従って試料画像を解析する。
（設定方法３：所定領域として立方体で分割して所定の値で埋める（立方体内を立方体の中に含まれる輝点の状態を示す値で均一に埋める）場合について）
　本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
　ルール１：まず、所定の大きさの立方体を配置して領域を分割する。
　なお、立方体を配置する位置を、直交する座標に沿って格子を定め、格子によって定められる位置に配置しても良い。分割された立方体として示される領域を、解析単位とする所定領域として定義する。なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、２種類の分子の存在が時々刻々と変わる試料画像（３次元画像）をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが５０ｎｍの立方体とする。
　なお、所定領域として、等間隔の格子である必要はなく、任意の形状（ランダム形状）に設定してもよい。
　また、所定領域の状態を示す値を、予め定められる所定の定数に設定する。例えば、所定領域に含まれる（複数又は１つの）輝点の光子数に比例する数値、あるいは所定領域に含まれる（複数又は１つの）輝点の数に比例する数値を、所定領域の状態を示す値としてもよい。
　ルール２：所定領域（立方体）の状態を示す値を、所定領域として示される一定の領域に、それぞれ割り付ける。
　なお、この図１０においては、上記ルール２までの結果を斜投影図として示す。
　図１０（ａ）において、格子の一部の領域に、符号ＱＲ１からＱＲ１０として示す立方体が配置されている。立方体ＱＲ１からＱＲ１０のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図１０（ａ）における特定の波長範囲は、例えば、５３０ｎｍ以上の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体ＱＲ１からＱＲ１０に所定の数値を割り付ける。例えば、立方体ＱＲ１からＱＲ１０ごとに割り付けた数値を、順に（２、２、３、３、３、３、２、１、１、１）と設定する。
　図１０（ｂ）において、格子の一部の領域に、符号ＱＧ１からＱＧ１１として示す立方体が配置されている。立方体ＱＧ１からＱＧ１１のそれぞれの位置は、特定の波長範囲の輝点の位置に応じて定められている。図１０（ｂ）における特定の波長範囲は、例えば、５３０ｎｍ未満の波長範囲とする。ここで、上記のルールに従って、所定領域の状態を示す値として、各輝点に応じて立方体ＱＧ１からＱＧ１１に所定の数値を割り付ける。例えば、立方体ＱＧ１からＱＧ１１ごとに割り付けた数値を、順に（２、３、３、３、３、３、２、４、３、３、１）と設定する。
　上記のように、図１０（ａ）と図１０（ｂ）とを比べると、単位格子内に存在する輝点の波長に応じて、それぞれの立方体で示した領域の位置が定められていることから、輝点の波長に応じて立方体の位置が相違していることが明らかになり、定量解析が行いやすくなっていることがわかる。
　上記ルールに従えば、各所定領域の大きさが単位格子である立方体の大きさに揃っている。このようにして、この領域内に帰属している（複数又は１つの）輝点の光子数に応じた値、あるいは所定領域に含まれる（複数又は１つの）輝点の数に比例する数値を設定することができる。
　このルールに従って処理を行うことにより、空間を所望の大きさの所定領域（立方体）として処理することができる。空間を細かく分割することにより、所望の分解能の情報を得ることができる。その反面、分割数に応じてデータ数が多くなることから、解析対象とする領域が比較的狭い場合に適している。
　また、従来のコンフォーカル画像との比較において、コンフォーカル画像の画素のピッチと、上記立方体を配置するピッチとにおける互いのピッチを合わせることにより、比較しやすいデータを生成することができる。
　本実施形態によって生成される情報は、本来の信号の形（球）を立方体に置き換えていることに注意する。
（第４実施形態）
　図１１を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
　図１１は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
　本実施形態は、次に示す設定方法４として定めたルールに従って試料画像を解析する。
（設定方法４：判定領域（球）と所定領域（立方体）とを定義して、判定領域（球）によって判定された結果に基づいた値で、所定領域（立方体）の値を定める場合について）
　本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
　ルール１：まず、解析対象範囲に、予め定められた間隔の格子に基づいて領域を分割する。分割された単位格子として示される領域を、解析単位とする所定領域として定義する。
　なお、直交する座標に沿って格子を定め、格子の間隔を等しくすることにより、単位格子として示される所定領域が、立方体になる。例えば、２種類の分子の存在が時々刻々と変わる試料画像（３次元画像）をリアルタイムで解析するために、上記の単位格子の大きさを、一辺の長さが５０ｎｍの立方体とする。
　ルール２：次に、各輝点に対応する判定領域（球）を規定する。その判定領域が単位格子（立方体）より大きな大きさを有する領域となるように、判定領域の半径が定められる。
　上記の単位格子（一辺の長さが５０ｎｍの立方体）の大きさに従えば、判定領域の大きさを例えば直径２００ｎｍ（半径１００ｎｍ）の球とする。このように単位格子の大きさと判定領域の大きさとをそれぞれ独立に定めるようにしたことにより、単位格子の大きさと判定領域の大きさを容易に設定することが可能になる。例えば、光子数に応じた半径の球を判定領域として定めることにより、その球の大きさが単位格子の大きさより大きくなるような場合が生じても改めて判定領域の大きさを調整することなく以下の解析処理を進めることが可能になる。
　ルール３：次に、各判定領域（各球）に、それぞれの判定領域（球）の中心に位置する輝点の状態を示す情報に基づいた値を、それぞれ割り付ける。例えば、輝点の状態を示す情報には、輝点の光子数に比例した値が対応付けられる。
　ルール４：次に、各単位格子（立方体）内に含まれる判定領域（球）に応じた値を、単位格に含まれる輝点の状態を示す値として設定する。例えば、単位格子（立方体）内に含まれる判定領域（球）に応じた値として、判定領域（球）の体積に対する、単位格子（立方体）内に含まれる判定領域（球）の体積の比率に応じた光子数を立方体に一定値として設定する。
　ルール５：次に、複数の判定領域（球）に係る領域が、それらの判定領域（球）において互いに重なる領域がある場合、重なる判定領域（球）のそれぞれに対して上記ルール４においてそれぞれ割り付けられている数値の和を計算し、単位格子（立方体）に含まれる輝点の状態を示す値として設定する。
　なお、この図１１においては、上記ルール４までの結果を斜投影図として示し、ルール５の処理の結果の表示を省略している。
　このルールに従って処理を行うことにより、空間を所望の大きさの単位格子（立方体）として処理することができる。空間を細かく分割することにより、所望の分解能の情報を得ることができる。また、スペクトル（波長）の異なる試料画像（データ）を解析する際に、上記の単位格子（立方体）を利用することにより、空間における位置を規格化することができることから解析が容易になる。
　なお、本実施形態は、判定領域（球）と所定領域（立方体）をそれぞれ設定したが、単に任意の立体形状の所定領域のみを設定し、各所定領域に含まれる輝点の数に応じた数値を、所定領域に含まれる輝点の状態を示す値としてもよい。
（第５実施形態）
　図１２を参照し本実施形態におけるＳＴＯＲＭ画像における輝点の位置に基づいて、輝点に対応する領域を設定する一態様について説明する。
　図１２は、本実施形態におけるＳＴＯＲＭ画像における輝点に対応する領域の設定方法を示す図である。
　本実施形態は、次に示す設定方法５として定めたルールに従って試料画像を解析する。
（設定方法５：輝点の蜜度に応じて所定領域の大きさを定め、輝点の状態を示す情報に応じた所定の値で埋める（球内を均一に埋める）場合について）
　本実施形態において、それぞれの所定領域内に所定の値を割り付ける場合について説明する。
　本実施形態の場合は、図１２（ａ）において、図７（ａ）に示した同一半径の球ＣＲ１からＣＲ１０と異なり、輝点ＯＲ１からＯＲ１０の位置を基準にして、互いに半径が異なる球ＣＲ１’からＣＲ１０’が示されている。図１２（ｂ）において、図７（ｂ）に示した同一半径の球ＣＧ１からＣＧ１１と異なり、輝点ＯＧ１からＯＧ１１の位置を基準にして、互いに半径が異なる球ＣＧ１’からＣＧ１１’が示されている。各球は、以下に示すルールに従って生成されている。
　ルール１：まず、第１の輝点を基準に隣接する第２の輝点（最も近い輝点）までの距離を半径とする球を検出する。検出した球を第１の輝点に対応する所定領域として定める。所定領域（球）ごとに対応付けられている一つの輝点には、輝点の状態を示す値が予め定められる。例えば、輝点の光子数に比例する数値を、輝点の状態を示す値としてもよい。
　ルール２：それぞれの輝点の状態を示す値と、定領域（球）の体積とに基づいて算出される値を、所定領域として示される球内の領域にそれぞれ割り付ける。例えば、第１の輝点の状態を示す情報に基づいた値を、第１の領域を占める大きさ（体積）を示す値で割った結果を第１の領域に含まれる輝点の状態を示す値とする。
　なお、複数の所定領域（球）に係り、それらの所定領域（球）において互いに重なる領域がある場合、重なる所定領域（球）のそれぞれに対して上記ルール２においてそれぞれ割り付けられている数値の和を計算し、所定領域（球）の重なる領域の値として計算結果による和を新たに割り付けてもよい。
　上記ルールに従えば、各所定領域の大きさが、輝点が存在する密度に応じて定められ、かつ、輝点の光子数を、上記の密度に応じて配分することができる。即ち、輝点が存在する密度に応じて、各領域に割り付けられる値が変化させることができる。
　このルールに従って処理を行うことにより、輝点が存在する密度に応じて定められる大きさの所定領域（球）を設定して処理することができる。輝点が存在する密度が高い場合には、分解能を高めることができ、輝点が存在する密度が低い場合には分解能を下げることができる。このように、輝点が存在する密度に応じて分解能を調整することができることから、演算処理量を、輝点が存在する密度に応じて調整することができるようになり、効率よく解析が行えるようになる。
　以上の実施形態に示すように、顕微鏡装置１０（解析装置）は、高分解能の画像を基にした定量解析を行うことができる。
　なお、本発明は、上記実施形態に示す構成に限られず、発明の要旨を変更しない範囲で、構成を変更することができる。
　例えば、上記実施形態では超解像の画像を取得する蛍光顕微鏡装置としてＳＴＯＲＭを例に挙げ、これらの方法で取得した画像から定量解析を実施する場合を例示したが、米国特許第７，６２６，６９５号などに開示されるＰＡＬＭ（Photoactivation Localization Microscopy）で撮像した画像（試料画像）から定量解析を実施する場合についても適用可能である。
　ＰＡＬＭでは、例えば蛍光物質としてＤｏｒｎｐａが採用される。Ｄｒｏｎｐａは所定強度の光が照射されると、励起波長を吸収可能になり、非活性化状態では励起光を受けても、蛍光発色しない特性を有する。従って、試料に照射する光の強度を適宜調整することで、上述したＳＴＯＲＭと同様、低解像蛍光画像及び高解像蛍光画像を取得することで、低解像蛍光画像をマスク画像として用いることで高解像蛍光画像から定量解析を実施することができる。
　あるいは、ガルバノミラー方式の共焦点顕微鏡の光学系に観察用励起光のレーザ光と誘導放出用の短パルスレーザ光の２種類のレーザ光をほぼ同時に照射することで画像観察を行うＳＴＥＤ（Stimulated emission depletion）で撮像した画像（試料画像）から定量解析を実施する場合についても適用可能である。なお、この場合においても、コンベンショナル画像としては、上記実施形態に係るものや、上述のＳＩＭにより取得したものを用いることができる。
　なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。
１０　顕微鏡装置（解析装置）、１１　励起照明系、１３　活性化照明系、１４　制御部、１５　顕微鏡本体、１６　記憶部、１７　表示部、２１，４２　レーザ光源、２２　シャッタ、３１　ステージ、３２　全反射ミラー、３３　ダイクロイックミラー、３４　カメラ、４３　スキャナ、６１　水銀ランプ、１４１　初期化処理部、１４２　画像形成部、１４３　試料画像解析部、Ｌ１　励起光、Ｌ２　活性化光、Ｓ１０１　初期化処理ステップ、Ｓ１０２　試料画像生成ステップ、Ｓ１０３　試料画像解析ステップ、Ｇ１　コンベンショナル画像、Ｇ２　ＳＴＯＲＭ画像

Claims (16)

  1. 　複数の輝点を含む蛍光画像の状態を定量化するための解析装置であって、
    　前記蛍光画像において、複数の輝点の位置に応じて設定された複数の領域に含まれる前記輝点の状態を数値として定量化する領域設定部
    　を備える解析装置。
  2. 　前記領域設定部は、
    　前記輝点の位置から最寄りの他の前記輝点の位置までの距離に応じて前記領域の大きさを定める
    　請求項１に記載の解析装置。
  3. 　前記複数の領域のうち、少なくとも２つの領域は互いに大きさが異なる
    　請求項２に記載の解析装置。
  4. 　前記領域設定部は、
    　前記輝点の状態を示す数値を、前記領域の大きさを示す数値で割った結果を前記領域の状態を示す数値とする
    　請求項３に記載の解析装置。
  5. 　前記領域設定部は、
    　前記輝点の位置を中心とする所定の半径に含まれる領域を、前記領域として設定する
    　請求項１から請求項４の何れか１項に記載の解析装置。
  6. 　複数の前記領域として、第１の領域と第２の領域があり、
    　前記第１の領域の状態を示す数値を第１の状態値とし、
    　前記第２の領域の状態を示す数値を第２の状態値とし、
    　前記領域設定部は、
    　前記第１の領域と前記第２の領域とが重なる領域がある場合、前記重なる領域の状態を示す数値を第１の状態値と第２の状態値の和とする
    　請求項１から請求項５の何れか１項に記載の解析装置。
  7. 　前記領域設定部は、
    　前記領域が単位格子である場合、該単位格子の大きさより大きな大きさの判定領域をさらに設定し、
    　前記領域の状態を示す数値は、前記判定領域に含まれる前記輝点の状態を示す数値に基づいて設定される
    　請求項１から請求項６の何れか１項に記載の解析装置。
  8. 　前記領域設定部は、
    　前記領域を、任意の形状からなる領域に設定する
    　請求項１に記載の解析装置。
  9. 　前記任意の形状は、格子状の領域の単位格子である
    　請求項８に記載の解析装置。
  10. 　前記領域設定部は、
    　前記輝点の状態を示す数値を前記各領域に含まれる前記輝点の数とする
    　請求項１から請求項９の何れか１項に記載の解析装置。
  11. 　前記領域設定部は、
    　前記輝点の状態を示す数値を前記各領域に含まれる前記輝点の光子数とする
    　請求項１から請求項９の何れか１項に記載の解析装置。
  12. 　取得した蛍光画像に含まれる蛍光物質の像の位置を輝点として表すことにより、前記複数の輝点を含む蛍光画像を生成する試料画像生成装置
    　を備える顕微鏡装置。
  13. 　複数の輝点を含む蛍光画像の状態を定量化するための解析方法であって、
    　前記蛍光画像において、複数の輝点の位置に応じて設定された複数の領域に含まれる前記輝点の状態を数値として定量化する領域設定過程
    　を含む解析方法。
  14. 　複数の輝点を含む蛍光画像の状態を定量化するための解析装置のコンピュータに、
    　前記蛍光画像において、複数の輝点の位置に応じて設定された複数の領域に含まれる前記輝点の状態を数値として定量化する領域設定ステップ
    　を実行させるためのプログラム。
  15. 　複数の輝点を含む蛍光画像の状態を定量化するための解析装置であって、
    　前記蛍光画像において、予め設定された複数の領域の各領域に含まれる前記輝点の状態を数値として定量化する領域設定部
    　を備える解析装置。
  16. 　前記蛍光画像は、3次元蛍光画像であり、
    　前記領域は、3次元領域である
    　請求項１５に記載の解析装置。
PCT/JP2014/075658 2013-09-27 2014-09-26 解析装置、顕微鏡装置、解析方法、及びプログラム Ceased WO2015046440A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14850023.4A EP3051276B2 (en) 2013-09-27 2014-09-26 Analysis device, microscope device, analysis method, and program
JP2015539385A JP6292238B2 (ja) 2013-09-27 2014-09-26 装置、システム、方法、及びプログラム
US15/079,568 US10268033B2 (en) 2013-09-27 2016-03-24 Analysis device, microscope device, analysis method, and program
US16/239,827 US10527838B2 (en) 2013-09-27 2019-01-04 Analysis device, microscope device, analysis method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013200705 2013-09-27
JP2013-200705 2013-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/079,568 Continuation US10268033B2 (en) 2013-09-27 2016-03-24 Analysis device, microscope device, analysis method, and program

Publications (1)

Publication Number Publication Date
WO2015046440A1 true WO2015046440A1 (ja) 2015-04-02

Family

ID=52743566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075658 Ceased WO2015046440A1 (ja) 2013-09-27 2014-09-26 解析装置、顕微鏡装置、解析方法、及びプログラム

Country Status (4)

Country Link
US (2) US10268033B2 (ja)
EP (1) EP3051276B2 (ja)
JP (2) JP6292238B2 (ja)
WO (1) WO2015046440A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017178823A1 (en) * 2016-04-12 2017-10-19 Universitetet I Tromsø - Norges Arktiske Universitet Super-resolution imaging
WO2018008136A1 (ja) * 2016-07-07 2018-01-11 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
JP2018120224A (ja) * 2013-09-27 2018-08-02 株式会社ニコン 装置、システム、方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6231709B1 (ja) * 2016-05-31 2017-11-15 シスメックス株式会社 蛍光画像分析装置および分析方法
WO2018015950A1 (en) * 2016-07-20 2018-01-25 Technion Research & Development Foundation Ltd. Multi moire structured illumination microscopy with high index materials
CN111435192B (zh) * 2019-01-15 2021-11-23 卡尔蔡司显微镜有限责任公司 利用荧光显微镜生成荧光照片的方法
DE102019110160B4 (de) * 2019-04-17 2023-07-27 Leica Microsystems Cms Gmbh Fluoreszenzmikroskop und Verfahren zur Abbildung einer Probe
JP7237202B2 (ja) * 2019-12-11 2023-03-10 富士フイルム株式会社 制御装置、制御装置の作動方法、制御装置の作動プログラム
JP2022101163A (ja) * 2020-12-24 2022-07-06 シスメックス株式会社 蛍光画像表示方法及び蛍光画像分析装置
KR102567017B1 (ko) * 2021-01-18 2023-08-16 주식회사 나노바이오라이프 바이오칩 이미지 검출장치
CN116793841B (zh) * 2023-06-26 2024-01-02 水利部交通运输部国家能源局南京水利科学研究院 混凝土构件启裂过程快速实时可视化方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080032414A1 (en) 2006-08-07 2008-02-07 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
US7626695B2 (en) 2005-05-23 2009-12-01 Robert Eric Betzig Optical microscopy with phototransformable optical labels
JP2011508214A (ja) * 2007-12-21 2011-03-10 プレジデント アンド フェロウズ オブ ハーバード カレッジ 三次元の回折限界未満の画像解像技術
JP2012510066A (ja) * 2008-11-27 2012-04-26 カール・ツァイス・マイクロイメージング・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 分解能増進顕微鏡法
JP2012530947A (ja) * 2009-06-26 2012-12-06 カール ツァイス マイクロスコピー ゲーエムベーハー 顕微鏡画像における蛍光事象の評価方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023247A1 (fr) * 2000-09-18 2002-03-21 Vincent Lauer Dispositif de balayage optique confocal
EP2311934B1 (en) * 2001-09-06 2013-06-05 Rapid Micro Biosystems, Inc. Rapid detection of replicating cells
EP1624071B1 (en) * 2004-08-06 2008-10-22 Fuji Electric Holdings Co., Ltd. Method of detecting viable cells
US8021851B2 (en) * 2008-04-04 2011-09-20 Cambridge Enterprise Limited Thr51 phosphorylated HP 1β protein for the assessment of DNA damage
US8107711B2 (en) 2008-05-12 2012-01-31 Vala Sciences, Inc. User interface method and system for management and control of automated image processing in high content screening or high throughput screening
US20100053211A1 (en) 2008-06-27 2010-03-04 Vala Sciences, Inc. User interface method and system with image viewer for management and control of automated image processing in high content screening or high throughput screening
DE102010007730B4 (de) 2010-02-12 2021-08-26 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zum Einstellen eines geeigneten Auswerteparameters für ein Fluoreszenzmikroskop
WO2011140030A2 (en) * 2010-05-03 2011-11-10 University Of Rochester System and method for measuring the ratio of forward-propagating to back-propagating second harmonic-generation signal, and applications thereof
US9946058B2 (en) * 2010-06-11 2018-04-17 Nikon Corporation Microscope apparatus and observation method
US8424111B2 (en) * 2010-06-23 2013-04-16 Olympus Corporation Near-field optical microscope, near-field optical probe, and sample observation method
DE102010035003B4 (de) * 2010-08-20 2015-08-06 PicoQuant GmbH. Unternehmen für optoelektronische Forschung und Entwicklung Räumlich und zeitlich hochauflösende Mikroskopie
US20120231489A1 (en) * 2011-03-11 2012-09-13 Florida State University Research Foundation Iridescent surfaces and apparatus for real time measurement of liquid and cellular adhesion
JP2012237693A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5938764B2 (ja) * 2011-06-30 2016-06-22 国立大学法人鳥取大学 Ｄｎａ二本鎖切断損傷の解析装置及び解析方法
JP5747690B2 (ja) 2011-07-04 2015-07-15 株式会社ニコン 顕微鏡装置及び画像形成方法
JP2013025466A (ja) 2011-07-19 2013-02-04 Sony Corp 画像処理装置、画像処理システム及び画像処理プログラム
EP3051276B2 (en) 2013-09-27 2026-01-21 Nikon Corporation Analysis device, microscope device, analysis method, and program
US9823457B2 (en) * 2014-01-08 2017-11-21 The Regents Of The University Of California Multiplane optical microscope

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7626695B2 (en) 2005-05-23 2009-12-01 Robert Eric Betzig Optical microscopy with phototransformable optical labels
US20080032414A1 (en) 2006-08-07 2008-02-07 President And Fellows Of Harvard College Sub-diffraction image resolution and other imaging techniques
JP2011508214A (ja) * 2007-12-21 2011-03-10 プレジデント アンド フェロウズ オブ ハーバード カレッジ 三次元の回折限界未満の画像解像技術
JP2012510066A (ja) * 2008-11-27 2012-04-26 カール・ツァイス・マイクロイメージング・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 分解能増進顕微鏡法
JP2012530947A (ja) * 2009-06-26 2012-12-06 カール ツァイス マイクロスコピー ゲーエムベーハー 顕微鏡画像における蛍光事象の評価方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
PETER F. DAVIES; JENNY ZILBERBERG; BRIAN P. HELMKE: "Journal of the American Heart Association, Circulation Research", vol. 92, 2003, AMERICAN HEART ASSOCIATION, article "Spatial Microstimuli in Endothelial Mechanosignaling", pages: 359 - 370
RAJESH BABU SEKAR; AMMASI PERIASAMY: "Fluorescence resonance energy transfer (FRET) microscopy imaging of live cell protein localizations", THE JOURNAL OF CELL BIOLOGY, vol. 160, no. 5, 3 March 2003 (2003-03-03), pages 629 - 633
RICHARD N. DAY; FRED SCHAUFELE: "Imaging Molecular Interactions in Living Cells", ENDOCRINE SOCIETY, MOLECULAR ENDOCRINOLOGY, vol. 19, no. 7, July 2005 (2005-07-01), pages 1675 - 1686
SARA A JONES; SANG-HEE SHIM; JIANG HE; XIAOWEI ZHUANG: "Fast, three-dimensional super-resolution imaging of live cells", 2011, NATURE AMERICA, INC.
See also references of EP3051276A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018120224A (ja) * 2013-09-27 2018-08-02 株式会社ニコン 装置、システム、方法、及びプログラム
US10268033B2 (en) 2013-09-27 2019-04-23 Nikon Corporation Analysis device, microscope device, analysis method, and program
US10527838B2 (en) 2013-09-27 2020-01-07 Nikon Corporation Analysis device, microscope device, analysis method, and program
WO2017178823A1 (en) * 2016-04-12 2017-10-19 Universitetet I Tromsø - Norges Arktiske Universitet Super-resolution imaging
WO2018008136A1 (ja) * 2016-07-07 2018-01-11 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
US10921252B2 (en) 2016-07-07 2021-02-16 Olympus Corporation Image processing apparatus and method of operating image processing apparatus

Also Published As

Publication number Publication date
US10268033B2 (en) 2019-04-23
JP6292238B2 (ja) 2018-03-14
EP3051276B2 (en) 2026-01-21
JP2018120224A (ja) 2018-08-02
US10527838B2 (en) 2020-01-07
JPWO2015046440A1 (ja) 2017-03-09
EP3051276A1 (en) 2016-08-03
EP3051276B1 (en) 2021-03-31
EP3051276A4 (en) 2017-05-31
JP6587004B2 (ja) 2019-10-09
US20160202465A1 (en) 2016-07-14
US20190137754A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
JP6587004B2 (ja) 装置、システム、方法、及びプログラム
JP5392406B2 (ja) 顕微鏡装置、観察方法
US20220205919A1 (en) Widefield, high-speed optical sectioning
US8773758B2 (en) Microscope apparatus with an imaging system including an astigmatic difference changing device
JP6329896B2 (ja) 高分解能ルミネッセンス顕微鏡法
JP7649648B2 (ja) 誘導放出抑制を伴う蛍光顕微鏡を使用してサンプルを結像するための方法
US10753871B2 (en) Information processing device, image acquisition system, information processing method, and image information acquisition method
JP5747690B2 (ja) 顕微鏡装置及び画像形成方法
JP6617774B2 (ja) 顕微鏡装置
US12601684B2 (en) Device for measuring intrinsic autofluorescence of a biological sample and method using thereof
US7983466B2 (en) Microscope apparatus and cell observation method
WO2012144515A1 (ja) 顕微鏡装置、及び画像処理方法
WO2013005765A1 (ja) 顕微鏡装置
JP2005121602A (ja) 蛍光寿命測定装置
US12481140B2 (en) Sample observation device and sample observation method with planar light having different wavelengths
JP2004212204A (ja) 蛍光顕微鏡及び蛍光寿命の測定方法、並びに蛍光寿命の測定用プログラム
JP2020042283A (ja) 顕微鏡装置
JP2004271946A (ja) 共焦点レーザ走査型顕微鏡装置及び試料情報記録方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14850023

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014850023

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014850023

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015539385

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE