WO2001044852A2 - Microscopy method and device - Google Patents

Microscopy method and device Download PDF

Info

Publication number
WO2001044852A2
WO2001044852A2 PCT/EP2000/012120 EP0012120W WO0144852A2 WO 2001044852 A2 WO2001044852 A2 WO 2001044852A2 EP 0012120 W EP0012120 W EP 0012120W WO 0144852 A2 WO0144852 A2 WO 0144852A2
Authority
WO
WIPO (PCT)
Prior art keywords
sample
illumination
modulator
imaging system
focal plane
Prior art date
Application number
PCT/EP2000/012120
Other languages
German (de)
French (fr)
Other versions
WO2001044852A3 (en
Inventor
Achim Kirsch
Jürgen Müller
Original Assignee
Evotec Oai Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evotec Oai Ag filed Critical Evotec Oai Ag
Priority to DE20023019U priority Critical patent/DE20023019U1/en
Publication of WO2001044852A2 publication Critical patent/WO2001044852A2/en
Publication of WO2001044852A3 publication Critical patent/WO2001044852A3/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements

Definitions

  • the invention relates to a microscopy method for generating three-dimensionally spatially resolved optical images of a sample, in particular a microscopy method using a microscope with a lateral illumination modulator.
  • the invention further relates to optical imaging systems for obtaining three-dimensionally spatially resolved images of a sample.
  • the lighting of each point is ideally modulated with a different time sequence in such a way that there is no correlation with the time sequences of the lighting of all other points. For this it is necessary to choose independent random sequences for each point.
  • sets of finitely long sequences with vanishing correlation such as e.g. B. complementary Golay sequences or Hadamard sequences of the S-matrix type, which consist of a maximum of as many elements as the sequences are long, are selected. It is often sufficient because the crosstalk between two points decreases with distance, with short sequences only the correlation between points close to each other can be broken. Since these sequences also contain negative values that cannot be implemented purely optically in a transmission mask, a constant component must be added to the sequence. This causes the measured optical image to overlap a confocal with a conventional one
  • a disadvantage of this class of confocal microscopes is the contrast range of the detector required by the superimposition of the confocal and conventional signals. With a comparable signal component of the confocal and conventional image, the detector must be able to process twice the total signal compared to the desired confocal signal.
  • confocal microscopes Another disadvantage of confocal microscopes is that the confocal signal is only detected from a subset of all pixels. With confocal microscopes only Signals recorded simultaneously from approximately 2% (or even far below) to a maximum of 50% of the area of the focal plane. As a result, the measured intensity is up to a factor of 50 (or more) greater than the time-averaged intensity. In order to achieve a high data acquisition rate with these methods, it is generally necessary to work with a very high local excitation intensity. However, nonlinear processes such as the accumulation of the dye molecules in triplet states, which have a negative influence on the signal intensity, are gaining in importance.
  • the object of the invention is to provide an improved method for three-dimensional spatial microscopy and microscopes for implementing this method, with which both a high luminous efficacy and a high data acquisition rate can be achieved without the aforementioned disadvantages.
  • an optical imaging method in which a conventional first partial image of a sample is first recorded.
  • a conventional image is understood here to mean the light-microscopic image of the entire sample area under consideration.
  • the first partial image also contains interference signals which result from the fact that light which is emitted or scattered outside the focal plane, or light after multiple scattering inside and outside the focal plane Detector reached.
  • the focal plane is the image plane on which the microscope is focused for specimen imaging.
  • a second partial image is recorded on the sample, which contains only the undesired storages.
  • the sample is illuminated with laterally structured illumination and completely scanned.
  • the optical signal is recorded only from sample points that are not currently illuminated.
  • the desired three-dimensionally resolved image is finally obtained by compensating for the storages in the first field with the help of the second field.
  • the three-dimensional, spatially resolved image has a spatial resolution in the image plane and perpendicular to it.
  • Another object of the invention is to provide an optical imaging system with at least one light source for sample illumination, a device for recording a first conventional partial image of the sample, a lateral illumination modulator for structured illumination of the sample in the focal plane and a device for transmitting light from non- illuminated sample areas to a detector device.
  • the lighting modulator is formed by a DMD (Digital Mirror Device) or an LCD (Liquid Crystal Device), which are controlled according to a predetermined time pattern for the structured illumination of the sample in the focal plane.
  • the structured illumination takes place through a partially reflecting or transmitting mask, which is moved, for example, by rotation or translation.
  • a partially reflecting or transmitting mask which is moved, for example, by rotation or translation.
  • the illumination modulators are used in reflection or transmission depending on the sample, the imaging systems operate in reflection or transmission geometry and one or two light sources are provided, each with adapted illumination optics.
  • the invention has the following advantages.
  • the structure of the microscope is simplified.
  • lossy and application-specific dichroic beam splitters can be dispensed with, since the illumination and detection beam paths do not overlap.
  • a 50% beam splitter can be used to record the conventional first partial image, which reflects approximately 50% of the incident light and transmits approximately 50% almost independently of the wavelength.
  • the lighting and imaging efficiency is the same for both partial images.
  • a further advantage over the second class of confocal microscopes results from the fact that less requirements can be placed on the contrast range of the detector than with the conventional techniques, because, in contrast, the two partial images to be recorded either consist of a conventional image or of the in background contained in this image.
  • the scaling of the signal on the detector can Orientation of the conventional image and does not have to take into account further signal components added to it.
  • Another advantage results from the fact that signals from sample areas are recorded which are not irradiated with the maximum intensity. Nonlinear effects such as the accumulation in triplet states, which increasingly occur in dyes with a high excitation intensity and thus reduce the fluorescence signal, are avoided. This means that there are less stringent requirements for the photophysical properties of the dyes.
  • FIG. 1 a schematic representation of the light path in an optical imaging system according to a first embodiment of the invention with two light sources
  • FIG. 2 shows a schematic illustration of the light path in an optical imaging system according to a further embodiment of the invention with a light source
  • FIG. 3 a schematic representation of the light path in an optical imaging system according to a further embodiment of the invention with a rotating mask
  • FIG. 4 a schematic representation of the light path in an optical imaging system according to a further embodiment of the invention in a transmission geometry.
  • the imaging technology according to the invention can be implemented with lighting modulators which are used as transmitted light modulators (for example programmable aperture masks based on liquid crystals (LCD) or micromechanical switches), as reflection modulators (for example DMD) or mixed forms thereof (for example partially reflecting and transmitting panes) are executed.
  • transmitted light modulators for example programmable aperture masks based on liquid crystals (LCD) or micromechanical switches
  • reflection modulators for example DMD
  • mixed forms thereof for example partially reflecting and transmitting panes
  • FIG. 1 comprises a first light source 110, an illumination modulator 120 with a multiplicity of illumination elements 121, an imaging optics 130, a detector device 150 and a second light source 160.
  • the reference numeral 140 refers to a sample that is associated with the imaging system 100 is to be mapped.
  • light sources 110 and 160 z. B. use filtered white light lamps or laser light sources, both light sources preferably having the same type. zen, for example to excite a certain fluorescence in the sample 140.
  • a first illumination light path for uniform illumination of the sample 140 is formed by the first light source 110 via a field lens 111, the illumination empler 113 and the imaging optics 132.
  • the second light source 160 forms a second illumination light path for sample illumination with a laterally varying intensity m of the focal plane via a further field lens 161, the illumination modulator 120 and the imaging optics 130.
  • the lighting modulator 120 shown here is a DMD.
  • the DMD 120 contains a matrix arrangement of individual mirrors which can be tilted independently of one another between two stable positions, which form the modulator elements and of which only two mirrors 121 are shown in one of the pivot positions for reasons of clarity (121a and 121b).
  • the deflection from the DMD area depends on the specific design of the DMD used and can be, for example, ⁇ 10 ° with typical mirror dimensions of around 16 ⁇ m.
  • the structure and control technology of DMDs are known per se from the prior art, so that they are not further explained here.
  • the imaging optics 130 comprise a first field lens 131 and an objective 132.
  • the detector device 150 comprises an imaging optics 151, a filter 152 and a detector camera 153. With the detector camera 153, light from all sample areas or only from the unilluminated points of the focal plane is optionally recorded.
  • the imaging optics 151 can be used both with lenses and with mirrors such as, for example, an opener triplet according to the patent US Pat reflective elements. Due to the imaging properties of the Offner triplet, it is very well suited, for example, for use with a DMD.
  • the imaging system 130 is arranged in such a way that the illumination modulator 120 is real-sized in a microscope application, the sample 140 is imaged.
  • the two pivot positions 121a and 121b of the mirrors 121 can be differentiated according to their function for lighting or detection. In the position 121a of the mirrors 121 (see lower partial image in FIG. 1), these guide light from the lamp 110 with the imaging optics 130 onto the sample 140 (illumination). In contrast, the lighting modulators in position 121b are oriented such that light is reflected from the sample 140 to the detector device 150 (detection).
  • the light from the first light source 110 is directed onto the sample 140 via the field lenses 111, the illumination empler 113 and the imaging optics 132.
  • the lighting empler is here a prismatic beam splitter or a semitransparent mirror with a permeability of, for example, 50%.
  • a shutter 112 can be installed or the lighting empler 113 can be switched or pivoted.
  • the spatially three-dimensional image recording with an optical imaging system 100 according to Figure 1 is carried out by alternating sample imaging with the following settings:
  • a first imaging mode the lighting with the first light source 110 is released either with the shutter 112 or the switchable lighting empler 113, so that the entire sample is illuminated via the illumination empler 113.
  • all of the mirrors 121 of the DMD 120 are pivoted into the detection position 121b, so that no light reaches the sample 140 from the light source 160 and the entire sample is imaged on the detector device 150 (detection of the first, conventional partial image).
  • the light path from the first light source 110 to the sample 140 is blocked by the shutter 112 or the switchable mirror 113.
  • the sample 140 is now illuminated with the light source 160 via the mirrors 121 of the DMD 120 pivoted into the illumination position 121a. Which mirrors 121 of the DMD 120 are pivoted into the illumination position in chronological order and which points in the focal plane of the sample 140 are illuminated depends on the respective modulation pattern.
  • the modulation pattern determines the time-dependent illumination sequence or the time-dependent aperture pattern with which the focal plane of the sample 140 is illuminated.
  • the modulation pattern can be based, for example, on a so-called pseudo-random sequence with finite length, a Hadamard sequence of the S-matrix type or a random sequence. In particular, all sequences can be implemented, which are described in EP 0 911 667 AI and WO 97/31282.
  • the sample 140 is illuminated with time-dependent modulation patterns by imaging the micromirrors 121 into the focal plane. Simultaneously, the light emitted in the remaining sample 140 (scattered light and fluorescent light) is directed to the detector device 150 via the imaging optics 130 and the microscope mirrors 121 pivoted in the detection position 121b.
  • the detector camera 153 takes a two-dimensional one Image of the sample 140, with m being detected at any time in the focal plane only from those points that are not illuminated in each case. This second sub-picture thus essentially consists of the background contributions.
  • the partial images determined during the first or second sample acquisition are evaluated to determine an image of the focal plane.
  • the difference image is calculated from the first and second partial images.
  • the signals of the partial images are preferably initially weighted such that the signal components contained in the two partial images cancel each other outside the focal plane. This can be done as follows:
  • a test object is arranged in the form of a scattering or fluorescent flat disk or another arbitrary, as homogeneously scattering or fluorescent object as possible outside the focal plane.
  • the test object is alternately illuminated with the first and second light sources 110 and 160 and the respective signal distributions are recorded in accordance with the two imaging modes.
  • Corresponding normalization factors result from the quotient of the signal distributions, which are taken into account in the aforementioned difference formation.
  • a common normalization factor or specific normalization factors for individual pixels or groups of pixels are determined for the entire image.
  • FIG. 2 An alternative embodiment of an optical imaging system 100 according to the invention is shown in FIG. 2. at In this embodiment, only one light source 170 is provided, the light of which can be selected via the field lens 171, the switchable or pivotable illumination empler 172 and the imaging optics 131 or the deflecting mirror 173, the micromirror 121 of the DMD 120 pivoted in the illumination position and the imaging optics 130 is directed to the test.
  • the conventional illumination of the entire sample takes place via the illumination empler 172 designed as a prism beam splitter or partially transparent mirror, as has already been described for FIG. 1 (light source 110).
  • the illumination takes place via the micromirrors 121 of the DMD 120 pivoted into the illumination position 121a, as has already been described, while light from the non-illuminated areas of the focal plane is recorded by means of the detector device 150.
  • all elements of the DMD are pivoted 120 m to the detection position 121 b or the illumination empler 172 is brought out of the beam path. Even if it is not shown in FIG. 2, an optional construction with shutters is possible. Otherwise, the imaging system 100 according to FIG. 2 corresponds to the first embodiment described above, so that the individual components are identified by the same reference numerals as above.
  • Reference numeral 174 denotes a shutter. Electromechanical shutters (e.g. diaphragms or swiveling mirrors, operated e.g. with electric motors or lifting magnets) are preferably used as shutters.
  • the sample is also imaged, as described above, by recording two fields according to the two imaging modes and then into one spatially three-dimensionally resolved image of the sample.
  • the DMD 120 is in turn driven according to the modulation patterns already mentioned.
  • FIG. 3 A further embodiment of an imaging system 200 according to the invention with a partially transparent and partially reflecting rotating mask is shown in FIG. 3. It comprises a light source 210, a mask 220 as a lighting modulator, an imaging optics 230 and a detector device 250 consisting of an imaging optics 251, a filter 252 and a detector camera 253.
  • the reference numeral 240 refers to a sample that is to be imaged with the imaging system 200.
  • the light source 210 illuminates the mask 220 via the field lens 211, which is imaged into the sample 240 with the illumination optics 230. In the focal plane of the sample 240, there is thus an illumination pattern which corresponds to the reflection pattern imprinted on the mask 220.
  • the light emitted by the sample 240 is imaged on the mask 220 using the imaging optics 230.
  • the imaging optics 251 the mask 220 is imaged on the detector camera 253. Similar to the imaging optics 151, the imaging optics 251 can be constructed from both refractive and reflective elements.
  • the imaging modes described here differ in the optical properties of individual subareas (sectors) of the mask 220.
  • a preferred embodiment of the mask 220 is shown in the lower part of FIG. 3.
  • a first imaging mode results from the fact that the homogeneous partially reflecting sector a of the mask 220 is used for uniform, conventional illumination of the sample 240.
  • the light emitted by the sample 240 can partially pass through the homogeneous sector of the mask 220 and is imaged on the detector camera 253 (acquisition of the conventional partial image).
  • a sector b of the mask 220 is used, on which, for. B. by means of photolithographic techniques, the aforementioned modulation patterns were impressed. Fully mirrored and completely transmitting zones are arranged here according to the desired modulation pattern.
  • the modulation pattern can be selected as in the previously described embodiments, for example as a pseudo-random number sequence. Due to the rotation of the mask 220, the lateral arrangement of the aperture patterns on the disk 220 results in a time-dependent lighting sequence for the individual points of the focal plane.
  • this mask 220 acts in such a way that only light from points that are not currently illuminated pass through the mask and can be recorded with the detector device 250.
  • the second partial image recorded with the detector camera 253 thus essentially consists of the undesirable background contributions.
  • the further image processing for obtaining a three-dimensionally resolved image of the focal plane of the sample 240 from the two partial images is carried out according to the methods described above.
  • the positions of the illumination device 210, 211 and the detector device 250 can optionally be interchanged without any further changes.
  • FIG. 300 A further alternative embodiment of an optical imaging system 300 according to the invention for examinations in transmission geometry is shown in FIG. It comprises a light source 310 which illuminates an illumination modulator 320 via a field lens 311.
  • the focal plane m of the sample 340 is imaged via an imaging optics 330 m.
  • a second imaging optics 331 images this focal plane in the sample 340 onto a detection modulator 350, which is imaged onto a detector camera 363 via an imaging optics 361 and a filter 362.
  • the light source 310 is, for example, a filtered white light lamp or a filtered laser.
  • the modulators 320, 350 are designed here as LCDs. For fluorescence applications, the emission of sample 340 is filtered out with filter 362.
  • all pixels of the LCDs 320, 350 are set to transmission, so that the sample 340 is illuminated uniformly and a conventional first partial image is recorded with the detector camera 363.
  • the transmission of the elements of the lighting modulator 320 is varied, for example, according to the modulation patterns described above, and the points of the focal plane of the sample 340 are thereby illuminated with the corresponding time-dependent lighting sequences.
  • the transmission of the elements of the detection modulator 350 is controlled in such a way that only light from the points of the focal plane of the sample that are not directly illuminated at the respective time reaches the detector device 360.
  • This second partial image recorded with the detector camera 363 contains the background contributions.
  • a three-dimensionally resolved image of the focal plane of the sample 340 from the two partial images is carried out according to the methods described above.
  • the optical imaging system according to the invention can be implemented both as a stand-alone device and as an addition to an available microscope.
  • the DMD lighting modulator can be implemented, for example, with a “DLP XGA Electronics Subsystem Kit” (manufacturer: Texas Instruments, Dallas, TX, USA).

Abstract

The invention provides that in order to optically image a sample (140) in three-dimensions, the entire sample (140) is uniformly illuminated, a conventional first partial image is recorded, and the sample (140) is subjected to a laterally structured illumination in a focal plane. The illumination of the individual points of the focal plane is varied according to predetermined temporal sequences. A second partial image is recorded by detecting the light emitted by the object points that are not illuminated in the confocal plane. An image of the probe (140) that is spatially resolved in three-dimensions is established from the first and second partial images. The invention also relates to optical imaging systems used for carrying out this imaging method.

Description

Verfahren und Vorrichtung zur Mikroskopie Method and device for microscopy
Die Erfindung betrifft ein Mikroskopieverfahren zur Erzeugung dreidimensional räumlich aufgelöster optischer Abbildungen einer Probe, insbesondere ein Mikroskopieverfahren unter Verwendung eines Mikroskops mit einem lateralen Beleuchtungsmodulator. Die Erfindung betrifft ferner optische Abbildungssysteme zur Gewinnung dreidimensional räumlich aufgelöster Abbildungen einer Probe.The invention relates to a microscopy method for generating three-dimensionally spatially resolved optical images of a sample, in particular a microscopy method using a microscope with a lateral illumination modulator. The invention further relates to optical imaging systems for obtaining three-dimensionally spatially resolved images of a sample.
Bisher bekannte Verfahren zur dreidimensional auflösenden Abbildung einer Probe basieren auf dem Prinzip der Konfokalmikroskopie. Bei diesen Verfahren wird die Probe punktweise beleuchtet und das aus den jeweils beleuchteten Probenpunkten emittierte Licht detektiert. Es kann im wesentlichen zwischen zwei Klassen von Konfokalmikroskopen unterschieden werden.Previously known methods for three-dimensional imaging of a sample are based on the principle of confocal microscopy. With these methods, the sample is illuminated point by point and the light emitted from the respectively illuminated sample points is detected. A distinction can essentially be made between two classes of confocal microscopes.
Zum einen gibt es Mikroskope, die strikt konfokal arbeiten. Dabei werden ein oder mehrere wohl getrennte Punkte in der Probe beleuchtet. Die Detektion erfolgt über eine oder mehrere Aperturen, die sich in zu den beleuchteten Probenpunkten konjugierten Bildpunkten befinden. Die zu beleuchtenden Punkte in der Probe sind so weit voneinander entfernt zu wählen, daß durch jede Detektionsapertur nur Licht aus dem dazu konjugierten Probenpunkt durchtritt. Dadurch ergibt sich, daß das Signal im Wesentlichen aus den Probenpunkten in der Fokalebene ensteht. Zur Aufnahme eines Gesamtbildes wird die Probe mit der punktförmigen Beleuchtung und Detektion abgetastet. Die Zuordnung von beleuchtetem Punkt zu Detektionsapertur erfolgt ausschließlich aus der Korre- lation der räumlichen Anordnung. Als Abtastsysteme finden hierbei rotierende Aperturscheiben (sog. Nipkow-Scheiben) , mechanisch bewegte Spiegel oder Mikrospiegelanordnungen (Patent US 5,923,466) Anwendung. Daß die zu beleuchtenden Punkte weit voneinander entfernt sind, fuhrt dazu, daß die Lichtausbeute gering ist. So erreichen nur ca. 2-3% des An- regungslichtes die Probe und zudem ist die Datenaqui- sitionsrate durch die Notwendigkeit des Abrasterns und der nur gering möglichen Parallelisierung limitiert.On the one hand, there are microscopes that work strictly confocal. One or more well-separated points in the sample are illuminated. The detection takes place via one or more apertures which are located in image points conjugated to the illuminated sample points. The points to be illuminated in the sample are to be chosen so far apart that only light from the conjugated sample point passes through each detection aperture. This means that the signal essentially arises from the sample points in the focal plane. To take an overall picture, the sample is scanned with the point-like illumination and detection. The assignment of the illuminated point to the detection aperture is made exclusively from the correction lation of the spatial arrangement. Rotating aperture disks (so-called Nipkow disks), mechanically moved mirrors or micromirror arrangements (patent US Pat. No. 5,923,466) are used here as scanning systems. The fact that the points to be illuminated are far apart means that the luminous efficacy is low. Only about 2-3% of the excitation light reaches the sample and the data acquisition rate is limited by the need for scanning and the minimal possible parallelization.
Die Entwicklung einer zweiten Klasse von Konfokalmikrosko- pen, die die strikte räumliche Trennung der einzelnen beleuchteten Probenpunkte aufgeben, wie sie von R. Juskaitis et al. in „Nature" (Band 383, 1996, Seite 804 ff), T. Wilson et al . in „Optics Letters" (Band 21, 1996, Seite 1879 ff) , m der Patentanmeldung WO 97/31282 und in dem EP 0 911 667 AI beschrieben werden, ermöglichte eine Erhöhung der Lichtausbeute. Bei diesen Mikroskopen werden die einzelnen Bildpunkte nicht mehr nur räumlich unterschieden, sondern die zeitliche Abfolge, mit der die optischen Eigenschaften der lokalen Beleuchtung variieren, wird verwendet, die Zuordnung zwischen beleuchtetem Punkt und Detektionsapertur vorzunehmen. Dadurch ist es möglich, von edem Punkt wahrend 50 % der Meßzeit Signale aufzuzeichnen. Idealerweise wird hierzu die Beleuchtung jeden Punktes mit einer anderen zeitlichen Abfolge derart moduliert, daß keine Korrelation mit den zeitlichen Abfolgen der Beleuchtung aller anderen Punkte auftritt. Hierzu ist es notwendig f r jeden Punkt unabhängige Zufallsfolgen zu wählen. Alternativ können zur Modulation der zeitlichen Abfolgen Satze von endlich langen Folgen mit verschwindender Korrelation, wie z. B. komplementäre Golay Sequenzen oder Hadamard-Sequenzen vom S-Matrix-Typ, die aus maximal so vielen Elementen bestehen, wie die Sequenzen lang sind, ausgewählt werden. Häufig genügt es, da das Ubersprechen zwischen zwei Punkten mit der Entfernung abnimmt, mit kurzen Sequenzen nur die Korrelation zwischen nahe beieinander liegenden Punkten aufzuheben. Da diese Sequenzen auch negative Werte enthalten, die rein optisch m einer Transmissionsmaske nicht umsetzbar sind, muß der Sequenz ein Gleichanteil hinzugefugt werden. Dies fuhrt dazu, daß das gemessene optische Bild die Überlagerung eines konfokalen mit einem konventionellenThe development of a second class of confocal microscopes that give up the strict spatial separation of the individual illuminated sample points, as described by R. Juskaitis et al. in "Nature" (volume 383, 1996, page 804 ff), T. Wilson et al. in "Optics Letters" (volume 21, 1996, page 1879 ff), m of patent application WO 97/31282 and in EP 0 911 667 AI described, increased the light output. With these microscopes, the individual image points are no longer only spatially differentiated, but the time sequence with which the optical properties of the local illumination vary is used to make the association between the illuminated point and the detection aperture. This makes it possible to record signals from any point during 50% of the measuring time. For this purpose, the lighting of each point is ideally modulated with a different time sequence in such a way that there is no correlation with the time sequences of the lighting of all other points. For this it is necessary to choose independent random sequences for each point. Alternatively, sets of finitely long sequences with vanishing correlation, such as e.g. B. complementary Golay sequences or Hadamard sequences of the S-matrix type, which consist of a maximum of as many elements as the sequences are long, are selected. It is often sufficient because the crosstalk between two points decreases with distance, with short sequences only the correlation between points close to each other can be broken. Since these sequences also contain negative values that cannot be implemented purely optically in a transmission mask, a constant component must be added to the sequence. This causes the measured optical image to overlap a confocal with a conventional one
Ein bei dieser Klasse von Konfokalmikroskopen auftretender Nachteil ist der durch die Überlagerung von konfokalem und konventionellem Signal erforderliche Kontrastumfang des Detektors. Bei vergleichbarem Signalanteil von konfokalem und konventionellem Bild muß der Detektor im Vergleich zum gewünschten konfokalem Signal das Doppelte an Gesamtsignal verarbeiten können.A disadvantage of this class of confocal microscopes is the contrast range of the detector required by the superimposition of the confocal and conventional signals. With a comparable signal component of the confocal and conventional image, the detector must be able to process twice the total signal compared to the desired confocal signal.
Nachteil beider Klassen der Konfokalmikroskope ist, daß sich die Beleuchtungs- und Detektions-Strahlengange für die jeweils betrachteten Bildpunkte überlagern und sie daher aufwendig, z. B. im Falle der Fluoreszenzmessung mit dich- roitischen Strahlteilern, getrennt werden müssen. Diese Trennung fuhrt im Falle von Fluoreszenzmessungen zu einer erheblichen Verringerung der zu detektierenden von der Probe emittierten Fluoreszenzstrahlung und zudem sind für unterschiedliche Fluoreszenzanwendungen unterschiedliche dichroitische Strahlteiler notwendig. Die bei der Durchfuhrung von elastischen Streumessungen und Reflexionsmessun- gen notwendigen Strahlteiler verringern die Intensität sowohl des eingestrahlten als auch des emittierten Lichtes um typischerweise 50%.The disadvantage of both classes of confocal microscopes is that the illumination and detection beam paths overlap for the pixels under consideration and therefore they are expensive, e.g. B. in the case of fluorescence measurement with dichroic beam splitters, must be separated. In the case of fluorescence measurements, this separation leads to a considerable reduction in the fluorescence radiation to be detected, which is emitted by the sample, and, moreover, different dichroic beam splitters are necessary for different fluorescence applications. The beam splitters necessary when carrying out elastic scatter measurements and reflection measurements typically reduce the intensity of both the incident and emitted light by 50%.
Ein weiterer Nachteil der Konfokalmikroskope ist die Detek- tion des konfokalen Signals nur aus einer Teilmenge aller Bildpunkte. Bei konfokal arbeitenden Mikroskopen werden nur aus etwa 2 % (oder sogar weit darunter) bis maximal 50 % der Flache der Fokalebene gleichzeitig Signale aufgezeichnet. Dadurch ist die gemessene Intensität im Vergleich zur zeitlich gemittelten Intensität bis zu einem Faktor von 50 (oder darüber) großer. Um mit diesen Verfahren eine hohe Datenaquisitionsrate zu erzielen, muß generell mit einer sehr hohen lokalen Anregungsintensitat gearbeitet werden. Allerdings gewinnen hierbei nichtlineare Prozesse wie die Anreicherung der Farbstoffmolekule in Triplettzustanden an Bedeutung, die einen negativen Einfluß auf die Signalinten- sitat haben.Another disadvantage of confocal microscopes is that the confocal signal is only detected from a subset of all pixels. With confocal microscopes only Signals recorded simultaneously from approximately 2% (or even far below) to a maximum of 50% of the area of the focal plane. As a result, the measured intensity is up to a factor of 50 (or more) greater than the time-averaged intensity. In order to achieve a high data acquisition rate with these methods, it is generally necessary to work with a very high local excitation intensity. However, nonlinear processes such as the accumulation of the dye molecules in triplet states, which have a negative influence on the signal intensity, are gaining in importance.
Die Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur dreidimensionalen raumlich auflosenden Mikroskopie und Mikroskope zur Implementierung dieses Verfahrens anzugeben, mit denen sowohl eine hohe Lichtausbeute als auch eine hohe Datenaquisitionsrate ohne die vorgenannten Nachteile erzielt werden können.The object of the invention is to provide an improved method for three-dimensional spatial microscopy and microscopes for implementing this method, with which both a high luminous efficacy and a high data acquisition rate can be achieved without the aforementioned disadvantages.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen gemäß Anspruch 1 und durch die Vorrichtungen mit den Merkmalen gemäß den Ansprüchen 9, 14 bzw. 17 gelost. Vorteilhafte Ausfuhrungsformen und Verwendungen der Erfindung ergeben sich aus den abhangigen Ansprüchen.This object is achieved by a method with the features according to claim 1 and by the devices with the features according to claims 9, 14 and 17, respectively. Advantageous embodiments and uses of the invention result from the dependent claims.
Gemäß einem ersten Gesichtspunktes der Erfindung wird ein optisches Abbildungsverfahren beschrieben, bei dem zunächst ein konventionelles erstes Teilbild einer Probe aufgezeichnet wird. Unter einem konventionellen Bild wird hier die lichtmikroskopische Abbildung des gesamten betrachteten Probenbereiches verstanden. Das erste Teilbild enthalt neben Signalanteilen aus der Fokalebene auch Storsignale, die sich daraus ergeben, daß Licht, welches außerhalb der Fokalebene emittiert oder gestreut wird, oder Licht nach mehrfacher Streuung inner- und außerhalb der Fokalebene den Detektor erreicht. Die Fokalebene ist die Bildebene, auf die das Mikroskop zur Probenabbildung fokussiert ist. Des weiteren wird an der Probe ein zweites Teilbild aufgenommen, welches nur die unerwünschten Storanteile enthält. Dazu wird die Probe mit lateral strukturierter Beleuchtung beleuchtet und vollständig abgetastet. Dabei wird jeweils nur aus gerade nicht beleuchteten Probenpunkten das optische Signal aufgezeichnet. Das gewünschte dreidimensional raumlich aufgelöste Bild wird schließlich durch Kompensation der Storanteile im ersten Teilbild mit Hilfe des zweiten Teilbildes erhalten. Das dreidimensionale raumliche aufgelöste Bild besitzt eine Ortsauflosung in der Bildebene und senkrecht dazu.According to a first aspect of the invention, an optical imaging method is described in which a conventional first partial image of a sample is first recorded. A conventional image is understood here to mean the light-microscopic image of the entire sample area under consideration. In addition to signal components from the focal plane, the first partial image also contains interference signals which result from the fact that light which is emitted or scattered outside the focal plane, or light after multiple scattering inside and outside the focal plane Detector reached. The focal plane is the image plane on which the microscope is focused for specimen imaging. Furthermore, a second partial image is recorded on the sample, which contains only the undesired storages. For this purpose, the sample is illuminated with laterally structured illumination and completely scanned. The optical signal is recorded only from sample points that are not currently illuminated. The desired three-dimensionally resolved image is finally obtained by compensating for the storages in the first field with the help of the second field. The three-dimensional, spatially resolved image has a spatial resolution in the image plane and perpendicular to it.
Ein weiterer Gegenstand der Erfindung ist die Bereitstellung eines optischen Abbildungssystems mit mindestens einer Lichtquelle zur Probenbeleuchtung, einer Vorrichtung zur Aufzeichnung eines ersten konventionellen Teilbildes der Probe, einem lateralen Beleuchtungsmodulator zur strukturierten Beleuchtung der Probe in der Fokalebene und einer Einrichtung zur Übertragung von Licht aus nicht- beleuchteten Probenbereichen zu einer Detektoreinrichtung.Another object of the invention is to provide an optical imaging system with at least one light source for sample illumination, a device for recording a first conventional partial image of the sample, a lateral illumination modulator for structured illumination of the sample in the focal plane and a device for transmitting light from non- illuminated sample areas to a detector device.
Gemäß einer bevorzugten Ausfuhrungsform der Erfindung wird der Beleuchtungsmodulator durch einen DMD (Digital Mirror Device) oder einen LCD (Liquid Crystal Device) gebildet, die zur strukturierten Beleuchtung der Probe in der Fokalebene entsprechend einem vorbestimmten Zeitmuster angesteuert werden. Gemäß einer weiteren bevorzugten Ausfuhrungsform der Erfindung erfolgt die strukturierte Beleuchtung durch eine teilweise reflektierende oder transmittierende Maske, die z.B. durch Rotation oder Translation bewegt wird. Für die Strukturierung der Maske bzw. für das zur An- steuerung des Beleuchtungsmodulators verwendete Verfahren kann auf Muster zugegriffen werden, wie sie aus der inter- nationalen Anmeldung WO 97/31282 oder der europaischen Anmeldung EP 0 911 667 AI bekannt sind.According to a preferred embodiment of the invention, the lighting modulator is formed by a DMD (Digital Mirror Device) or an LCD (Liquid Crystal Device), which are controlled according to a predetermined time pattern for the structured illumination of the sample in the focal plane. According to a further preferred embodiment of the invention, the structured illumination takes place through a partially reflecting or transmitting mask, which is moved, for example, by rotation or translation. For the structuring of the mask or for the method used to control the lighting modulator, it is possible to access patterns as they arise from the internal national application WO 97/31282 or the European application EP 0 911 667 AI are known.
Gemäß weiterer Ausfuhrungsformen der erfmdungsgemaßen Ab- b ldungssysteme werden die Beleuchtungsmodulatoren m Abhängigkeit von der Probe in Reflexion oder Transmission eingesetzt, arbeiten die Abbildungssysteme in Reflexionsoder Transmissionsgeometrie und sind ein oder zwei Lichtquellen mit jeweils angepaßten Beleuchtungsoptiken vorgesehen.According to further embodiments of the imaging systems according to the invention, the illumination modulators are used in reflection or transmission depending on the sample, the imaging systems operate in reflection or transmission geometry and one or two light sources are provided, each with adapted illumination optics.
Die Erfindung besitzt folgende Vorteile. Der Aufbau des Mikroskops wird vereinfacht. Bei Aufnahme des zweiten Teilbildes mittels strukturierter Beleuchtung kann auf verlustbehaftete und anwendungsspezifische dichroitische Strahl- teiler verzichtet werden, da sich die Beleuchtungs- und De- tektionsstrahlengange nicht überlagern. Zur Aufnahme des konventionellen ersten Teilbildes kann ein 50%-Strahlteιler eingesetzt werden, der nahezu unabhängig von der Wellenlange etwa 50% des einfallenden Lichtes reflektiert und etwa 50% transmittiert . Damit ist bei den bevorzugten Ausfuhrungen der strukturierten Beleuchtung, bei denen jeder Bild- punkt zu 50% der Belichtungszeit beleuchtet wird und wahrend der anderen 50% der Zeit davon Licht detektiert wird, die Beleuchtungs- und Abbildungsefflzienz für beide Teil- bilder gleich.The invention has the following advantages. The structure of the microscope is simplified. When the second partial image is recorded by means of structured illumination, lossy and application-specific dichroic beam splitters can be dispensed with, since the illumination and detection beam paths do not overlap. A 50% beam splitter can be used to record the conventional first partial image, which reflects approximately 50% of the incident light and transmits approximately 50% almost independently of the wavelength. In the preferred versions of structured lighting, in which each pixel is illuminated at 50% of the exposure time and light is detected during the other 50% of the time, the lighting and imaging efficiency is the same for both partial images.
Ein weiterer Vorteil gegenüber der zweiten Klasse von Kon- fokalmikroskopen ergibt sich daraus, daß an den Kontrastumfang des Detektors geringere Anforderungen als bei den herkömmlichen Techniken gestellt werden können, denn im Gegensatz dazu bestehen die zwei aufzuzeichnenden Teilbilder entweder aus einem konventionellen Bild oder aus den in diesem Bild enthaltenen Hmtergrundanteilen. Die Skalierung des Signals auf dem Detektor kann sich somit an der Inten- sitat des konventionellen Bildes orientieren und muß nicht weitere dazu addierte Signalanteile berücksichtigen.A further advantage over the second class of confocal microscopes results from the fact that less requirements can be placed on the contrast range of the detector than with the conventional techniques, because, in contrast, the two partial images to be recorded either consist of a conventional image or of the in background contained in this image. The scaling of the signal on the detector can Orientation of the conventional image and does not have to take into account further signal components added to it.
Ein weiterer Vorteil ergibt sich daraus, daß Signale aus Probenbereichen aufgezeichnet werden, die nicht mit der maximalen Intensität bestrahlt werden. Nichtlineare Effekte, wie z.B. die Anreicherung in Triplettzustanden, die bei Farbstoffen unter hoher Anregungsmtensitat vermehrt auftreten, und so das Fluoreszenzsignal verringern, werden vermieden. Somit sind auch geringere Anforderungen an die photophysikalischen Eigenschaften der Farbstoffe zu stellen .Another advantage results from the fact that signals from sample areas are recorded which are not irradiated with the maximum intensity. Nonlinear effects such as the accumulation in triplet states, which increasingly occur in dyes with a high excitation intensity and thus reduce the fluorescence signal, are avoided. This means that there are less stringent requirements for the photophysical properties of the dyes.
Desweiteren wird zu jedem dreidimensional räumlich aufgelösten Bild ein konventionelles Bild der Probe aufgezeichnet. Damit können verbesserte Rekonstruktionsverfahren, die auf mehreren Bildern der gleichen Probe basieren, wie sie z.B. von P. J. Verveer und T. M. Jovin n „Applied Optics" (Band 37, Seiten 6240 - 6246, 1998) beschrieben werden, angewendet werden.Furthermore, a conventional image of the sample is recorded for each three-dimensionally spatially resolved image. This enables improved reconstruction methods, which are based on several images of the same sample, e.g. by P. J. Verveer and T. M. Jovin n "Applied Optics" (Volume 37, pages 6240 - 6246, 1998) can be used.
Weitere Vorteile und Einzelheiten der Erfindungen werden im folgenden unter Bezug auf die beigefugten Zeichnungen beschrieben. Es zeigen:Further advantages and details of the inventions are described below with reference to the accompanying drawings. Show it:
Figur 1: eine schematische Darstellung des Lichtweges m einem optischen Abbildungssystem gemäß einer ersten Ausfuhrungsform der Erfindung mit zwei Lichtquellen,FIG. 1: a schematic representation of the light path in an optical imaging system according to a first embodiment of the invention with two light sources,
Figur 2: eine schematische Darstellung des Lichtweges m einem optischen Abbildungssystem gemäß einer weiteren Ausfuhrungsform der Erfindung mit einer Lichtquelle, Figur 3: eine schematische Darstellung des Lichtweges m einem optischen Abbildungssystem gemäß einer weiteren Ausfuhrungsform der Erfindung mit einer rotierenden Maske,FIG. 2 shows a schematic illustration of the light path in an optical imaging system according to a further embodiment of the invention with a light source, FIG. 3: a schematic representation of the light path in an optical imaging system according to a further embodiment of the invention with a rotating mask,
Figur 4: eine schematische Darstellung des Lichtweges m einem optischen Abbildungssystem gemäß einer weiteren Ausfuhrungsform der Erfindung m einer Transmissionsgeometrie .FIG. 4: a schematic representation of the light path in an optical imaging system according to a further embodiment of the invention in a transmission geometry.
Die erfmdungsgemaße Abbildungstechnik kann mit Beleuchtungsmodulatoren implementiert werden, die als Durchlicht- modulatoren (z. B. programmierbare Aperturmasken auf der Basis von Flussigkπstallen (LCD) oder mikromechanischen Schaltern), als Reflektionsmodulatoren (z. B. DMD) oder Mischformen davon (z. B. teilreflektierende und - transmittierende Scheiben) ausgeführt sind.The imaging technology according to the invention can be implemented with lighting modulators which are used as transmitted light modulators (for example programmable aperture masks based on liquid crystals (LCD) or micromechanical switches), as reflection modulators (for example DMD) or mixed forms thereof (for example partially reflecting and transmitting panes) are executed.
Im folgenden wird in unterschiedlichen Aufbauten auf die Verwendung unterschiedlicher Modulatoren Bezug genommen. Die erläuterten Prinzipien der Erfindung können jedoch in entsprechender Weise auch mit anderen Modulatoren realisiert werden.In the following, reference is made to the use of different modulators in different configurations. However, the principles of the invention explained can also be implemented in a corresponding manner with other modulators.
Das erfmdungsgemaße Abbildungssystem 100 m Figur 1 umfaßt eine erste Lichtquelle 110, einen Beleuchtungsmodulator 120 mit einer Vielzahl von Beleuchtungselementen 121, eine Ab- bildungsoptik 130, eine Detektoreinrichtung 150 und eine zweite Lichtquelle 160. Das Bezugszeichen 140 verweist auf eine Probe, die mit dem Abbildungssystem 100 abgebildet werden soll.The imaging system 100 m according to the invention FIG. 1 comprises a first light source 110, an illumination modulator 120 with a multiplicity of illumination elements 121, an imaging optics 130, a detector device 150 and a second light source 160. The reference numeral 140 refers to a sample that is associated with the imaging system 100 is to be mapped.
Als Lichtquellen 110 und 160 sind z. B. gefilterte Weiß- lichtlampen oder Laserlichtquellen einzusetzen, wobei beide Lichtquellen vorzugsweise die jeweils gleiche Bauart besit- zen, um beispielsweise in der Probe 140 eine bestimmte Fluoreszenz anzuregen. Von der ersten Lichtquelle 110 wird über eine Feldlmse 111, den Beleuchtungsemkoppler 113 und die Abbildungsoptik 132 em erster Beleuchtungslichtweg zur gleichmaßigen Beleuchtung der Probe 140 gebildet. Von der zweiten Lichtquelle 160 wird über eine weitere Feldlmse 161, den Beleuchtungsmodulator 120 und die Abbildungsoptik 130 em zweiter Beleuchtungslichtweg zur Probenbeleuchtung mit lateral variierender Intensität m der Fokalebene gebildet .As light sources 110 and 160 z. B. use filtered white light lamps or laser light sources, both light sources preferably having the same type. zen, for example to excite a certain fluorescence in the sample 140. A first illumination light path for uniform illumination of the sample 140 is formed by the first light source 110 via a field lens 111, the illumination empler 113 and the imaging optics 132. The second light source 160 forms a second illumination light path for sample illumination with a laterally varying intensity m of the focal plane via a further field lens 161, the illumination modulator 120 and the imaging optics 130.
Der hier dargestellte Beleuchtungsmodulator 120 ist em DMD. Der DMD 120 beinhaltet eine Matrixanordnung aus einzelnen, unabhängig voneinander zwischen zwei stabilen Positionen verkippbaren Spiegeln, die die Modulatorelemente bilden und von denen aus Ubersichtlichkeitsgrunden nur zwei Spiegel 121 jeweils in einer der Schwenkpositionen dargestellt sind (121a und 121b) . Die Auslenkung aus der DMD- Flache hangt von der konkreten Bauart des eingesetzten DMDs ab und kann beispielsweise ±10° mit typischen Spiegeldimen- sionen von rund 16 μm betragen. Der Aufbau und die Steuertechnik von DMDs sind an sich aus dem Stand der Technik bekannt, so daß sie hier nicht weiter erläutert werden.The lighting modulator 120 shown here is a DMD. The DMD 120 contains a matrix arrangement of individual mirrors which can be tilted independently of one another between two stable positions, which form the modulator elements and of which only two mirrors 121 are shown in one of the pivot positions for reasons of clarity (121a and 121b). The deflection from the DMD area depends on the specific design of the DMD used and can be, for example, ± 10 ° with typical mirror dimensions of around 16 μm. The structure and control technology of DMDs are known per se from the prior art, so that they are not further explained here.
Die Abbildungsoptik 130 umfaßt eine erste Feldlmse 131 und em Objektiv 132. Die Detektoreinrichtung 150 umfaßt eine Abbildungsoptik 151, einen Filter 152 und eine Detektorkamera 153. Mit der Detektorkamera 153 wird wahlweise Licht aus allen Probenbereichen oder nur aus den unbeleuchteten Punkten der Fokalebene aufgenommen. Die Abbildungsoptik 151 kann sowohl mit Linsen als auch mit Spiegeln wie zum Beispiel einem Offner-Triplett entsprechend dem Patent US 3,748,015 oder einer Kombination aus refraktiven und reflektiven Elementen aufgebaut sein. Aufgrund der Abbil- dungseigenschaften des Offner-Tripletts ist es beispielsweise f r den Einsatz mit einem DMD sehr gut geeignet.The imaging optics 130 comprise a first field lens 131 and an objective 132. The detector device 150 comprises an imaging optics 151, a filter 152 and a detector camera 153. With the detector camera 153, light from all sample areas or only from the unilluminated points of the focal plane is optionally recorded. The imaging optics 151 can be used both with lenses and with mirrors such as, for example, an opener triplet according to the patent US Pat reflective elements. Due to the imaging properties of the Offner triplet, it is very well suited, for example, for use with a DMD.
Das Abbildungssystem 130 ist so angeordnet, daß der Beleuchtungsmodulator 120 bei Mikroskopieanwendungen verkleinert reell m die Probe 140 abgebildet wird. Die beiden Schwenkpositionen 121a und 121 b der Spiegel 121 können nach ihrer Funktion zur Beleuchtung bzw. Detektion unterschieden werden. In der Stellung 121a der Spiegel 121 (siehe unteres Teilbild in Fig. 1) leiten diese Licht von der Lampe 110 mit der Abbildungsoptik 130 auf die Probe 140 (Beleuchtung) . Im Gegensatz dazu sind die Beleuchtungsmodulatoren in Stellung 121b so ausgerichtet, daß Licht von der Probe 140 zur Detektoreinrichtung 150 reflektiert wird (Detektion) .The imaging system 130 is arranged in such a way that the illumination modulator 120 is real-sized in a microscope application, the sample 140 is imaged. The two pivot positions 121a and 121b of the mirrors 121 can be differentiated according to their function for lighting or detection. In the position 121a of the mirrors 121 (see lower partial image in FIG. 1), these guide light from the lamp 110 with the imaging optics 130 onto the sample 140 (illumination). In contrast, the lighting modulators in position 121b are oriented such that light is reflected from the sample 140 to the detector device 150 (detection).
In dieser Abbildung wird das Licht von der ersten Lichtquelle 110 über die Feldlmse 111, den Beleuchtungsemkoppler 113 und die Abbildungsoptik 132 auf die Probe 140 gerichtet. Der Beleuchtungsemkoppler ist hier em Prismen- strahlteiler oder em teildurchlassiger Spiegel mit einer Durchlässigkeit von beispielsweise 50%. Um diesen Lichtweg zeitweise abzuschirmen, kann em Shutter 112 eingebaut werden oder der Beleuchtungsemkoppler 113 wird schalt- oder schwenkbar ausgeführt.In this figure, the light from the first light source 110 is directed onto the sample 140 via the field lenses 111, the illumination empler 113 and the imaging optics 132. The lighting empler is here a prismatic beam splitter or a semitransparent mirror with a permeability of, for example, 50%. In order to temporarily shield this light path, a shutter 112 can be installed or the lighting empler 113 can be switched or pivoted.
Die raumlich dreidimensionale aufgelöste Bildaufnahme mit einem optischen Abbildungssystem 100 gemäß der Abbildung 1 erfolgt durch wechselweise Probenabbildung mit den folgenden Einstellungen:The spatially three-dimensional image recording with an optical imaging system 100 according to Figure 1 is carried out by alternating sample imaging with the following settings:
In einem ersten Abbildungsmodus wird entweder mit dem Shutter 112 oder dem schaltbaren Beleuchtungsemkoppler 113 die Beleuchtung mit der ersten Lichtquelle 110 freigegeben, so daß die gesamte Probe über den Beleuchtungsemkoppler 113 beleuchtet wird. Gleichzeitig werden alle Spiegel 121 des DMDs 120 in die Detektions-Stellung 121b geschwenkt, so daß kein Licht von der Lichtquelle 160 auf die Probe 140 gelangt und die Abbildung der gesamten Probe auf die Detektoreinrichtung 150 gegeben ist (Erfassung des ersten, konventionellen Teilbildes) .In a first imaging mode, the lighting with the first light source 110 is released either with the shutter 112 or the switchable lighting empler 113, so that the entire sample is illuminated via the illumination empler 113. At the same time, all of the mirrors 121 of the DMD 120 are pivoted into the detection position 121b, so that no light reaches the sample 140 from the light source 160 and the entire sample is imaged on the detector device 150 (detection of the first, conventional partial image).
In einem zweiten Abbildungsmodus wird der Lichtweg von der ersten Lichtquelle 110 zur Probe 140 durch den Shutter 112 oder den schaltbaren Spiegel 113 abgeblockt. Die Probe 140 wird nun über die in Beleuchtungs-Stellung 121a geschwenkten Spiegel 121 des DMDs 120 mit der Lichtquelle 160 beleuchtet. Welche Spiegel 121 des DMDs 120 in zeitlicher Reihenfolge in die Beleuchtungsposition geschwenkt werden und welche Punkte in der Fokalebene der Probe 140 beleuchtet werden, hangt vom jeweiligen Modulationsmuster ab. Das Modulationsmuster bestimmt, mit welcher zeitabhängigen Beleuchtungssequenz bzw. welchem zeitabhängigen Aperturmuster die Fokalebene der Probe 140 beleuchtet wird. Das Modulationsmuster kann beispielsweise auf einer sogenannten Pseudo-Zufallssequenz mit endlicher Lange, einer Hadamard- Sequenz vom S-Matrix-Typ oder einer Zufallssquenz basieren. Es können insbesondere samtliche Sequenzen implementiert werden, die in EP 0 911 667 AI und WO 97/31282 beschrieben sind.In a second imaging mode, the light path from the first light source 110 to the sample 140 is blocked by the shutter 112 or the switchable mirror 113. The sample 140 is now illuminated with the light source 160 via the mirrors 121 of the DMD 120 pivoted into the illumination position 121a. Which mirrors 121 of the DMD 120 are pivoted into the illumination position in chronological order and which points in the focal plane of the sample 140 are illuminated depends on the respective modulation pattern. The modulation pattern determines the time-dependent illumination sequence or the time-dependent aperture pattern with which the focal plane of the sample 140 is illuminated. The modulation pattern can be based, for example, on a so-called pseudo-random sequence with finite length, a Hadamard sequence of the S-matrix type or a random sequence. In particular, all sequences can be implemented, which are described in EP 0 911 667 AI and WO 97/31282.
Wahrend dieser zweiten Phase der Probenabbildung wird die Probe 140 durch die Abbildung der Mikrospiegel 121 in die Fokalebene mit zeitabhängigen Modulationsmustern beleuchtet. Simultan wird das in der übrigen Probe 140 emittierte Licht (Streulicht und Fluoreszenzlicht) über die Abbildungsoptik 130 und die in Detektions-Position 121b geschwenkten Mikroskopiegel 121 zur Detektoreinrichtung 150 gelenkt. Die Detektorkamera 153 nimmt ein zweidimensionales Bild der Probe 140 auf, wobei m der Fokalebene zu jedem Zeitpunkt nur aus denjenigen Punkten Licht detektiert wird, die jeweils nicht beleuchtet werden. Dieses zweite Teilbild besteht somit im wesentlichen aus den Hintergrundbeitragen.During this second phase of the sample imaging, the sample 140 is illuminated with time-dependent modulation patterns by imaging the micromirrors 121 into the focal plane. Simultaneously, the light emitted in the remaining sample 140 (scattered light and fluorescent light) is directed to the detector device 150 via the imaging optics 130 and the microscope mirrors 121 pivoted in the detection position 121b. The detector camera 153 takes a two-dimensional one Image of the sample 140, with m being detected at any time in the focal plane only from those points that are not illuminated in each case. This second sub-picture thus essentially consists of the background contributions.
Schließlich werden die bei der ersten bzw. zweiten Probenaufnahme ermittelten Teilbilder zur Ermittlung eines Bildes der Fokalebene ausgewertet. Dazu wird das Differenzbild aus dem ersten und zweiten Teilbild berechnet. Auch wenn die beiden Lichtquellen 110 und 160 durch Lampen gleicher Bauart gebildet werden, kann es durch Justageabweichungen zu Unterschieden m der Probenbeleuchtung kommen. Vorzugsweise werden daher bei der Differenzbildung die Signale der Teilbilder zunächst derart gewichtet, daß sich die in beiden Teilbildern enthaltenen Signalanteile außerhalb der Fokalebene gegenseitig ausloschen. Hierzu kann folgendermaßen vorgegangen werden:Finally, the partial images determined during the first or second sample acquisition are evaluated to determine an image of the focal plane. For this purpose, the difference image is calculated from the first and second partial images. Even if the two light sources 110 and 160 are formed by lamps of the same type, there may be differences in the sample illumination due to adjustment deviations. Therefore, when forming the difference, the signals of the partial images are preferably initially weighted such that the signal components contained in the two partial images cancel each other outside the focal plane. This can be done as follows:
Anstelle der zu untersuchenden Probe 140 wird hierzu em Testobjekt Form einer streuenden oder fluoreszierenden ebenen Scheibe oder eines anderen beliebigen, möglichst homogen streuenden oder fluoreszierenden Objektes außerhalb der Fokalebene angeordnet. Das Testobjekt wird abwechselnd mit der ersten und zweiten Lichtquelle 110 und 160 beleuchtet und es werden die jeweiligen Signalverteilungen entsprechend der zwei Abbildungsmodi aufgenommen. Aus dem Quotienten der Signalverteilungen ergeben sich entsprechende Normierungsfaktoren, die bei der genannten Differenzbildung berücksichtigt werden. Es werden für das gesamte Bild em gemeinsamer Normierungsfaktor oder spezifische Normierungsfaktoren für einzelne Bildpunkte oder Bildpunktgruppen ermittelt .Instead of the sample 140 to be examined, a test object is arranged in the form of a scattering or fluorescent flat disk or another arbitrary, as homogeneously scattering or fluorescent object as possible outside the focal plane. The test object is alternately illuminated with the first and second light sources 110 and 160 and the respective signal distributions are recorded in accordance with the two imaging modes. Corresponding normalization factors result from the quotient of the signal distributions, which are taken into account in the aforementioned difference formation. A common normalization factor or specific normalization factors for individual pixels or groups of pixels are determined for the entire image.
Eine alternative Ausfuhrungsform eines erfmdungsgemaßen optischen Abbildungssystems 100 ist in Figur 2 gezeigt. Bei dieser Ausfuhrungsform ist lediglich eine Lichtquelle 170 vorgesehen, deren Licht wahlweise über die Feldl se 171, den schalt- oder schwenkbar ausgeführten Beleuchtungsemkoppler 172 und die Abbildungsoptik 131 oder über den Um- lenkspiegel 173, die m Beleuchtungsposition geschwenkten Mikrospiegel 121 des DMDs 120 und die Abbildungsoptik 130 zur Probe gelenkt wird. Im ersten Fall erfolgt die konventionelle Beleuchtung der Gesamtprobe über den als Prismen- strahlteiler oder teildurchlassigen Spiegel ausgef hrten Beleuchtungsemkoppler 172, wie dies bereits für Figur 1 (Lichtquelle 110) beschrieben wurde.An alternative embodiment of an optical imaging system 100 according to the invention is shown in FIG. 2. at In this embodiment, only one light source 170 is provided, the light of which can be selected via the field lens 171, the switchable or pivotable illumination empler 172 and the imaging optics 131 or the deflecting mirror 173, the micromirror 121 of the DMD 120 pivoted in the illumination position and the imaging optics 130 is directed to the test. In the first case, the conventional illumination of the entire sample takes place via the illumination empler 172 designed as a prism beam splitter or partially transparent mirror, as has already been described for FIG. 1 (light source 110).
Wahrend der zweiten Phase der Probenabbildung erfolgt die Beleuchtung über die in die Beleuchtungsposition 121a geschwenkten Mikrospiegel 121 des DMDs 120, wie dies bereits beschrieben wurde, wahrend mittels der Detektoreinrichtung 150 Licht aus den nicht beleuchteten Bereichen der Fokalebene aufgezeichnet wird. Zur Abblockung des den Abbildungsphasen jeweils nicht verwendeten Lichtweges werden alle Elemente des DMD 120 m die Detektionsposition 121b geschwenkt oder der Beleuchtungsemkoppler 172 aus dem Strahlengang gebracht. Auch wenn in Figur 2 nicht dargestellt, so ist wahlweise em Aufbau mit Shuttern möglich. Im übrigen entspricht das Abbildungssystem 100 gemäß Figur 2 der oben beschriebenen ersten Ausfuhrungsform, so daß die einzelnen Komponenten mit den gleichen Bezugszeichen wie oben bezeichnet sind. Das Bezugszeichen 174 verweist auf einen Shutter. Als Shutter werden vorzugsweise elektromechanische Shutter (z.B. Blenden oder Schwenkspie- gel, betätigt z.B. mit Elektromotoren oder Hubmagneten) verwendet .During the second phase of the sample imaging, the illumination takes place via the micromirrors 121 of the DMD 120 pivoted into the illumination position 121a, as has already been described, while light from the non-illuminated areas of the focal plane is recorded by means of the detector device 150. To block the light path that is not used in each case in the imaging phases, all elements of the DMD are pivoted 120 m to the detection position 121 b or the illumination empler 172 is brought out of the beam path. Even if it is not shown in FIG. 2, an optional construction with shutters is possible. Otherwise, the imaging system 100 according to FIG. 2 corresponds to the first embodiment described above, so that the individual components are identified by the same reference numerals as above. Reference numeral 174 denotes a shutter. Electromechanical shutters (e.g. diaphragms or swiveling mirrors, operated e.g. with electric motors or lifting magnets) are preferably used as shutters.
Die Probenabbildung erfolgt ebenfalls, wie dies oben beschrieben wurde, indem zwei Teilbilder entsprechend der zwei Abbildungsmodi aufgezeichnet und anschließend zu einem raumlich dreidimensional aufgelösten Bild der Probe verrechnet werden. Der DMD 120 wird wiederum entsprechend den bereits genannten Modulationsmustern angesteuert.The sample is also imaged, as described above, by recording two fields according to the two imaging modes and then into one spatially three-dimensionally resolved image of the sample. The DMD 120 is in turn driven according to the modulation patterns already mentioned.
Eine weitere Ausfuhrungsform eines erf dungsgemaßen Abbildungssystem 200 mit einer teildurchlassigen und teilreflektierenden rotierenden Maske ist m Figur 3 gezeigt. Es umfaßt eine Lichtquelle 210, eine Maske 220 als Beleuchtungsmodulator, eine Abbildungsoptik 230 und eine Detektoreinrichtung 250 bestehend aus einer Abbildungsoptik 251, einem Filter 252 und einer Detektorkamera 253. Das Bezugszeichen 240 verweist auf eine Probe, die mit dem Abbildungssystem 200 abgebildet werden soll.A further embodiment of an imaging system 200 according to the invention with a partially transparent and partially reflecting rotating mask is shown in FIG. 3. It comprises a light source 210, a mask 220 as a lighting modulator, an imaging optics 230 and a detector device 250 consisting of an imaging optics 251, a filter 252 and a detector camera 253. The reference numeral 240 refers to a sample that is to be imaged with the imaging system 200.
Die Lichtquelle 210 beleuchtet über die Feldlinse 211 die Maske 220, die mit der Beleuchtungsoptik 230 in die Probe 240 abgebildet wird. In der Fokalebene der Probe 240 ergibt sich somit ein Beleuchtungsmuster, welches dem auf der Maske 220 aufgeprägten Reflektionsmuster entspricht. Das von der Probe 240 emittierte Licht wird mit der Abbildungsoptik 230 auf die Maske 220 abgebildet. Mit der Abbildungsoptik 251 wird die Maske 220 auf die Detektorkamera 253 abgebildet. Ahnlich wie die Abbildungsoptik 151 kann die Abbildungsoptik 251 sowohl aus refraktiven als auch reflektiven Elementen aufgebaut sein. Die hier beschriebenen Abbildungsmodi unterscheiden sich durch die optischen Eigenschaften einzelner Teilbereiche (Sektoren) der Maske 220. Eine bevorzugte Ausfuhrungsform der Maske 220 ist im unteren Teil von Figur 3 gezeigt.The light source 210 illuminates the mask 220 via the field lens 211, which is imaged into the sample 240 with the illumination optics 230. In the focal plane of the sample 240, there is thus an illumination pattern which corresponds to the reflection pattern imprinted on the mask 220. The light emitted by the sample 240 is imaged on the mask 220 using the imaging optics 230. With the imaging optics 251, the mask 220 is imaged on the detector camera 253. Similar to the imaging optics 151, the imaging optics 251 can be constructed from both refractive and reflective elements. The imaging modes described here differ in the optical properties of individual subareas (sectors) of the mask 220. A preferred embodiment of the mask 220 is shown in the lower part of FIG. 3.
Ein erster Abbildungsmodus ergibt sich dadurch, daß der homogene teilreflektierende Sektor a der Maske 220 zur gleichmaßigen konventionellen Beleuchtung der Probe 240 verwendet wird. Das von der Probe 240 emittierte Licht kann zum Teil den homogenen Sektor der Maske 220 passieren und wird auf die Detektorkamera 253 abgebildet (Erfassung des konventionellen Teilbildes) .A first imaging mode results from the fact that the homogeneous partially reflecting sector a of the mask 220 is used for uniform, conventional illumination of the sample 240. The light emitted by the sample 240 can partially pass through the homogeneous sector of the mask 220 and is imaged on the detector camera 253 (acquisition of the conventional partial image).
Für den zweiten Abbildungsmodus wird ein Sektor b der Maske 220 verwendet, auf dem, z. B. mittels photolithographischer Techniken, die vorgenannten Modulationsmuster aufgeprägt wurden. Voll verspiegelte und vollständig transmittierende Zonen sind hier entsprechend dem gewünschten Modulationsmuster angeordnet. Das Modulationsmuster kann wie in den zuvor beschriebenen Ausfuhrungsformen gewählt werden, also beispielsweise als Pseudo-Zufallszahlensequenz . Durch die Rotation der Maske 220 ergibt sich aus der lateralen Anordnung der Aperturmuster auf der Scheibe 220 eine zeitabhängige Beleuchtungssequenz für die einzelnen Punkte der Fokalebene. Für das von der Probe 240 emittierte und mit der Abbildungsoptik 230 auf die Maske 220 abgebildete Licht wirkt diese Maske 220 derart, daß nur Licht aus gerade nicht beleuchteten Punkten durch die Maske hindurchtreten und mit der Detektoreinrichtung 250 aufgezeichnet werden kann. Das mit der Detektorkamera 253 aufgezeichnete zweite Teilbild besteht somit im wesentlichen aus den unerwünschten Hintergrundbeitragen.For the second imaging mode, a sector b of the mask 220 is used, on which, for. B. by means of photolithographic techniques, the aforementioned modulation patterns were impressed. Fully mirrored and completely transmitting zones are arranged here according to the desired modulation pattern. The modulation pattern can be selected as in the previously described embodiments, for example as a pseudo-random number sequence. Due to the rotation of the mask 220, the lateral arrangement of the aperture patterns on the disk 220 results in a time-dependent lighting sequence for the individual points of the focal plane. For the light emitted by the sample 240 and imaged on the mask 220 with the imaging optics 230, this mask 220 acts in such a way that only light from points that are not currently illuminated pass through the mask and can be recorded with the detector device 250. The second partial image recorded with the detector camera 253 thus essentially consists of the undesirable background contributions.
Die weitere Bildverarbeitung zur Gewinnung eines dreidimensional aufgelösten Bildes der Fokalebene der Probe 240 aus den zwei Teilbildern wird nach den weiter oben beschriebenen Methoden durchgeführt. Bei dieser Ausfuhrungsform des erfindungsgemäßen optischen Abbildungssystems können die Positionen der Beleuchtungseinrichtung 210, 211 und der Detektoreinrichtung 250 wahlweise ohne weitere Veränderungen gegeneinander vertauscht werden.The further image processing for obtaining a three-dimensionally resolved image of the focal plane of the sample 240 from the two partial images is carried out according to the methods described above. In this embodiment of the optical imaging system according to the invention, the positions of the illumination device 210, 211 and the detector device 250 can optionally be interchanged without any further changes.
Eine weitere alternative Ausfuhrungsform eines erfindungs- gemaßen optischen Abbildungssystems 300 f r Untersuchungen in Transmissionsgeometrie ist in Figur 4 dargestellt. Es umfaßt eine Lichtquelle 310, die über eine Feldlmse 311 einen Beleuchtungsmodulator 320 beleuchtet. Dieser wird über eine Abbildungsoptik 330 m die Fokalebene m der Probe 340 abgebildet. Eine zweite Abbildungsoptik 331 bildet diese Fokalebene in der Probe 340 auf einen Detektionsmodu- lator 350 ab, der über eine Abbildungsoptik 361 und einen Filter 362 auf eine Detektorkamera 363 abgebildet wird.A further alternative embodiment of an optical imaging system 300 according to the invention for examinations in transmission geometry is shown in FIG. It comprises a light source 310 which illuminates an illumination modulator 320 via a field lens 311. The focal plane m of the sample 340 is imaged via an imaging optics 330 m. A second imaging optics 331 images this focal plane in the sample 340 onto a detection modulator 350, which is imaged onto a detector camera 363 via an imaging optics 361 and a filter 362.
Die Lichtquelle 310 ist beispielsweise eine gefilterte Weißlichtlampe oder em gefilterter Laser. Die Modulatoren 320, 350 sind hier als LCDs ausgeführt. Für Fluoreszenzanwendungen wird mit dem Filter 362 die Emission der Probe 340 herausgefiltert.The light source 310 is, for example, a filtered white light lamp or a filtered laser. The modulators 320, 350 are designed here as LCDs. For fluorescence applications, the emission of sample 340 is filtered out with filter 362.
Für das in einem ersten Abbildungsmodus aufgezeichnete konventionelle Teilbild werden alle Pixel der LCDs 320, 350 auf Transmission gestellt, so daß die Probe 340 gleichmaßig beleuchtet und mit der Detektorkamera 363 em konventionelles erstes Teilbild aufgezeichnet wird.For the conventional partial image recorded in a first imaging mode, all pixels of the LCDs 320, 350 are set to transmission, so that the sample 340 is illuminated uniformly and a conventional first partial image is recorded with the detector camera 363.
In einem zweiten Abbildungsmodus wird die Transmission der Elemente des Beleuchtungsmodulators 320 beispielsweise nach den oben beschriebenen Modulationsmustern variiert und dadurch die Punkte der Fokalebene der Probe 340 mit den entsprechenden zeitabhängigen Beleuchtungssequenzen beleuchtet. Wahrend dieser Phase wird die Transmission der Elemente des Detektionsmodulators 350 derart gesteuert, daß nur Licht aus den zum jeweiligen Zeitpunkt nicht direkt beleuchteten Punkten der Fokalebene der Probe zur Detektor- emπchtung 360 gelangt. Dieses mit der Detektorkamera 363 aufgezeichnete zweite Teilbild enthalt die Hintergrundbeitrage. Die Gewinnung eines dreidimensional aufgelösten Bildes der Fokalebene der Probe 340 aus den zwei Teilbildern wird nach den weiter oben beschriebenen Methoden durchgeführt . Das erfindungsgemäße optische Abbildungssystem kann sowohl als eigenständiges Gerät, als auch als Zusatz zu einem verfügbaren Mikroskop realisiert werden. Der DMD-Beleuchtungs- modulator kann beispielsweise mit einem „DLP XGA Electronics Subsystem Kit" (Hersteller: Texas Instruments, Dallas, TX, USA) realisiert werden. In a second imaging mode, the transmission of the elements of the lighting modulator 320 is varied, for example, according to the modulation patterns described above, and the points of the focal plane of the sample 340 are thereby illuminated with the corresponding time-dependent lighting sequences. During this phase, the transmission of the elements of the detection modulator 350 is controlled in such a way that only light from the points of the focal plane of the sample that are not directly illuminated at the respective time reaches the detector device 360. This second partial image recorded with the detector camera 363 contains the background contributions. A three-dimensionally resolved image of the focal plane of the sample 340 from the two partial images is carried out according to the methods described above. The optical imaging system according to the invention can be implemented both as a stand-alone device and as an addition to an available microscope. The DMD lighting modulator can be implemented, for example, with a “DLP XGA Electronics Subsystem Kit” (manufacturer: Texas Instruments, Dallas, TX, USA).

Claims

PATENTANSPRUCHE PATENT CLAIMS
1. Verfahren zur optischen Abbildung einer Probe (140), mit den Schritten:1. A method for optically imaging a sample (140), comprising the steps:
- gleichmäßige Beleuchtung der gesamten Probe (140) und Aufnahme eines konventionellen ersten Teilbildes,uniform illumination of the entire sample (140) and recording of a conventional first partial image,
- lateral strukturierte Beleuchtung der Probe (140) in einer Fokalebene, bei der die Beleuchtung der einzelnen Punkte der Fokalebene nach vorbestimmten zeitlichen Sequenzen variiert wird, und Aufnahme eines zweiten Teilbildes durch Erfassung des emittierten Lichtes, das von den in der Konfokalebene jeweils nicht beleuchteten Objektpunkten in der Probe ausgeht, und- laterally structured illumination of the sample (140) in a focal plane, in which the illumination of the individual points of the focal plane is varied according to predetermined temporal sequences, and recording a second partial image by detecting the light emitted by the object points not illuminated in the confocal plane runs out in the sample, and
- Ermittlung eines dreidimensional räumlich aufgelösten Bildes der Probe (140) durch Verrechnung des ersten und zweiten Teilbildes.- Determination of a three-dimensionally spatially resolved image of the sample (140) by offsetting the first and second partial images.
2. Verfahren gemäß Anspruch 1, bei dem die Verrechnung des ersten und zweiten Teilbildes unter Anwendung einer gewich- teten Subtraktion erfolgt.2. The method as claimed in claim 1, in which the first and second fields are calculated using a weighted subtraction.
3. Verfahren gemäß Anspruch 1 oder 2, bei dem die strukturierte Beleuchtung der Probe (140) unter Verwendung eines Beleuchtungsmodulators mit einer Vielzahl von Beleuchtung- saperturen erfolgt, der mit einem vorbestimmten oder zufälligen Modulationsmuster angesteuert wird.3. The method according to claim 1 or 2, wherein the structured illumination of the sample (140) is carried out using an illumination modulator with a plurality of illumination apertures, which is controlled with a predetermined or random modulation pattern.
4. Verfahren gemäß Anspruch 3, bei dem als Beleuchtungsmodulator ein DMD (120) mit einer Vielzahl von einzeln ansteuerbaren Mikrospiegeln (121) oder ein LCD (320) verwen- det wird, bei dem die Transmission der Pixel einzeln angesteuert wird.4. The method according to claim 3, in which a DMD (120) with a plurality of individually controllable micromirrors (121) or an LCD (320) is used as the lighting modulator. is detected, in which the transmission of the pixels is controlled individually.
5. Verfahren gemäß Anspruch 1, bei dem die strukturierte Beleuchtung der Probe unter Verwendung einer Maske (220) in Transmission oder Reflexion erfolgt.5. The method according to claim 1, wherein the structured illumination of the sample is carried out using a mask (220) in transmission or reflection.
6. Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem das dreidimensional räumlich aufgelöste Bild durch Differenzbildung aus den zwei Teilbildern ermittelt wird, wobei das erste und/oder zweite Teilbild derart gewichtet wird, daß bei der Differenzbildung die Bildanteile von außerhalb der Fokalebene der Probe sich im Wesentlichen gegenseitig aufheben.6. The method according to any one of the preceding claims, in which the three-dimensionally spatially resolved image is determined by forming the difference between the two partial images, the first and / or second partial image being weighted such that the image components differ from outside the focal plane of the sample when forming the difference essentially cancel each other out.
7. Verfahren gemäß Anspruch 1, bei dem zur Aufnahme des ersten und zweiten Teilbildes eine einzelne (170) oder zwei getrennte Lichtquellen (110, 160) verwendet werden.7. The method according to claim 1, in which a single (170) or two separate light sources (110, 160) are used to record the first and second partial images.
8. Verfahren gemäß Anspruch 2, bei dem das verwendete Modulationsmuster8. The method according to claim 2, wherein the modulation pattern used
- aus einer einzelnen systematisch verschobenen Zeile oder aus mehreren Zeilen besteht, die regelmäßig, entsprechend einer Pseudo-Zufallssequenz endlicher Lange, einer Hada- mard-Sequenz oder einer Zufallssquenz angeordnet sind,- consists of a single systematically shifted line or of several lines which are regularly arranged according to a pseudo-random sequence of finite length, a Hadamard sequence or a random sequence,
- sich aus regelmäßigen Punkt- oder Linienmustern zusammensetzt,- is made up of regular dot or line patterns,
- aus Zufallsmustern besteht,- consists of random patterns,
- aus auf so genannten Walsh, Sylvester, Hadamard oder Go- lay Sequenzen basierenden Pseudo-Zufausmustern endlicher Länge besteht,- consists of pseudo-random patterns based on so-called Walsh, Sylvester, Hadamard or Golay sequences, of finite length,
- aus einer wiederholten Anordnung von Mustern, die sich aus den Zeilen oder Spalten einer zyklischen Hadamard- Matrix ergeben, besteht, oder aus einer Kombination der vorgenannten Muster besteht. - consists of a repeated arrangement of patterns resulting from the rows or columns of a cyclic Hadamard matrix, or consists of a combination of the aforementioned patterns.
9. Optisches Abbildungssystem (100), das mindestens eine Lichtquelle (110, 160, 170), eine Detektoreinrichtung (150) und einen Beleuchtungsmodulator (120) mit einer Vielzahl von einzeln ansteuerbaren Modulatorelementen (121) umfaßt, dadurch gekennzeichnet, daß ein Beleuchtungsemkoppler zur gleichmaßigen Beleuchtung der gesamten Probe (140) in einem ersten Abbildungsmodus vorgesehen ist, wobei die Detektoreinrichtung (150) im ersten Abbildungsmodus zur Aufnahme eines konventionellen Teilbildes der Probe (140) eingerichtet ist, und die Modulatorelemente (121) mindestens zwei Gruppen von Modulatorelementen aufweisen, von denen in einem zweiten Abbildungsmodus eine erste Gruppe von Modulatorelementen (Beleuchtungs-Elemente) Licht von einer Lichtquelle (160,170) in die Probe (140) lenken und eine zweite Gruppe von Modulatorelementen (Detektions-Elemente) Licht aus jeweils nicht beleuchteten Bereichen der Fokalebene der Probe (140) zur Detektoreinrichtung (150) lenken.9. Optical imaging system (100), which comprises at least one light source (110, 160, 170), a detector device (150) and a lighting modulator (120) with a plurality of individually controllable modulator elements (121), characterized in that a lighting empler for uniform illumination of the entire sample (140) is provided in a first imaging mode, the detector device (150) in the first imaging mode being set up to record a conventional partial image of the sample (140), and the modulator elements (121) have at least two groups of modulator elements, In a second imaging mode, a first group of modulator elements (lighting elements) direct light from a light source (160, 170) into the sample (140) and a second group of modulator elements (detection elements) light from non-illuminated areas of the focal plane Guide the sample (140) to the detector device (150).
10. Abbildungssystem gemäß Anspruch 9, bei dem der Beleuchtungsmodulator durch einen DMD-Reflektor (120) mit einer Vielzahl von matrixartig angeordneten, verschwenkbaren Spiegeln (121) gebildet wird.10. The imaging system according to claim 9, wherein the lighting modulator is formed by a DMD reflector (120) with a plurality of pivotable mirrors (121) arranged in a matrix.
11. Abbildungssystem gemäß Anspruch 9, bei dem die Beleuchtungseinrichtung so aufgebaut ist, daß die Probe (140) von der Lichtquelle (170) entweder gleichmaßig über Beleuchtungsemkoppler (172) oder über den Umlenkspiegel (173) und den Beleuchtungsmodulator in der Fokalebene strukturiert beleuchtet wird.11. The imaging system as claimed in claim 9, in which the illumination device is constructed such that the sample (140) is illuminated in a structured manner by the light source (170) either uniformly via the illumination empler (172) or via the deflection mirror (173) and the illumination modulator in the focal plane ,
12. Abbildungssystem gemäß Anspruch 9, bei dem zwei Lichtquellen (110, 160) vorgesehen sind und die Beleuchtungseinrichtung so aufgebaut ist, daß die Probe (140) entweder von der ersten Lichtquelle (110) über den Beleuchtungseinkopp- ler (113) gleichmaßig beleuchtet wird, oder daß die Probe (140) über die zweite Lichtquelle (160) und den Beleuchtungsmodulator (120) m der Fokalebene strukturiert beleuchtet wird.12. Imaging system according to claim 9, in which two light sources (110, 160) are provided and the illumination device is constructed such that the sample (140) either from the first light source (110) via the illumination coupling. ler (113) is illuminated uniformly, or that the sample (140) is illuminated in a structured manner via the second light source (160) and the illumination modulator (120) in the focal plane.
13. Abbildungssystem gemäß Anspruch 11 oder 12, bei dem die Beleuchtungsemrichtung Shutter (112, 174) aufweist, die zur Abschirmung von Beleuchtungsstrahlengangen vorgesehen sind.13. The imaging system as claimed in claim 11 or 12, in which the illumination device has shutters (112, 174) which are provided for shielding illumination beam paths.
14. Optisches Abbildungssystem (200), das mindestens eine Lichtquelle (210) , eine Maske (220) mit verschiedenen Sektoren und eine Detektoreinrichtung (250) umfasst, dadurch gekennzeichnet, daß em Sektor (a) der Maske (220) für eine gleichmäßige Beleuchtung der Probe (240) in einem ersten Abbildungsmodus vorgesehen ist, wobei im ersten Abbildungs- modus die Detektoreinrichtung (250) zur Aufnahme eines konventionellen Teilbildes der Probe (240) eingerichtet ist, und em Sektor (b) der Maske (220) verschiedene Zonen aufweist, wobei m einem zweiten Abbildungsmodus eine erste Gruppe der Zonen Licht von der Lichtquelle (210) zur strukturierten Beleuchtung der Fokalebene m die Probe (240) lenkt und eine zweite Gruppe von Zonen Licht von den jeweils nicht beleuchteten Bereichen der Fokalebene der Probe14. Optical imaging system (200), which comprises at least one light source (210), a mask (220) with different sectors and a detector device (250), characterized in that em sector (a) of the mask (220) for uniform illumination the sample (240) is provided in a first imaging mode, wherein in the first imaging mode the detector device (250) is set up to record a conventional partial image of the sample (240) and em sector (b) of the mask (220) has different zones , wherein in a second imaging mode a first group of the zones directs light from the light source (210) for the structured illumination of the focal plane m the sample (240) and a second group of zones directs light from the respectively non-illuminated areas of the focal plane of the sample
(240) zur Detektoreinrichtung (250) lenkt.(240) directs to the detector device (250).
15. Abbildungssystem gemäß Anspruch 14, bei dem die Maske (220) aus mindestens einem teilverspiegelten Sektor (a) und mindestens einem Sektor (b) besteht, in dem die erste Gruppe von Zonen verspiegelt und die zweite Gruppe von Zonen transparent ist.15. The imaging system of claim 14, wherein the mask (220) consists of at least one partially mirrored sector (a) and at least one sector (b) in which the first group of zones is mirrored and the second group of zones is transparent.
16. Abbildungssystem gemäß Anspruch 14, bei dem die Maske (220) als eine rotierende Scheibe ausgeführt ist. 16. The imaging system according to claim 14, wherein the mask (220) is designed as a rotating disk.
17. Optisches Abbildungssystem (300), das mindestens eine Lichtquelle (310), einen Beleuchtungs- und einen Detek- tionsmodulator (320, 350) mit jeweils einer Vielzahl von einzeln ansteuerbaren Modulatorelementen und eine Detektoreinrichtung (360) umfaßt, dadurch gekennzeichnet, daß eine gleichmäßige Beleuchtung einer Probe (340) in einem ersten Abbildungsmodus vorgesehen ist, wobei im ersten Abbildungsmodus die Detektoreinrichtung (360) zur Aufnahme eines konventionellen Teilbildes der Probe (340) eingerichtet ist und die einzelnen Modulatorelemente des Detektions- und des Beleuchtungsmodulators (320, 350) in einem zweiten Abbildungsmodus so gesteuert werden, daß eine Gruppe von Modulatorelementen des Beleuchtungsmodulators Licht von der Lichtquelle (310) in die Probe (340) lenken und eine Gruppe von Modulatorelementen des Detektionsmodulators (350) Licht aus jeweils nicht beleuchteten Bereichen der Fokalebene der Probe (340) zur Detektoreinrichtung (360) lenken.17. Optical imaging system (300), which comprises at least one light source (310), an illumination and a detection modulator (320, 350) each with a plurality of individually controllable modulator elements and a detector device (360), characterized in that a uniform illumination of a sample (340) is provided in a first imaging mode, the detector device (360) in the first imaging mode being set up to record a conventional partial image of the sample (340) and the individual modulator elements of the detection and illumination modulator (320, 350) are controlled in a second imaging mode in such a way that a group of modulator elements of the illumination modulator direct light from the light source (310) into the sample (340) and a group of modulator elements of the detection modulator (350) light from respectively non-illuminated areas of the focal plane of the sample ( 340) to the detector device (360).
18. Abbildungssystem gemäß Anspruch 17, bei dem der Beleuchtungsmodulator (320) und/oder der Detektionsmodulator (350) durch einen DMD-Reflektor gebildet wird.18. The imaging system according to claim 17, wherein the illumination modulator (320) and / or the detection modulator (350) is formed by a DMD reflector.
19. Abbildungssystem gemäß Anspruch 17, bei dem der Beleuchtungsmodulator (320) und/oder der Detektionsmodulator (350) durch einen LCD gebildet wird.19. The imaging system according to claim 17, wherein the illumination modulator (320) and / or the detection modulator (350) is formed by an LCD.
20. Abbildungssystem gemäß Anspruch 17, bei dem der Beleuchtungsmodulator (320) und/oder der Detektionsmodulator (350) durch eine Maske gebildet wird.20. The imaging system according to claim 17, wherein the illumination modulator (320) and / or the detection modulator (350) is formed by a mask.
21. Abbildungssystem gemäß den Ansprüchen 10 oder 18, bei dem die Optik (161, 151, 311, 330, 331, 361) zur Beleuchtung oder Abbildung des DMDs (120, 320 oder 350) ein21. Imaging system according to claims 10 or 18, wherein the optics (161, 151, 311, 330, 331, 361) for illuminating or imaging the DMD (120, 320 or 350)
Offner-Triplett ist oder ein Offner-Triplett verwendet wird. Is an open triplet or an opener triplet is used.
22. Abbildungssystem gemäß dem Anspruch 14, bei dem die Optik (211, 251) zur Beleuchtung oder Abbildung der Maske (220) ein Offner-Triplett ist oder ein Offner-Triplett verwendet wird. 22. The imaging system according to claim 14, wherein the optics (211, 251) for illuminating or imaging the mask (220) is an opener triplet or an opener triplet is used.
PCT/EP2000/012120 1999-12-15 2000-12-01 Microscopy method and device WO2001044852A2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE20023019U DE20023019U1 (en) 1999-12-15 2000-12-01 Microscopy device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE1999160583 DE19960583A1 (en) 1999-12-15 1999-12-15 Method and device for microscopy
DE19960583.1 1999-12-15

Publications (2)

Publication Number Publication Date
WO2001044852A2 true WO2001044852A2 (en) 2001-06-21
WO2001044852A3 WO2001044852A3 (en) 2001-12-06

Family

ID=7932808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2000/012120 WO2001044852A2 (en) 1999-12-15 2000-12-01 Microscopy method and device

Country Status (2)

Country Link
DE (2) DE19960583A1 (en)
WO (1) WO2001044852A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778724B2 (en) 2000-11-28 2004-08-17 The Regents Of The University Of California Optical switching and sorting of biological samples and microparticles transported in a micro-fluidic device, including integrated bio-chip devices
US7745221B2 (en) 2003-08-28 2010-06-29 Celula, Inc. Methods and apparatus for sorting cells using an optical switch in a microfluidic channel network

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60129387T2 (en) 2000-03-06 2008-03-20 Olympus Co. Confocal microscope with pattern-forming rotation disk
US7593156B2 (en) 2005-08-26 2009-09-22 Leica Microsystems (Schweiz) Ag Microscope with micro-mirrors for optional deflection and/or beam splitting
DE102005040471B4 (en) * 2005-08-26 2007-06-21 Leica Microsystems (Schweiz) Ag microscope
DE102006022592B4 (en) * 2006-05-15 2008-02-07 Leica Microsystems (Schweiz) Ag Microscope with lighting unit
DE102006022590C5 (en) * 2006-05-15 2010-05-12 Leica Microsystems (Schweiz) Ag Lighting unit for a microscope

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0911667A1 (en) * 1997-10-22 1999-04-28 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Programmable spatially light modulated microscope and microscopy method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE59107758D1 (en) * 1990-11-10 1996-06-05 Groskopf Rudolf Dr Ing Optical scanning device with confocal beam path, in which light source and detector matrix are used
US5587832A (en) * 1993-10-20 1996-12-24 Biophysica Technologies, Inc. Spatially light modulated confocal microscope and method
DE9406545U1 (en) * 1994-04-20 1994-11-03 Max Planck Gesellschaft Contrast device for microscopy
GB9603788D0 (en) * 1996-02-22 1996-04-24 Isis Innovation Confocal microscope
DE19824460A1 (en) * 1998-05-30 1999-12-02 Zeiss Carl Jena Gmbh Arrangement and method for the microscopic generation of object images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0911667A1 (en) * 1997-10-22 1999-04-28 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Programmable spatially light modulated microscope and microscopy method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUSKAITIS R ET AL: "EFFICIENT REAL-TIME CONFOCAL MICROSCOPY WITH WHITE LIGHT SOURCES" NATURE,GB,MACMILLAN JOURNALS LTD. LONDON, Bd. 383, 31. Oktober 1996 (1996-10-31), Seiten 804-806, XP000877459 ISSN: 0028-0836 in der Anmeldung erw{hnt *
NEIL M A A ET AL: "Real time 3D fluorescence microscopy by two beam interference illumination" OPTICS COMMUNICATIONS,NL,NORTH-HOLLAND PUBLISHING CO. AMSTERDAM, Bd. 153, Nr. 1-3, 15. Juli 1998 (1998-07-15), Seiten 1-4, XP004146317 ISSN: 0030-4018 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778724B2 (en) 2000-11-28 2004-08-17 The Regents Of The University Of California Optical switching and sorting of biological samples and microparticles transported in a micro-fluidic device, including integrated bio-chip devices
US7745221B2 (en) 2003-08-28 2010-06-29 Celula, Inc. Methods and apparatus for sorting cells using an optical switch in a microfluidic channel network
US8426209B2 (en) 2003-08-28 2013-04-23 Celula, Inc. Methods and apparatus for sorting cells using an optical switch in a microfluidic channel network

Also Published As

Publication number Publication date
DE20023019U1 (en) 2002-11-07
DE19960583A1 (en) 2001-07-05
WO2001044852A3 (en) 2001-12-06

Similar Documents

Publication Publication Date Title
EP2347294B1 (en) Improved methods and apparatuses for structured illumination microscopy
EP2350726B1 (en) Combination microscopy
EP2860566B1 (en) High resolution scanning microscopy
EP0977069B1 (en) Method and apparatus for confocal microscopy
DE69635521T2 (en) MULTI-PHOTON LASER MICROSCOPY
EP1248132B1 (en) Method and arrangement for depth resolving optical detection of a probe
DE102006009831B4 (en) Method and microscope for spatially high-resolution examination of samples
WO2005096058A1 (en) Scanning microscope and method for examining a sample by using scanning microscopy
EP3588164A1 (en) Method for calibrating a phase mask and microscope
WO2005024482A1 (en) Light source comprising a plurality of microstructured optical elements
DE10043992B4 (en) Method for examining a sample and confocal scanning microscope
DE102004053730B4 (en) Method and arrangement for the suppression of false light
DE102005020543A1 (en) Method and device for adjustable change of light
WO2005024486A1 (en) Raster microscope
DE102005009188A1 (en) Point-scanning laser scanning microscope and method for adjusting a microscope
EP3290983A1 (en) Method for adjusting a laser scanning fluorescence microscope and laser scanning fluorescence microscope with an automatic adjusting device
DE102020209889A1 (en) Microscope and method for microscopic imaging with variable illumination
DE10139754A1 (en) Illumination method for a scanning microscope and scanning microscope
WO2001044852A2 (en) Microscopy method and device
WO2018104536A1 (en) Lighting device for a confocal microscope and confocal microscope
DE10010154A1 (en) Illuminating transparent object with interference light pattern involves superimposing at least two additional coherent light waves to minimize side maxima of illumination pattern
DE102013222562A1 (en) Microscope for evanescent lighting and punctiform grid illumination
WO2004061513A1 (en) Confocal 4-pi microscope and method for confocal 4-pi microscopy
DE102020213714A1 (en) Microscope and method for light field microscopy with light sheet excitation and for confocal microscopy
DE102020108117B4 (en) Microscope and method of operating a microscope

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
AK Designated states

Kind code of ref document: A3

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

WWE Wipo information: entry into national phase

Ref document number: 2000989939

Country of ref document: EP

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWW Wipo information: withdrawn in national office

Ref document number: 2000989939

Country of ref document: EP

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP