Search Images Maps Play YouTube News Gmail Drive More »
Sign in
Screen reader users: click this link for accessible mode. Accessible mode has the same essential features but works better with your reader.

Patents

  1. Advanced Patent Search
Publication numberDE19908883 A1
Publication typeApplication
Application numberDE1999108883
Publication date7 Sep 2000
Filing date2 Mar 1999
Priority date2 Mar 1999
Also published asEP1157297A1, EP1157297B1, US6909105, WO2000052512A1
Publication number1999108883, 99108883, DE 19908883 A1, DE 19908883A1, DE-A1-19908883, DE19908883 A1, DE19908883A1, DE1999108883, DE99108883
InventorsRainer Heintzmann, Christoph Cremer
ApplicantRainer Heintzmann
Export CitationBiBTeX, EndNote, RefMan
External Links: DPMA, Espacenet
Verfahren zur Erhöhung der Auflösung optischer Abbildung A method for increasing the resolution optical imaging translated from German
DE 19908883 A1
Abstract
The invention relates to a method for obtaining an object image of at least one object (40), whereby at least two partial images of the object (40) are recorded under different conditions for each image. Said conditions take the form of spatial patterns on the object, whereby for each point on the object there is a non-linear dependency of the light which is detected from the direction of said object point on the object conditions which exist at said point on the object and whereby the partial images contain varying amounts of different space frequency components of the object structure. The desired object image is determined from the partial images by reconstructing the share of space frequency components. The invention also describes optical systems (100) for implementing such a method.
Claims(41)  translated from German
1. Verfahren zur Erhöhung der Auflösung optischer Abbildung eines oder mehrerer Ob jekte (im Folgenden mit Objekt bezeichnet) mit folgenden Schritten: 1. A method for increasing the resolution optical imaging of one or more Whether projects (hereinafter referred with object) with the following steps:
  • a) Anpassung der im Objekt herrschenden Bedingungen, die das von einem Ob jektpunkt ausgehende Licht zu beeinflussen imstande sind, (Objektbedingungen b i () = Beleuchtungsintensität und/oder zusätzliche Effekte) derart, daß eine nichtlineare Abhängigkeit der von einem Objektpunkt detektierten Lichtinten sität von dem Wert eines in mindestens einer Objektbedingung enthaltenen räumlichen Musters in mindestens einem detektierten Wert hervorgerufen wird oder eine jeweils zu einem Wert lineare Abhängigkeit der von diesem Objekt punkt detektierten Lichtintensität von der Werten mindestens zweier räumlicher Muster b i () hervorgerufen wird. a) adjustment of the ruling in the object conditions affecting the one Whether jektpunkt outgoing light capable (conditions of object b i () = illumination intensity and / or additional effects) such that a non-linear dependence of from an object point detected Lichtinten intensity of the value of an object contained in at least one spatial pattern condition is caused in at least a detected value or a respective linear to a value depending on the point detected by this object light intensity from the values of at least two spatial patterns b i () is caused.
  • b) Aufzeichnung wenigstens eines Einzelbildes unter diesen Objektbedingungen. b) recording at least a single image under these conditions object.
  • c) Ändern der Objektbedingungen derart, daß unterschiedliche durch das Aufnah meverfahren abgebildete Raumfrequenzanteile des Objekts (detektierbare Raum frequenzanteile) sich in ihrer Amplituden und/oder Phasenbeziehung zueinander verändern. c) changing the object conditions such that different sampling strategy, as reflected in the Aufnah space frequency components of the object (detectable frequency space interests) change in their amplitude and / or phase relationship.
  • d) Aufzeichnung wenigstens eines weiteren Einzelbildes unter jeweils gemäß (c) veränderten Objektbedingungen. d) recording at least one other frame under each of (c) changing object conditions.
  • e) Auswertung der gemessenen Bilder, indem die sich in den Einzelbildern unter schiedlich ausprägenden Objektbedingungen genutzt werden um Informationen über das Objekt zurückzugewinnen, die zu Raumfrequenzen des Objekts gehö ren, welche durch eine einfache Abbildung mit dem Aufnahmeverfahren nicht zugänglich wären. e) evaluation of the measured images by which will be used in the individual images under differently ausprägenden object conditions to provide information about the object recover the ren gehö to spatial frequencies of the object, which would not be accessible by a simple illustration with the admissions process.
2. Verfahren in dem das räumliche Muster durch ein Muster der Beleuchtungsintensität gegeben wird. 2. The method in which the spatial pattern is given by a pattern of the illumination intensity.
3. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß die Ab bildung mittels einem bekanntem optischen Mikroskopieverfahren geschieht; 3. A method according one of the preceding claims, characterized in that From the formation is done by a known optical microscopy methods; insbe sondere mittels Standard Fernfeld Mikroskopie, Epi-Fluoreszenz-Mikroskopie, konfo kaler Mikroskopie, 4PI-Mikroskopie, I 2 M-, I 3 M-, I 5 M-Verfahren, Theta-Mikroskopie, Nahfeld-Mikroskopie. particular special means of standard far-field microscopy, epifluorescence microscopy, konfo cal microscopy, 4PI microscopy, I 2 M, 3 M I, I 5 M process, theta microscopy, near-field microscopy.
4. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit der im Detektor (oder den Detektoren) von einem Objektpunkt detektierten Lichtintensität zu der an diesem Punkt herrschenden Be leuchtungsintensität (nicht notwendigerweise bei der selben Frequenz des Lichts) ausgenutzt wird. 4. The method according to any one of the preceding claims, characterized in that a non-linear dependence of the detector (or detectors) from an object point detected light intensity to the prevailing at this point Be illumination intensity (not necessarily at the same frequency of light) utilized.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß zur Erzeugung nichtlinearer Effekte nötige momentane Lichtintensitäten dadurch er zeugt werden, daß eine gepulste Beleuchtungsquelle, insbesondere ein Pulslaser oder eine Blitzlampe, verwendet wird. 5. The method according to claim 4, characterized in that necessary for generating non-linear effects momentary light intensities characterized it be certain that a pulsed illumination source, in particular a pulsed laser or a flash lamp, is used.
6. Verfahren nach einem der Ansprüche 4 bis 5, dadurch gekennzeichnet, daß die Sättigung des Fluoreszenzlichts von Fluorophoren unter intensiver Beleuchtung ausgenutzt wird. 6. The method according to any one of claims 4-5, characterized in that the saturation of the fluorescent light from fluorophores under intensive illumination is utilized.
7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, daß die Sättigung der Absorption von Beleuchtungslicht unter intensiver Beleuchtung ausgenutzt wird. 7. The method according to any one of claims 4 to 6, characterized in that the saturation of the absorption of illuminating light under intensive illumination is utilized.
8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, daß eine Abhängigkeit der Phase des emittierten oder gestreuten Lichts von der im Ob jekt vorhandenen Beleuchtungsintensität ausgenutzt wird, welche sich im Detektor (zum Beispiel über Interferenz) oder davor in eine nichtlineare Intensitätsabhängig keit umsetzt. 8. The method according to any one of claims 4 to 7, characterized in that a dependency of the phase of the emitted or scattered light is utilized by the in Whether project existing lighting intensity, which extend in the detector (for example, via interference) or before non-linear into a intensity Depending ness converts.
9. Verfahren nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, daß die Abhängigkeit der Intensität der Ramanstreuung von dem Wert einer oder meh rerer Objektbedingungen ausgenutzt wird. 9. The method according to any one of claims 4 to 8, characterized in that the dependence of the intensity of the Raman scattering is utilized by the value of one or a basket eral object conditions.
10. Verfahren nach einem der Ansprüche 4 bis 9, dadurch gekennzeichnet, daß zeitlich kohärente Effekte (zum Beispiel Rabi-Oszillationen) an Atomen oder Mole külen (auch Fluorophore) im Objekt (in Lösung, Festkörpern, Gasen oder auch im Vakuum) gezielt ausgenutzt werden, um die benötigte nichtlineare Abhängigkeit zu erzeugen. 10. The method according to any one of claims 4 to 9, characterized in that temporally coherent effects molecules (for example Rabi oscillations) of atoms or moles (also fluorophores) in object deliberately exploited (in solution, solids, gases or vacuum) be to produce the required non-linear dependence. Die Induktion solcher Effekte kann dabei insbesondere durch Beleuchtung mit sehr kurzen Pulsen geschehen. Induction of such effects may be particularly done by illumination with very short pulses.
11. Verfahren nach einem der Ansprüche 4 bis 10, dadurch gekennzeichnet, daß die nichtlineare Abhängigkeit des emittierten Lichts von der im Objekt vorhandenen Lichtintensität bei Mehrphotonen-Absorption ausgenutzt wird. 11. The method according to any one of claims 4 to 10, characterized in that the non-linear dependence of the emitted light is utilized from the object existing in the light intensity at multiphoton absorption.
12. Verfahren nach einem der Ansprüche 4 bis 11, dadurch gekennzeichnet, daß Anregung und darauf folgende stimulierte Emission eine nichtlineare Abhängigkeit von detektiertem Licht und am Objektpunkt vorhandener Lichtintensität entsteht. 12. The method according to any one of claims 4 to 11, characterized in that the excitation and subsequent stimulated emission creates a non-linear dependence of detected light at the object point and the existing light intensity. Die stimulierte Emission kann gleichzeitig oder in zeitlicher Abfolge induziert werden. The stimulated emission may be induced simultaneously or in time sequence. Sie kann bei der selben Wellenlänge (z. B. auch durch das Anregungslicht) oder bei einer anderen Wellenlänge (z. B. der Fluoreszenzwellenlänge) induziert werden. They may, at the same wavelength (eg. B. also by the excitation light) can be induced or at another wavelength (for. Example, the fluorescent wavelength).
13. Verfahren nach einem der Ansprüche 4 bis 12, dadurch gekennzeichnet, daß Fluorophore durch Licht gleichzeitig oder vor der Beleuchtung in andere Zustände (z. B. Tripplet-Zustand oder auch chemisch veränderte Zustände) versetzt werden und sich daraus eine nichtlineare Abhängigkeit des emittierten Lichts von der am Objekt punkt vorhandenen Intensität ergibt. 13. The method according to any one of claims 4 to 12, characterized in that the fluorophores by light at the same time or before the lighting in other states (z. B. triplet state or chemically altered states) are admixed and this results in a non-linear dependency of the light emitted light from the object point on the existing intensity results. Dies kann automatisch mit der Beleuchtung geschehen oder auch durch Beleuchtung mit anderen Wellenlängen. This can be done automatically with the lighting or by illumination at other wavelengths.
14. Verfahren nach einem der Ansprüche 4 bis 13, dadurch gekennzeichnet, daß Energie durch Strahlung oder strahlungslose Prozesse von Fluorophoren auf benach barte andere Fluorophor-Moleküle übertragen wird und dadurch eine nichtlineare Abhängigkeit der emittierten Lichtintensität von der am Nachbarort eingestrahlten Intensität entsteht. 14. The method according to any one of claims 4 to 13, characterized in that energy is transferred by radiation or non-radiative processes of fluorophores on Benach disclosed other fluorophore molecules and thereby results in a non-linear dependence of the emitted light intensity on the irradiated on the neighboring intensity.
15. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von einem räumlich inhomogenen elektrischen Feld ausgenutzt wird. 15. The method according to any one of the preceding claims, characterized in that a non-linear dependency of the detected light from an object point is utilized by a spatially inhomogeneous electric field.
16. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von einem räumlich inhomogenen angelegten magnetischen Feld ausgenutzt wird. 16. The method according to any one of the preceding claims, characterized in that a non-linear dependency of the detected light from an object point is utilized by a spatially inhomogeneous applied magnetic field.
17. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von dem im Objektpunkt herrschenden Druck ausgenutzt wird. 17. The method according to any one of the preceding claims, characterized in that a non-linear dependency of the detected light from an object point is utilized by the pressure prevailing at the object point pressure.
18. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von den im Objektpunkt herrschenden Scherkräften oder mechanischen Spannungsver hältnissen ausgenutzt wird. 18. The method according to any one of the preceding claims, characterized in that a non-linear dependency of the detected light from an object point is utilized ratios of the pressure prevailing at the object point shear forces or mechanical Spannungsver.
19. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von der im Objektpunkt herrschenden Temperatur ausgenutzt wird. 19. The method according to any one of the preceding claims, characterized in that a non-linear dependency of the detected light from an object point is utilized by the pressure prevailing in the object point temperature.
20. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des vom Objektpunkt detektierten Lichts von dort herrschenden chemischen Bedingungen (z. B. Ph-Wert) ausgenutzt wird. 20. The method according to any one of the preceding claims, characterized in that a non-linear dependency of the detected light from the object point of prevailing chemical conditions (e.g., B. pH) is utilized.
21. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine nichtlineare Abhängigkeit des von einem Objektpunkt detektierten Lichts von der Intensität eingestrahlter Radiowellen oder Mikrowellen oder Infrarotlicht oder Röntgenstrahlung oder Schallwellen oder Ultraschallwellen ausgenutzt wird. 21. The method according to any one of the preceding claims, characterized in that a non-linear dependency of the detected light from an object point is utilized by the intensity of radiated radio waves or microwaves or infrared light or X-rays or sound waves or ultrasonic waves.
22. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster einer Objektbedingung beschrieben oder annähernd beschrie ben werden kann durch eine Anzahl von Punkten im reziproken Raum verteilt in 1, 2 oder 3 Dimensionen. 22. The method according to any one of the preceding claims, characterized in almost ben described can be distributed through a number of points in reciprocal space in 1, 2 or 3 dimensions that the spatial pattern of an object condition or described.
23. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster räumlich periodisch (oder näherungsweise periodisch) in einer oder mehreren Dimensionen ist. 23. The method according to any one of the preceding claims, characterized in that the spatial pattern spatially periodic (or approximately periodically) is in one or more dimensions.
24. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß ein ausgedehntes räumliches Muster erzeugt wird und Licht gleichzeitig (z. B. mit einer CCD-Kamera) von vielen Objektpunkten detektiert wird. 24. The method according to any one of the preceding claims, characterized in that an extended spatial pattern is generated and light (for. Example, with a CCD camera) is detected by many object points simultaneously.
25. Verfahren nach einem der Ansprüche 1 bis 21, dadurch gekennzeichnet, daß das räumliche Muster an ein oder mehreren Stellen möglichst fokussiert ist (Wie z. B. im konfokalen Mikroskop oder im 4Pi-Mikroskop) und Objekt und Muster für verschiedene Einzelbilder zueinander verschoben werden. 25. The method according to any one of claims 1 to 21, characterized in that the spatial pattern is focused at one or more points as possible (such. As in a confocal microscope or 4Pi microscope) and object and patterns for different frames shifted from each other be.
26. Verfahren nach Anspruch 25, dadurch gekennzeichnet, daß versucht wird den Emissionsort des detektierten Lichts auf einem dem räumlichen Muster nach Anspruch 25 ähnlichen Verteilung einzugrenzen (z. B. durch Einfügen einer oder mehrerer Lochblenden vor dem Detektor). 26. The method according to claim 25, characterized in that an attempt is made to limit the emission point of the detected light on a spatial pattern according to claim 25 similar distribution (eg. As by inserting one or more pinholes in front of the detector).
27. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster erzeugt wird durch Abbildung einer geeigneten Vorlage, die zwischen den Einzeldaten ausgetauscht oder gezielt verändert wird (zum Beispiel analog zur "Aperture Correllation Microscopy"). 27. The method according to any one of the preceding claims, characterized in that the spatial pattern is generated by mapping an appropriate template that is exchanged between the individual data or selectively altered (for example, analogous to the "Aperture Correllation Microscopy").
28. Verfahren nach Anspruch 27, dadurch gekennzeichnet, daß die Abbildung dieselben Elemente, die zur Detektion erforderlich sind ganz oder teilweise mit nutzt (z. B. Abbildung eines Intensitätsmusters durch das Objektiv, daß zur Detektion auch verwendet wird). 28. The method according to claim 27, characterized in that the imaging, the same elements that are required for detecting completely or partially with uses (z. B. Illustration of an intensity pattern by the lens that is also used for detection).
29. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster erzeugt wird indem bewußt ganz oder zum Teil ein anderer Weg zur Erzeugung des Musters als die Benutzung der vorhandenen Detektionsmit tel um eine zusätzliche Steigerung der Auflösung zu erreichen (z. B. Erzeugung eines Wellenfelds durch seitliche Beleuchtung am Objektiv vorbei oder analog zur Thet amikroskopie mit anderen Objektiven). 29. The method according to any one of the preceding claims, characterized in that the spatial pattern is intentionally generated in whole or in part, another way to produce the pattern as the use of the existing Detektionsmit tel to an additional increase in resolution to achieve by (eg. B . generation of a wave field by lateral lighting on the lens or by analogy to Thet amikroskopie with other lenses).
30. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß Objekt und das räumliche Muster in ein oder in mehrere Richtungen oder Dimensio nen relativ zu einander verschoben werden. 30. The method according to any one of the preceding claims, characterized in that the object and the spatial pattern are displaced relative to each other nen in one or in several directions or dimensioning.
31. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das räumliche Muster zumindest auch dadurch verändert wird, daß Komponenten aus denen es sich (z. B. durch Interferenz) zusammensetzt in der Phase gegeneinander verschoben werden (zum Beispiel die Phase verschiedener Beugungsmaxima). 31. The method according to any one of the preceding claims, characterized in that the spatial pattern is at least also be changed so that the components from which it is composed (for. Example, by interference) are shifted in phase from each other (for example, the phase of different diffraction maxima ).
32. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß eine zeitliche Struktur der oder den nichtlinearen Bedingungen aufgeprägt wird und Daten zu unterschiedlichen Zeiten aquiriert werden (zum Beispiel bei dann ver änderter Einstrahlungs-Lichtintensität). 32. The method according to any one of the preceding claims, characterized in that a temporal structure of the non-linear or conditions is impressed and data aquired at different times (for example, then ver änderter irradiation light intensity).
33. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das Zusammensetzen der Einzeldaten direkt dadurch geschieht, daß die individu ellen Komponenten über das Lösen eines Gleichungssystems unter Berücksichtigung der verschiedenen nichtlinearen Bedingungen extrahiert werden und an den richtigen Stellen des Fourierraums plaziert (zum Beispiel gewichtet aufaddiert) werden. 33. A method according to any one of the preceding claims, characterized in that the assembly of individual data directly thus happens that the individu ellen components are extracted about solving a system of equations taking into account the various non-linear conditions and placed in the right places of the Fourier space (for example, weighted are added together). Die dazu notwendige Rechnung muß sich dazu nicht notwendigerweise auf den Fourier raum stützen. The bill required for this purpose is not necessarily based on the Fourier space is so. Eine Fouriertransformation ist dabei nicht unbedingt von Nöten. A Fourier transform is not necessary at all.
34. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das Zusammensetzen der Einzeldaten ganz oder teilweise implizit dadurch geschieht, daß von der Nichtlinearität abhängenden unterschiedlichen Daten in einem iterati ven Prozeß berücksichtigt werden. 34. A method according to any one of the preceding claims, characterized in that the assembly of individual data wholly or partly implicit in the fact happens that depended be developed by the nonlinearity of different data will be considered in a iterati tive process.
35. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß das Verfahren durch Näherungen vereinfacht wird, das Gleichungssystem nur nähe rungsweise gelöst wird oder die Iterationen bereits nach wenigen Iterationen abge brochen werden. 35. The method according to any one of the preceding claims, characterized in that the process is simplified by approximations, the equation system is solved only approximately or the iterations already after a few iterations abge broken.
36. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß der iterative Prozeß auf Maximum-Likelihood Rekonstruktion oder anderen algebrai schen Verfahren beruht. 36. The method according to any one of the preceding claims, characterized in that the iterative process on maximum likelihood, or other algebraic reconstruction method is based rule.
37. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, daß nach dem Zusammensetzen der Daten ein weiteres rechnerisches Verfahren angewandt wird um die Auflösung zu erhöhen oder im Fourierraum entstehende Unstetigkeiten zu glätten oder die durch den Algorithmus entstehende effektive optische Transfer funktion beziehungsweise die effektive Punktbildfunktion geeignet zu formen (z. B. durch Unterdrückung oder Verstärkung gewisser Raumfrequenzen). 37. The method according to any one of the preceding claims, characterized in that after assembly of the data, another computational method is employed to increase the resolution or smooth resulting in Fourier space discontinuities, or the object created by the algorithm effective optical transfer function, respectively, the effective point image function suitable form (z. B. by suppression or enhancement of certain spatial frequencies).
38. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die vorhandene Information über die nichtlineare Abhängigkeit der von einem Ob jektpunkt detektierten Intensität von den nichtlinearen Bedingungen ausgenutzt wird um die Position ein oder mehrerer Teilobjekte möglichst genau zu bestimmen. 38. The method according to claim 1, characterized in that the existing information about the non-linear dependency of the detected intensity jektpunkt of a Whether use is made of the non-linear terms to the position to determine one or more sub-objects as accurately as possible.
39. Verfahren nach Anspruch 38, dadurch gekennzeichnet, daß zusätzlich die Struktur des Teilobjekts oder die Struktur seines Bildes genau oder näherungsweise bekannt ist und diese in dem Verfahren als bekannte Struktur (a priori oder als gemessene Struktur) berücksichtigt wird. 39. A method according to claim 38, characterized in that in addition the structure of the part of object or the structure of its image is accurately or approximately known, and this is taken into account in the method as known structure (a priori or as a measured structure).
40. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Unterschiede in der nichtlinearen Abhängigkeit der von einem Objektpunkt de tektierten Intensität von den nichtlinearen Bedingungen ausgenutzt werden um Auf schlüsse über die örtliche Zusammensetzung des Objekts an verschiedenen Positionen aus verschiedenen Materialien zu gewinnen. 40. The method according to claim 1, characterized in that the differences in non-linear dependence of the of an object point de tektierten intensity be exploited by the non-linear terms to at conclusions on the local composition of the object at different positions from different materials to win.
41. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Unterschiede in der nichtlinearen Abhängigkeit der von einem Objektpunkt de tektierten Intensität von den nichtlinearen Bedingungen gezielt ausgenutzt werden um Teilobjekte und deren Position bestimmen zu können, auch wenn sich deren Bil der zu einem großen Teil überlagern. 41. The method according to claim 1, characterized in that the differences in non-linear dependence of the of an object point de tektierten intensity be exploited targeted by the non-linear conditions to sub-objects and to determine its position, even if their Bil of to a great extent overlap.
Description  translated from German
1. Grundlagen 1. Basics

Die Erfindung betrifft ein Verfahren zur Lichtmikroskopie entsprechend dem Oberbegriff des Anspruchs I. The invention relates to a process for light microscopy according to the preamble of claim I.

Die Auflösung von optischen Systemen, wird oft wesentlich durch die objektseitige Aper tur der Objektivlinse/n bestimmt. The resolution of optical systems is often largely determined by the object-side Aper ture of the objective lens / n. Licht, welches vom Objekt abgestrahlt wird, wird nur detektiert, wenn es innerhalb des Akzeptanzwinkels des Objektivs auf dieses trifft. Light which is emitted by the object is detected only when it encounters this within the acceptance angle of the lens. Die Auflösung eines Lichtmikroskops hängt bekannterweise von dem Bereich ab, in dem die lichtoptische Transferfunktion (OTF) des Systems nicht verschwindet. The resolution of a light microscope is known to depend on the range in which the light-optical transfer function (OTF) does not vanish in the system. Die OTF gibt an, welche Raumfrequenzen, aus denen sich das Objekt (über Fouriertransformation) zusam mengesetzt denken läßt, während der optischen Abbildung erhalten bleiben, und wie sie dabei geschwächt werden. The OTF indicates which spatial frequencies, from which the object can be thought together amount is made up (via Fourier transform), while the optical image are preserved, and how they are weakened it. Verschwindet die OFT an Stellen im reziproken Raum vollstän dig, so ist es unmöglich, ohne Annahmen über die Struktur des Objektes zu machen, diese Raumfrequenzen in einem Bild zu rekonstruieren. Disappears, the OFT at points in reciprocal space completeness dig, so it is impossible not to make assumptions about the structure of the object to reconstruct these spatial frequencies in an image. Eine Ausdehnung der OTF auf einen möglichst großen Bereich ist also anzustreben, um die Auflösung des optischen Systems zu erhöhen. An extension of the OTF to the largest possible area is therefore desirable to increase the resolution of the optical system.

In der Fluoreszenzmikroskopie emittieren Fluoreszenzfarbstoffe mit einer Intensität, die in erster Näherung proportional zur Intensität des am Ort des Farbstoffes eingestrahlten Lichts ist. In fluorescence microscopy, fluorescent dyes emit light of an intensity that is proportional to the intensity of the incident light at the location of the dye in a first approximation. Sie tun das im Gegensatz zur Absorptionsmikroskopie, Reflexionsmikroskopie oder auch Phasenkontrastmikroskopie inkohärent zueinander. You do that in contrast to the absorption microscopy, reflection microscopy or phase contrast microscopy another incoherent. Wenn man annimmt, daß an einem Punkt im Objekt die ausgestrahlte Fluoreszenzintensität proportional ist zu der dort eingestrahlten Lichtintensität, so läßt sich ein gemessenes Bild I m () (rückübersetzt in Objektraumkoordinaten ) beschreiben, indem man die ortsabhängige Beleuchtungsin tensität (Bel()) mit der dort vorhandenen Farbstoffkonzentration Obj() multipliziert und das Ergebnis mit der Punktbildfunktion ("point spread function" PSF) des abbildenden Systems faltet. If it is assumed that the emitted fluorescence intensity is proportional to a point in the object to which there incident light intensity, then a measured image I m () can (translated back into object space coordinates) describe by intensity of the position-dependent Beleuchtungsin (Bel ()) with the dye concentration present there Obj () and multiplied the result by the point spread function ("point spread function" PSF) of the imaging system folds.

Im reziproken Raum übersetzt sich dies in die Faltung der fouriertransformierten Beleuch tungsfunktion F(Bel()) mit der fouriertransformierten Objektfunktion F(Obj() und anschließende Multiplikation mit der lichtoptischen Transferfunktion OTF(). F bezeich net hier und im folgenden die Fouriertransformation. Die Koordinaten im reziproken Raum werden mit bezeichnet. In reciprocal space is this translated into the convolution of the Fourier transformed light- ing function F (Bel ()) with the Fourier-transformed objective function F (Obj () and then multiplying by the light-optical transfer function OTF (). F Marked net here and below the Fourier transform. The coordinates in reciprocal space are denoted by.

Allgemeiner lassen sich viele Mikroskopieverfahren mit der Formel 1 beschreiben, wenn man unter Obj() die jeweilige Dichte der Eigenschaft des Objekts versteht, dies es zu untersuchen gilt und unter PSF() die effektive Punktbildfunktion des gesamten Systems (Bildaufnahme und -rekonstruktion). More generally, let many microscopy techniques with Formula 1 describe when the respective density of the object property meant by Obj (), this needs to be analyzed and PSF () the effective point spread function of the entire system (image acquisition and reconstruction). Bei iterativen oder nichtlinearen Rekonstruktions verfahren gilt dies oft noch näherungsweise. The procedure for iterative or non-linear reconstruction this is often approximated.

In üblichen abbildenden Systemen ist der im Wert von Null verschiedene Bereich (der Träger) der OTF durch die numerische Apertur und die Wellenlänge des abzubildenden Lichts auf einen gewissen Bereich eingeschränkt (für genauere Herleitungen und Erläute rungen siehe US-Patent US 5671085). In normal imaging systems, the value of zero field (the carrier) of the OTF is limited by the numerical aperture and the wavelength of the imaging light on a certain area (for more detailed derivations and explanatory notes, see US Patent US 5,671,085). Gleichermaßen ist auch die Fouriertransformierte der Beleuchtungsfunktion F(Bel() in der Ausdehnung ihres Trägers durch die Licht wellenlänge und, gegebenenfalls, Aperturen des Beleuchtungssystems eingeschränkt. Likewise, the Fourier transform of the lighting function F (Bel () is in the extension of the wearer by the wavelength of light and, if appropriate, apertures of the illumination system limited.

2. Stand der Technik 2. Prior Art 2.1 Existente Verfahren 2.1 existent method

In den letzten Jahren wurden verschiedentlich Systeme ersonnen, um die Auflösung zu verbessern. In recent years there have been various systems devised to improve the resolution. Dabei spielt die geeignete Wahl der Beleuchtung des Objekts eine große Rolle. The appropriate choice of illumination of the object plays a major role. So wird beim konfokalen Mikroskop mit einem fokussiertem Lichtstrahl das Objekt von einer Seite möglichst punktweise beleuchtet (Patent US 4631581) und geeignet abgetastet (gescannt), wobei oft die Detektion mittels einer Blende auf einen kleinen Bereich des Objekts begrenzt wird. So the object of a page is the confocal microscope with a focused light beam spot as possible illuminates (US Patent 4,631,581) and suitable sampled (scanned), often with the detection by means of a diaphragm is limited to a small area of the object.

Beim 4Pi-Mikroskop (Patent EP 0491289 A1) wird von beiden Seiten des Objektes kohä rent beleuchtet und je nach Ausführung auch detektiert. When 4Pi microscope (Patent EP 0491289 A1) from both sides of the object kohä rent illuminated and detected according to design. Beim Wellenfeldmikroskop wird üblicherweise mit kohärenten ebenen Lichtwellen von gegenüber liegenden Seiten beleuchtet (Patent US 4621911, [8][9]). In the wave-field microscope is typically illuminated with coherent plane light waves of opposite sides (US Patent 4,621,911, [8] [9]). Beim I 5 M-Mikroskop wird sowohl kohärent von zwei Seiten beleuchtet als an auch kohärent detektiert (Patent US [1], [2]) indem die beiden Bilder des Objekts auf einem ortsauflösenden Detektor zur Interferenz gebracht werden. When I 5 M microscope is illuminated by both coherent two sides as also coherently detected (US Patent [1], [2]) that the two images of the object are brought to a position-sensitive detector to interfere.

Das Theta-Mikroskop ([12], [10]) detektiert Licht von 3 Seiten und kann mit konfokaler oder 4Pi-ähnlicher Beleuchtung arbeiten. The theta microscope ([12], [10]) detects light from 3 sides and can work with confocal or 4Pi similar lighting. Da bei der Detektion "von der Seite" die Auflösung entlang der optischen Achse der Beleuchtung besonders groß ist erhält man insgesamt ein kleineres Fokusvolumen. Since the resolution along the optical axis of the illumination is particularly large in detecting "from the side" to obtain an overall smaller focal volume.

Des weiteren wurden in der stereomikroskopischen Oberflächentopographie Verfahren un ter Benutzung von räumlich variierender Beleuchtung (z. B. sinusförmig) eingesetzt. Furthermore un ter use of spatially varying illumination were (z. B. sinusoidal) used in the stereo microscopic surface topography method. Durch Verrechnung der beiden gemessenen Bilder kann dann sehr genau auf die Oberflächenstruk tur geschlossen werden (Patent US 4525858, [16]). Can then be closed very closely to the surface struc ture (US Patent 4,525,858, [16]) by offsetting the two measured images.

Ein Verfahren, daß "optisches Schneiden" und somit hochauflösende dreidimensionale Bild gebung ähnlich des konfokalen Mikroskops ermöglicht ist durch Patent WO 97/31282 be kannt geworden. A method that "optical cutting" and thus high-resolution three-dimensional image environment similar to the confocal microscope allows came by WO 97/31282 patent be known. Es basiert auf der Aufnahme mehrerer Bilder mit jeweils unterschiedli chem Muster aus Beleuchtungslochblenden und zugehörigen Detektionslochblenden. It is based on the recording of multiple images with each unterschiedli chem pattern of illumination pinhole and associated detection pinhole. Durch geeignete Rekonstruktionsverfahren läßt sich aus den aufgenommenen Daten ein Bild be rechnen, das dem eines konfokalen Mikroskops äquivalent ist (aperture correlation micros copy, siehe auch [7], [15]). By suitable reconstruction method, an image can be expected from the recorded data, the equivalent of a confocal microscope (aperture correlation micros copy, see also [7], [15]). In Patent WO 98/45745 ist ein Verfahren beschrieben, welches auf Beleuchtung unter Abbildung eines Beugungsgitters oder auf zwei interferierenden La serstrahlen beruht (siehe auch [14]). In patent WO 98/45745, a method is described which is based on illumination under illustration of a diffraction grating or on two interfering laser beams La (see also [14]). Zur lateralen Auflösungserhöhung wurde ein ähnliches Verfahren eingesetzt in [4]. For lateral resolution enhancement, a similar method was used in [4].

Es gibt Verfahren, die sich auf nichtlineare Effekte in der Mikroskopie beziehen. There are procedures that apply to non-linear effects in microscopy. Zu nennen ist hier die Mehrphotonen Mikroskopie (Patent US 5034613, Patent US 5777732, [6], [3], Patent US 5828459). Mentioned here is the multi-photon microscopy (US Patent 5,034,613, US Patent 5,777,732, [6], [3], patent US 5,828,459). Hier wird ein konfokaler Effekt erreicht durch die gleichzeitige Ab sorption mehrere Photonen mit entsprechend reduzierten Energien. Here's a confocal effect is achieved by the simultaneous absorption from several photons with energies corresponding reduced. Andere Techniken be nutzen die stimulierte Emission (Patent US 5731588, DE 44 16 558 A1) oder das Entfölkern des Grundzustandes der Fluoreszenzmoleküle, indem diese bewußt in den längerlebigen Tripplettzustand gepumpt werden [5]. Other techniques be using the stimulated emission (US Patent 5,731,588, DE 44 16 558 A1) or Entfölkern of the ground state of the fluorescent molecules by being aware pumped into the longer-lived triplet state [5].

2.2 Nachteile existenter Verfahren 2.2 Disadvantages existent method

Die beschriebenen Verfahren bringen alle recht großen technischen Aufwand mit sich. The methods described bring all pretty great technical effort. So gestaltet sich die Justierung von 4Pi, I 5 M und Thetamikroskop sehr schwierig. Thus, the adjustment of 4Pi, I 5 M and Thetamikroskop very difficult. Die Verfah ren sind zudem auch aufwendig in der Herstellung, da sie sich nur unter oft großem Aufwand in vorhandene Mikroskopsysteme integrieren lassen. The procedural ren are also too expensive to produce because they can be integrated into existing microscope systems only, often under great effort. Beim Wellenfeldmikroskop ist es ein großes Problem, daß die OTF in axialer Richtung Bereiche aufweist, an denen sie verschwin det. In the wave-field microscope, it is a big problem that the OTF has axially areas where they disappear det. Desweiteren bringt das Wellenfeldmikroskop, wie auch 4Pi-Mikroskopie in lateraler Richtung keinen Auflösungsgewinn gegenüber herkömmlicher Epi-Fluoreszenzmikroskopie bzw. konfokaler Fluoreszenzmikroskie. Furthermore, as well as 4Pi microscopy brings the wave field microscope, in the lateral direction no gain in resolution over conventional epi-fluorescence microscopy or confocal Fluoreszenzmikroskie.

Viele Verfahren (konfokale Laserscanning-, 4Pi-, Thetamikroskopie) sind damit verbunden, daß das Objekt punktweise abgerastert wird. Many methods (confocal laser scanning, 4Pi, Thetamikroskopie) are connected with the fact that the object is scanned point by point. Dies nimmt Zeit in Anspruch und bereitet insbesondere bei der Bildgebung zeitabhängiger Vorgänge Probleme. This takes time and prepares particularly in imaging time-dependent operations problems. Außerdem benötigen abtastende Verfahren sehr schnelle Detektoren (z. B. Photomultiplier), die aber gegenüber langsameren Detektoren mit Ortsauflösung (z. B. CCDs) oft eine deutlich niedrigere De tektionseffizienz haben. In addition, scanning methods require very fast detectors (z. B. photomultiplier), but compared to slower detectors with spatial resolution (eg. As CCDs) often have a much lower De tektionseffizienz. Bei der Fluoreszenzmikroskopie kommt noch erschwerend hinzu, daß die sinnvolle Beleuchtungsstärke durch die maximale Anregungsrate der Farbstoffe im Fokus begrenzt ist, was der maximalen Abtastgeschwindigkeit weitere Grenzen setzt. In fluorescence microscopy, yet it is even worse that useful illumination is limited by the maximum excitation rate of the dyes in focus, which is the maximum scanning speed is more limited.

Bei den topographischen Verfahren wurde bisher nicht erkannt, daß eine ähnliche Ver suchsanordnung in der hochauflösenden Mikroskopie dazu imstande wäre, lateral und axial den Bereich der gemessenen Raumfrequenzen beträchtlich zu erweitern, insbesondere wenn nichtlineare Effekte ausgenutzt werden. In the topographic method has not been appreciated that a similar Ver test arrangement in high-resolution microscopy capable would be laterally and axially the range of the measured spatial frequencies to expand considerably, especially when non-linear effects are used.

Verfahren, die nichtlineare optische Effekte ausnutzen, konnten bisher keine große Auflö sungserhöhung demonstrieren. Method by exploiting nonlinear optical effects, have been able to demonstrate any major resolu sungserhöhung. Dies hängt auch damit zusammen, daß man mit entspre chend längeren Wellenlängen arbeiten muß, um Mehrphotonen Übergänge zu erreichen. This is also related that one has to work accordingly with longer wavelengths to achieve multi-photon transitions. Außerdem ist der Übertragungseffizienz bei hohen Raumfrequenzen im allgemeinen sehr schlecht, weil üblicherweise nur ein sehr kleiner Teil der Beleuchtungsintensität hohe Raum frequenzen enthält. In addition, the transmission efficiency is very poor at high spatial frequencies in general because usually contains only a very small part of the illumination intensity high frequencies room.

3. Ziel 3. Target

Aufgabe der Erfindung ist es, ein Verfahren zu schaffen, das es ermöglicht, eine hohe Auflösung in optisch Abbildenden Systemen zu erzielen. The object of the invention is to provide a method which makes it possible to achieve a high resolution in the image-forming optical systems. Ein weiteres Ziel ist es bekannte mikroskopische Verfahren unter Beibehaltung ihrer jeweiligen Vorteile so zu erweitern, daß deren Auflösung zusätzlich gesteigert wird. Another goal is known microscopic methods while maintaining their respective advantages to expand so that its resolution is further enhanced.

Diese Aufgabe wird durch Verfahren mit den Merkmalen des Anspruchs 1 gelöst. This object is solved by methods having the features of claim 1.

3.1 Genauere Erläuterung des Verfahrens 3.1 More detailed explanation of the method

In Anspruch 1 wird ein allgemeines Verfahren beschrieben, daß es ermöglicht den ef fektiven Bereich von detektierbaren Raumfrequenzen des Objekts F (Obj()) (Objekt- Raumfrequenzen) beträchtlich zu erweitern. In claim 1, a general method is described that allows the ef fective range of detectable spatial frequencies of the object F (Obj ()) (object spatial frequencies) to expand considerably. Dabei wird ausgenutzt, daß unter gewissen Bedingungen die Formel 1 verallgemeinert werden muß zu This exploits that under certain conditions the Formula 1 must be generalized to

Es wird also kein linearer Zusammenhang mehr vorausgesetzt zwischen der von einem Ob jektpunkt ausgehenden Lichtintensität I em () und der dort eingestrahlten Lichtintensität (enthalten in ()). Which assumes no linear relationship between the more of a jektpunkt Whether outgoing light intensity I em () and there the incident light intensity (in ()). Vielmehr ist nun I em () eine allgemeine Funktion von der Dichte der zu untersuchenden Objekteigenschaft und anderen Faktoren (), die im Folgenden als nichtlineare Bedingungen bezeichnet werden. Rather, it is now I em () is a general function of the density of the object property to be examined and other factors (), referred to hereinafter as non-linear conditions. Der Vektorpfeil über soll andeuten, daß es sich um mehrere Bedingungen b i handeln kann. The vector arrow above is meant to indicate that it is i can involve several conditions b. Ein wichtiger dieser Faktoren ist nach wie vor die eingestrahlte Lichtintensität an diesem Ort Bel (). An important of these factors is still the irradiated light intensity at this location Bel (). Man kann nun I em () als Taylorreihe mit konstanten Koeffizienten c i nähern: You can now approach I em () as a Taylor series with constant coefficients c i:

der Einfachheit halber wurde hier nur eine nichtlineare Bedingung b 1 () berücksichtigt. For the sake of simplicity, only a non-linear condition b 1 () has been taken into account. Sind noch andere solche Bedingungen in den Prozeß der Aussendung von Licht von diesem Punkt involviert, so treten natürlich die entsprechenden Terme auch in dieser Entwick lung auf (insbesondere auch Mischterme wie c 5b .Obj().b 1 ().b 2 ()). Are there other such conditions in the process of emission of light involved by this point, so naturally replaced by the corresponding terms in this development; however (especially mixed terms such as c 5b .obj (). B 1 () .b 2 () ). Der Term hinter c 3 ist gerade der in Formel 1 genannte, wenn man als nichtlineare Bedingung b 1 () = Bel() annimmt. The term C 3 is just behind the mentioned in formula 1, assuming as non-linear condition b 1 () = Bel (). Die Fouriertransformierte der ausgesandten Lichtintensität F(I em (Obj(), ()) enthält demnach analog zu Formel 1 den Term c 3 .F(Bel())⊗ F(Obj(). The Fourier transform of the transmitted light intensity F (I em (Obj (), ()) contains therefore analogous to formula 1 the term c 3 .F (Bel ()) ⊗ F (Obj ().

Man kann sich nun F(Bel()) in eine Summe einzelner δ-Funktionen zerlegt denken. One can think decomposed F (Bel ()) into a sum of individual δ-functions now. Je nach Beleuchtungsmuster werden also Teile der Fouriertransformierten Objektfunkti on durch die Faltung mit der fouriertransformierten Beleuchtungsfunktion verschoben und mit entsprechendem Gewicht aufaddiert (siehe Abb. 1). Depending on the lighting pattern that parts of the Fourier transform Objektfunkti on by the convolution be moved with the Fourier-transformed illumination function and with appropriate weight added (see Fig. 1). Aus dieser Summe wird durch die optische Abbildung (die folgende Multiplikation mit der raumfrequenzbegrenz ten OTF()) gewissermaßen der detektierbare Bereich "ausgestanzt". From this sum (the following multiplication with the raumfrequenzbegrenz th OTF ()) is determined by the optical imaging "punched out" so to speak, the detectable range. Der Bereich detek tierbarer Objekt-Raumfrequenzen ist bei Beleuchtung mit einem Muster dadurch schon deutlich gegenüber dem Fall einer gleichmäßigen Beleuchtung erweitert. The area Detek ments, can object spatial frequencies is thus already significantly expanded upon illumination with a pattern compared to the case of a uniform illumination. Mit entsprechen den Rekonstruktionsverfahren lassen sich die verschobenen Objekt-Raumfrequenzen wieder zu einem konsistenten Bild zusammensetzen (siehe [4]). By meeting the reconstruction process can be the relocated object spatial frequencies together again to form a consistent picture (see [4]).

Außerdem treten jetzt aber auch Terme höherer Ordnung in b 1 () auf, wie hinter c 5 und c 6 in Formel 4. Deren Fouriertransformierte sind dann auch in F(I em (Obj(), ())) enthalten. In addition, higher order in 1 b () now occur but also terms on how behind c 5 and c 6 in formula 4. Their Fourier transforms are then also in F (I em (Obj (), ())) included. Wenn also b 1 () = Bel() erhält man in Formel 2 auch den Term: c 5 . Thus, if b 1 () = Bel () is obtained in Formula 2 and expression: c. 5 [F(Bel()) ⊗ F(Bel())] ⊗ F(Obj()). [F (Bel ()) ⊗ F (Bel ())] ⊗ F (Obj ()). Mit einem gewissen Anteil im Bild ist es jetzt möglich Raumfrequenzen des Objekts zu messen, die vorher nicht zugänglich waren, da sie durch die Faltung mit der raumfrequenzbegrenzten Funktion F(Bel()) noch nicht in den mittels OTF() detektierbaren Bereich geschoben werden konnten. With a certain proportion in the picture, it is now possible to measure spatial frequencies of the object that were previously not accessible because they could not by the convolution with the spatial frequency-limited function F (Bel ()) still slide in using OTF () detectable range , Die Ausdehnung des Trägers von F(Bel()) ⊗ F(Bel() kann nun aber entsprechend größer sein, wodurch sich entsprechend höhere Raumfrequenzen in den durch OTF() detektierbaren Bereich schieben und so im Bild meßbar sind. Noch höhere Ordnungen wirken sich entsprechend in weiteren Faltungen mit den Fouriertransformierten der b i () aus, so daß entsprechend noch höhere Objekt-Raumfrequenzen detektierbar sind. Im Prinzip ist es damit möglich beliebig hohe Raumfrequenzen des Objekts zu detektieren und somit die Auflösung belie big zu erhöhen, wenn entsprechende Koeffizienten in der Reihenentwicklung 4 vorhanden sind. In den meisten Fällen wird die bei Rekonstruktion erzielbare praktische Auflösung aber oft durch das bei diesen hohen Objekt-Raumfrequenzen erreichbare Signal zu Rausch Verhältnis begrenzt. The extent of the support of F (Bel ()) ⊗ F (Bel () but can now be correspondingly larger, resulting in correspondingly higher spatial frequencies in the by OTF () push detectable range and so the image can be measured. Even higher orders affect accordingly in other folds with the Fourier transform of b i (), so that higher object spatial frequencies are accordingly still detectable. In principle, it is thus possible to arbitrarily high spatial frequencies of the object to be detected and thus belie big to increase the resolution if the corresponding coefficients in the series expansion 4 are available. In most cases, the achievable resolution of the reconstruction practical but is often limited by the achievable at these high frequencies object-space signal to noise ratio.

3.2 Rekonstruktion aus Meßdaten 3.2 reconstruction from measured data

Hat man Daten gemessen, welche die gewünschten Objekt-Raumfrequenzen enthalten ist es sinnvoll diese zu einem konsistenten Bild zusammenzusetzen. If you have measured data, which it is contained the desired object spatial frequencies makes sense to put them together to form a consistent picture. Dazu muß es allerdings möglich sein die Funktionen b i () vom der das Objekt beschreibenden Funktion Obj() zu unterscheiden. There must, however, be possible functions b i () of the function describing the object Obj () to distinguish. Das bedeutet, daß man diese am Punkte variieren muß. This means that it must vary on points. Dies kann auf unterschiedliche Arten geschehen. This can be done in different ways. Eine Möglichkeit ist es b i () als ein räumliches Muster auszubilden, daß dann gegenüber dem Objekt zwischen unterschiedlichen Einzelbildern verschoben wird. One possibility is to be formed b i () as a spatial pattern that is then shifted from the object between different frames. Des weiteren kann man aber z. B. auch die Stärke dieses Musters oder dessen Form zwischen der Aufnahme von Einzelbildern verändern, wodurch die in der Taylorentwicklung 4 gezeigten Komponenten auch unterscheidbar werden. Furthermore, however you can,. As well as the strength of this pattern or its shape between the shooting still pictures may change, and the components shown in the Taylor expansion 4 are also distinguishable.

Eine Rekonstruktion eines hochauflösenden Bildes kann nun auf verschiedene Arten ge schehen. A reconstruction of a high resolution image can now ge in different ways Schehen. In einer direkten Variante werden die in der oben gezeigten Taylorentwicklung enthaltenen Terme, so weit sie meßbaren Einfluß haben, durch das Lösen eines Gleichungs systems ermittelt und so voneinander getrennt. In a direct variation, the terms contained in the Taylor expansion shown above, so far they have measurable impact, determined by solving a system of equations and thus separated from each other. Die Multiplikation mit der OTF verhindert nicht, daß es möglich ist an jedem Punkt im Bereich des Trägers der OTF im reziproken Raum dieses Gleichungssystem zu bestimmen und im Prinzip zu lösen. Multiplication by the OTF does not prevent it is possible to determine at any point in the region of the wearer of the OTF in reciprocal space of this system of equations and solve in principle. Durch Verschiebung im Fourierraum (oder Multiplikation mit exp(i) im Ortsraum mit Frequenzraum- Verschiebevektor ) können die individuellen Komponenten dann so zusammengesetzt werden, daß sich ein hochauflösendes Bild ergibt. By displacing in Fourier space (or multiplication by exp (i) in the spatial domain with Frequenzraum- displacement vector) could then be assembled the individual components that results in a high resolution image. Dieses kann dann mit weiteren Dekon volutionstechniken verarbeitet werden um die Qualität des Bildes weiter zu steigern. This can then be processed volutionstechniken with further decontamination to the quality of the image to increase further.

Beleuchtung mit einem Muster aus möglichst hohen Raumfrequenzen ermöglicht eine große Auflösungserhöhung gegenüber der herkömmlichen Lichtmikroskopie (siehe auch Patent US 5671085). Lighting with a pattern of the highest possible spatial frequencies allows for a large increase in resolution over conventional light microscopy (see also US Patent 5,671,085). Durch Ausnutzung eines nichtlinearen Zusammenhangs zwischen der Stär ke eines Musters an einem Objektpunkt und der von diesem Objektpunkt ausgehenden (emmitierten bzw. gestreuten) Lichtintensität, ist es möglich ein Bild mit noch höherer Ortsauflösung zu berechnen. By making use of a non-linear relationship between the Stær ke a pattern on an object point and the risk posed by this object point (the emitted or scattered) light intensity, it is possible to compute an image with even higher spatial resolution. Als Beispiel läßt sich dieses Muster durch Anregung von Fluo reszenz mit einer ortsabhängigen Verteilung intensivem Lichts erzeugen. As an example, this pattern can produce cence with a position-dependent distribution intense light through excitation of Fluo. Die nichtlineare Abhängigkeit kann dann z. B. durch die Sättigung der Anregung von im Objekt vorhande nen Fluoreszenzfarbstoffen entsteht. The nonlinear dependence can then z. B. is caused by the saturation of the excitation of the object vorhande nen fluorescent dyes. Ist dabei das eingestrahlte Licht intensiv genug, erhält man einen nichtlinearen Zusammenhang der an einem Punkt emmitierten Lichtintensität von der an diesem Punkt eingestrahlten Lichtintensität (siehe [11] und [13]). Is the incident light intense enough, you get a non-linear relationship of the emitted light intensity at a point on the incident light intensity at this point (see [11] and [13]). Das detek tierte Licht enthält nun auch Information über Raumfrequenzen des Objekts, die sonst nicht zugänglich wären. The Detek oriented light now also contains information about the spatial frequencies of the object that would otherwise be inaccessible. Allerdings enthält jedes so aufgenommene Bild eine Mischung von Anteilen hoher Raumfrequenzen, die aber dann durch Aufnahme unter unterschiedlichen Bedingungen und Verrechnung mehrerer solcher Bilder getrennt und zu einem konsistenten hochauflösenden Bild zusammengesetzt werden können. However, every so captured image contains a mix of shares high spatial frequencies, but which can be then separated by absorption under different conditions and clearing of several such images and assembled into a consistent high-resolution image.

Um z. B. im Fall der Fluoreszenzmikroskopie bei Beleuchtung mit einer einem Liniengitter ähnlichen Struktur ein Bild zu rekonstruieren, kommt man wie folgt zu einem Gleichungs system: . In order to reconstruct, for example, in the case of fluorescence microscopy at a line illumination with a grid-like structure, a picture is obtained as follows in a system equation:
Die Intensitätsverteilung des anregenden Lichts lasse sich in diesem Beispiel durch eine in den positiven Bereich verschobene Sinusfunktion beschreiben. The intensity distribution of the exciting light let be described by a shifted in the positive range sine function in this example. Als Fouriertransformier te ergeben sich dann drei im Idealfall punktförmige Maxima bei = 0, = + und = - ( Abb. 1). As Fouriertransformier te then three punctate ideally maxima at = 0, = result + = and - (Fig. 1). Diese Maxima haben je nach Modulationsgrad eine Intensität und einen jeweiligen Phasenwinkel in der komplexen Ebene, der von der Verschiebung diese Musters abhängt. These maxima have an intensity depending on the degree of modulation and a respective phase angle in the complex plane, which depends on the displacement of this pattern. Durch den Einfluß der nichtlinearen Abhängigkeit der Emissionsintensi tät von der Beleuchtungsintensität (Sättigung der Fluoreszenz) ergibt sich ein Muster der Anregbarkeit von Fluoreszenz eines bestimmten Farbstoffes, welches aus im Prinzip unend lich vielen Maxima im reziproken Raum besteht, deren absolute Höhe aber mit steigendem schnell abnimmt (siehe Abb. 2). Due to the influence of the nonlinear dependence of the Emissionsintensi ity of the illumination intensity (saturation of fluorescence) results in a pattern of excitability of fluorescence of a specific dye, which unend Lich many peaks in reciprocal space is made in principle, but the absolute level decreases with increasing rapidly (see Fig. 2). Näherungsweise kann man Rekonstruktionen bei einem endlichen Raumfrequenzwert max = ± m b abbrechen und in der Rechnung nur Maxima mit kleineren Raumfrequenzen berücksichtigen. Approximately one can reconstructions at a finite spatial frequency value max = ± m b abort and take into account in the calculation only peaks with smaller spatial frequencies. Verschiebt man dieses Anregbar keitsmuster gegenüber dem Objekt, so ändern sich die jeweiligen komplexen Phasenlagen der einzelnen punktförmigen Anregungs-Maxima im Fourierraum. If you move this excited keitsmuster towards the object, then the respective complex phase positions of the individual point-like excitation maxima change in Fourier space. Berücksichtigt man Anregungs-Maxima (und das bei = 0) benötigt man also 2m + 1 unter verschiedenen Bedingungen aufgenommene Bilder um die einzelnen abgebildeten Komponenten, welche mit dem jeweiligen Maximum gefaltet (also verschoben) sind separieren zu können. Considering excitation maxima (and at = 0) are therefore required to 2m + 1 images recorded under different conditions to the individual components displayed, which is folded with the respective maximum (ie, moved) to separate. Als Beispiel sei hier m = 2. Der Phasenwinkel der Maxima im Frequenzraum des Anreg barkeitsmusters bewegt sich bei Verschieb des Anregbarkeitsmusters proportional zu n b , da eine Verschiebung im Raum um einer Multiplikation im Frequenzraum mit exp(i ) entspricht. As an example, let m = 2. The phase angle of the maxima in the frequency domain of the Stimulus barkeitsmusters moves on the Move and Anregbarkeitsmusters proportional to n b, since a shift in the room for a multiplication in the frequency domain by exp (i) corresponds. Nimmt man also verschiedene Bilder I n () = F(I n ()) des Ob jekts mit jeweils um ein fünftel des Grundmusters gegeneinander verschobener Phaselage des Beleuchtungsmusters (also auch des Anregbarkeitsmusters) auf, so ergibt sich folgendes Gleichungssystem: So, take several pictures I n () = F (I n ()) of the Ob ject, each to one-fifth of the basic pattern against each shifted phase angle of the illumination pattern (including the Anregbarkeitsmusters), so results in the following system of equations:

Obj n () bezeichnen hier die zum n. Maximum des Anregungsmusters gehörenden, ver schobenen komplexwertigen Komponenten des fouriertransformierten Objekts (Objekt- Raumfrequenzen), welche dann durch die OTF des abbildenden Systems transmittiert wurden. Obj n () denote the here for n. Maximum of the excitation pattern associated with, ver inserted complex Fourier-transformed components of the object (object spatial frequencies), which were then transmitted through the OTF of the imaging system. Durch Lösung dieses Gleichungssystems können die individuellen Objektkompo nenten, die zu jedem Maximum des Anregbarkeitsmusters gehören ermittelt werden. By solving this system of equations, the individual can Objektkompo components that are determined belong to each maximum of Anregbarkeitsmusters. Dies kann z. B. durch Invertieren der Matrix M geschehen. This can be. As done by inverting the matrix M. Diese Inverse (M -1 ) kann dann mit dem rechts stehenden Vektor der gemessenen Intensität I n () multipliziert werden, um die individuellen transmittierten Objektkomponenten zu ermitteln. This inverse (M -1) can then be multiplied by the right stationary vector of the measured intensity I n () to determine the individual components of the transmitted object. Die Rechnung kann aufgrund der Linearität der Fouriertransformation auch pixelweise im Realraum ausge führt werden. The invoice can be pixel-wise be due to the linearity of the Fourier transformation in real space leads. Die komplexwertigen Komponenten Obj n () können nun (z. B. durch Mul tiplikation im Realraum mit exp(i) um den Vektor im Fourierraum verschoben werden, so daß die jeweilige Raumfrequenz dort zu liegen kommt, wo sie bei flacher, gleichmäßiger Beleuchtung gemessen würde. ist also hier n b . Die Komponenten Obj n () müssen noch in ihrer komplexen Phasenlage je nach gegenseitiger Phasenlage ϕ n der Frequenzraum-Anregungsmaxima im Bild I o korrigiert werden (Multiplikation mit exp(-iϕ n )) und können dann z. B. durch gewichtete Addition mit den anderen Obj n () zu einem konsistenten Bild vereinigt werden. Man erhält auf diese Weise eine Ausdehnung des Trägers (des von Null verschiedenen Bereichs) der gesamt-OTF auf einen deutlich größeren Bereich als es bei linearer Abbildung möglich wäre und somit eine entsprechende Auflö sungserhöhung. Gleiches kann in verschiedenen Richtungen durchgeführt werden, was es so ermöglicht eine Auflösungserhöhung in ein, zwei oder drei Dimensionen zu erhalten. Die Gesamttransferfunktion kann im Anschluß daran oder bei Zwischenschritten noch durch entsprechendes Filtern und/oder Anwenden von Entfaltungstechniken verändert werden. The complex-valued components Obj n () can now (z. B. by Mul tiplikation in real space with exp (i) are shifted by the vector in Fourier space, so that the respective spatial frequency is there to lie where they measured in flat, uniform illumination would. So here n b. The components Obj n () still have in their complex phase depending on the mutual phase angle φ n is the frequency domain excitation maxima in the image I o be corrected (multiplication by exp (-iφ n)) and can then z . as are combined by weighted addition to the other n Obj () to form a consistent picture. This gives way an extension of the beam (the zero range) of the total OTF to a far wider area than with linear mapping would be possible and thus sungserhöhung a corresponding resolu. The same can be done in different directions, which it thus enables an increase in resolution in one, get two or three dimensions. The overall transfer function can thereafter or at intermediate steps or by appropriate filters and / or applying be altered by development techniques.

Auch ist es möglich ohne die beschriebe Matrix-Methode auszukommen, indem man z. B. Quadratur-Techniken anwendet (analog zu Patent WO 98/45745) oder algebraische/iterative Rekonstruktionsverfahren verwendet (maximum likelihood/expectation maximization, ma ximum entropie, algebraic reconstruction, . . .). It is also possible without the descriptions matrix method to get along by z. B. quadrature techniques applied (analogous to WO 98/45745 patent) or algebraic / iterative reconstruction method used (maximum likelihood / expectation maximization, ma imum entropy, algebraic reconstruction ,...).

Analog zu obigem Verfahren lassen sich die Methoden anwenden auf beliebige Faktoren, die imstande sind, für sich oder im Zusammenwirken untereinander (insbesondere zusam men mit der Beleuchtungsintensität) die Intensität des von Objekt ausgehenden Lichts zu beeinflussen. Analogous to the above method can be applied to any factors the methods that are capable by themselves or in conjunction with each other (especially men together with the illumination intensity) to influence the intensity of the light emitted by the object.

4. Vorteile des neuen Verfahrens gegenüber anderen Verfahren 4. Advantages of the new method compared with other methods

Das Verfahren läßt sich vergleichsweise einfach praktisch realisieren. The process can be relatively easy to implement in practice. Die Justierung einer solchen Apparatur beschränkt sich auf ein minimales Maß. The adjustment of such an apparatus is limited to a minimum level.

Vorteilhaft ist auch, daß hohe Raumfrequenzen, die in Objektiven stark unterdrückt wer den, nun durch die Verschiebung im Frequenzraum effizienter detektiert werden können. Another advantage is that high spatial frequencies strongly suppressed in the lenses who now can be detected efficiently by the shift in the frequency domain.

Außer einem lateralen Auflösungsgewinn erhält man zusätzlich auch einen axialen Auf lösungsgewinn und die Möglichkeit, zur optischen Achse senkrecht stehende Ebenen in axialer Richtung zu diskriminieren (ähnlich wie beim konfokalen Mikroskop). Apart from a lateral resolution gain is obtained in addition also an axial lution profit and the possibility to the optical axis perpendicular planes in the axial direction to discriminate (similar to the confocal microscope). Auch hier ergibt sich bei Ausnutzung der nichtlinearen Abhängigkeit die Möglichkeit zu einem be trächtlichen Auflösungsgewinn. Again, results from use of the non-linear dependence on the ability to be a siderable increase in resolution.

Das Verfahren ist in Kombination mit vielen anderen Mikroskopieverfahren oder Verfah ren zur optischen Abbildung anwendbar (den oben genannten, Absorptionsmikroskopie, Reflexionsmikroskopie, Fluorescence Lifetime Imaging, Mehrphotonenmikroskopie, Inter ferenzmikroskopie, konfokale Mikroskopie, . . .). The method is ren in combination with many other microscopy methods or procedural optical imaging applicable (the above, absorption microscopy, reflection microscopy, fluorescence lifetime imaging, multiphoton microscopy, Inter ference microscopy, confocal microscopy,...).

Die Bildgebung kann z. B. mit einer CCD-Kamera an allen Punkten in der Bildebene gleich zeitig geschehen und ist daher deutlich schneller möglich als bei abtastenden Verfahren. The imaging can,. B. happen simultaneously in the image plane with a CCD camera at all points and is therefore much faster than with scanning process.

Die eingesetzten nichtlinearen Effekte (also z. B. Farbstoffsättigung) können auch dazu verwendet werden verschiedene Farbstoffe oder Farbstoffe in verschiedener Umgebung, die sonst schlecht von einander zu unterscheiden wären, auf Grund von unterscheidbaren nicht- linearen Eigenschaften zu trennen. The nonlinear effects used (ie z. B. dye saturation) can also be used various dyes or coloring in different environment that would otherwise be difficult to distinguish from each other to separate on the basis of distinct non-linear properties.

5. Ausführungsbeispiele 5. embodiments

Ausführungsbeispiele des Verfahrens sind in den Zeichnungen dargestellt und werden im folgenden näher beschrieben. Embodiments of the method are illustrated in the drawings and will be described in more detail below.

Es zeigen Shown

Abb. 3 eine beispielhafte Anwendung des Verfahrens auf die Epifluoreszenz mikroskopie. Fig. 3 shows an exemplary application of the method to the epifluorescence microscopy.

Abb. 4 eine beispielhafte Anwendung des Verfahrens auf die Epifluoreszenz mikroskopie bei seitlicher Beleuchtung. Fig. 4 is an exemplary application of the method to the epifluorescence microscopy with illumination from the side.

Abb. 5 Simulationen von Mikroskopiebildern, als wenn sie mit dieser Technik aufgenommen wurden. Fig. 5 simulations of microscopy images as if they were taken with this technique. Die Bilder wurden entsprechend einer in jedem Pixel pois sonverteilten Photonenstatistik verrauscht. The images were noisy in each pixel corresponding to a pois sonverteilten photon statistics. Die maximale Intensität betrug hierbei ca. 560 Photonen im Pixel in den jeweiligen Einzelbildern. The maximum intensity at this time was about 560 photons in the pixels in the image frames.

Abb. 6 Simulationen von aus diesen Bildern rekonstruierten hochauflösenden Bildern und der Vergleich mit simulierten normalen Epifluoreszenzbildern Fig. 6 simulations of reconstructed from these images high resolution images and the comparison with simulated normal Epifluoreszenzbildern

Abb. 7 Vergleich der Intensitätskurven entlang einer Linie in 6d) und e). Fig. 7 Comparison of the intensity curves along a line in Figure 6d) and e).

Abb. 9 Vergleich zweier simulierter Rekonstruktionen mit einem elektronen mikroskopischen Bild des Zellkerns als angenommene "wahre" Fluoreszenzdichte des Objekts. Fig. 9 Comparison of two simulated reconstructions with an electron microscope image of the nucleus to be accepted as "true" fluorescence density of the object.

In Abb. 3 ist ein Beispiel der Anwendung des Verfahrens auf die Epifluoreszenzmikroskopie zu sehen. In Fig. 3 an example of application of the method is shown on the epifluorescence microscopy. Die ortsabhängig stark fluktuierende Beleuchtung wird erreicht durch Abbildung eines Beugungsgitters ( 1 ) (hier ein Transmissionsgitter, Gitterabstand z. B. 30 µm) durch das Objektiv ( 2 ) auf das Objekt ( 3 ). The location dependent strongly fluctuating illumination is achieved by imaging a diffraction grating (1) (here, a transmission grating, grating distance z. B. 30 microns) through the lens (2) the object (3). Für die Aufnahme der unterschiedlichen Phasenlagen wird z. B. das Gitter in kleinen Schritten gegenüber dem Objekt unter dem Mikroskop ver schoben. For the recording of different phases such. As the grid is compared to the object under the microscope ver pushed into small steps. Die minimale Anzahl der nötigen Aufnahmen für das Rekonstruieren eines Bildes ergibt sich durch die Anzahl der Unbekannten des assoziierten Gleichungssystems (so). The minimum number of required shots for reconstructing an image is given by the number of unknowns of the associated equation system (see above). Die Änderung der Phasenlage läßt sich z. B. auch erreichen, indem man das Objekt unter dem Mikroskop gegenüber der abgebildeten Beugungsstruktur verschiebt oder direkt die Phase der verschiedenen Beugungsmaxima durch geeignete optische Elemente beeinflußt wird. The change in phase angle can also be achieved by moving the object under the microscope compared to the imaged diffraction structure or directly the phase of the different diffraction maxima is influenced by suitable optical elements z. B..

Um die Auflösung in allen Raum-Richtungen zu erhöhen, ist es nötig, mit Mustern unter verschiedenen Winkeln nacheinander oder mit einem 2-dimensionalen Muster, welches Beu gungsmaxima in mehreren Richtungen der Ebene hervorruft, in verschiedenen Phasenlagen in jeder Dimension zu beleuchten. In order to increase the resolution in all spatial directions, it is necessary with patterns at different angles to illuminate successively or with a two-dimensional pattern, which causes Beu transmission maxima in several directions of the plane in different phase positions in each dimension.

Durch Erstellen von Fokusserien kann man noch zusätzliche Information über die axiale Struktur und so dreidimensionale Bilder des Objekts gewinnen. By creating focus series can win additional information about the axial structure and so three-dimensional images of the object. Dies wird zum einen durch die inkohärente Lichtquelle zum anderen durch das Vorhandensein der 0. Beugungsordnung des Gitters noch zusätzlich erleichtert. This is additionally facilitated both by the incoherent light source on the other by the presence of the 0th diffraction order of the grating. Auch kann ein zusätzlicher Auflösungsgewinn durch Drehen des Objekts um eine auf der optischen Achse senkrecht stehende Achse unter dem abbildenden System erreicht werden. Also, an additional gain in resolution can be achieved by rotating the object about an axis perpendicular to the optical axis with the imaging system.

Beleuchtet man mit entsprechend starken momentanen Intensitäten, so macht sich die Sättigung der Farbstoffe bemerkbar und führt zu den gewünschten nichtlinearen Ef fekten, die wesentlich zur Auflösungserhöhung beitragen. If we illuminate fekten with correspondingly high current intensities, then the saturation of the dyes is noticeable and leads to the desired nonlinear Ef, which contribute significantly to increase the resolution. Als Lichtquellen bieten sich hier auch insbesondere intensive Blitzlicht-Lampen (aber auch Laser) an. As light sources here also offer particularly intense flash of light bulbs (but also laser). Die gesuchten Anteile der sich überlagernden individuellen Ordnungen können aus den Bildern bei verschiedenen Phasenlagen der Anregungsstruktur errechnet werden. The desired proportions of overlapping individual orders can be calculated from the images at different phases of the excitation structure. Es ist auch möglich, aus Aufnah men mit verschiedener Beleuchtungsintensität hochauflösende Bilder zu rekonstruieren. It is also possible from Aufnah men with different illumination intensity high-resolution images to be reconstructed.

Unterdrückt man (z. B. durch Ausblenden) die 0. Beugungsordnung des Gitters ( 1 ), so erhöht man damit in vorteilhafter Weise den Modulationsgrad der Beleuchtungsfunktion und damit die relative Intensität in höheren Anregungsordnungen. Advantageously Suppresses you (z. B. by hiding) the 0th diffraction order of the grating (1), thus increasing the degree of modulation of the illumination function and thus the relative intensity at higher excitation magnitude.

In einer anderen Anordnung wird die Probe mit Laserlicht beleuchtet. In another arrangement, the sample is illuminated with laser light. Man kann auf das Beugungsgitter verzichten und den aufgeweiteten Laserstrahl direkt über einen halb durchlässigen Spiegel von zwei Seiten auf das Objektiv fallen lassen (nicht gezeigt). You can waive the diffraction grating and the expanded laser beam can fall directly over a half mirror from two sides of the lens (not shown). Es ist aber auch möglich, wie in Abb. 4 gezeigt, den Laserstrahl seitlich am Objektiv vorbei zu führen, wodurch noch höhere Beleuchtungsraumfrequenzen erzielt werden können. But it is also possible, as shown in Fig. 4, for guiding the laser beam over the side of the lens, whereby still higher illumination spatial frequencies can be achieved. Die Anordnung gleicht in gewisser Weise einem Wellenfeldmikroskop, bei dem man nicht mit gegeneinander gerichtetem Licht beleuchtet und außerdem von der Seite detektiert. The arrangement is like a wave field microscope in which you can not illuminated with oppositely directed light and also detected by side in some way. Um zusätzlich auch eine gute axiale Diskriminierung zu erhalten kann man den Strahl zugleich noch aus einer oder mehreren Richtungen durch das Objektiv (nicht gezeigt) und/oder von der dem Objektiv abgewandten Seite auf das Objekt fallen lassen ( Abb. 4), wel ches sich in dem Interferenzbereich der Laserstrahlen (kreuzschraffierte Region) befindet. In order to receive an additional a good axial discrimination to the beam at the same time or from one or more directions through the lens (not shown) and / or dropped from the side facing away from the lens to the object (Fig. 4), wel ches are located in the interference range of the laser beams (cross-hatched region). Die durch Nichtlinearitäten erzielbare zusätzliche Auflösungserhöhung kann man wiederum durch Benutzung entsprechend starker Laser bzw. gepulster Laser mit hohen momenta nen Intensitäten erreichen. The achievable by non-linearities additional resolution enhancement can in turn achieved by using suitably strong laser or pulsed laser with high momenta nen intensities. Auch die Verwendung anderer intensiver Lichtquellen (z. B. Blitzlichtlampen) ist denkbar und ggf. vorteilhaft. The use of other intense light sources (eg. As flash lamps) is feasible and possibly beneficial.

Die Abb. 5 zeigen eine Serie von simulierten Einzelbildern bei einem zugrunde liegenden Fluoreszenzmikroskopieverfahren wie in Abb. 3 gezeigt. The Fig. 5 show a series of simulated image frames shown in an underlying fluorescence microscopy procedure as in Fig. 3. Intensität ist hier als Schwärzung dargestellt. Intensity is here shown as a blackening. Zur besserem Sichtbarmachung der Beleuchtung wurde im Ob jekt ( Abb. 5(a)) eine konstante Hintergrundfluoreszenz angenommen. In order to better visualize the illumination a constant background fluorescence was in Whether project (Fig. 5 (a)) was adopted. In Abb. 6 werden daraus rekonstruierte Bilder mit konventionell simulierten optischen Abbildungen verglichen. Resulting reconstructed images with conventional simulated optical images are compared in Fig. 6. Es ist erkennbar, daß die Bildqualität des nichtlinearen Verfahrens selbst kon ventionellen Rekonstruktionen mit Hochfrequenzverstärkung deutlich überlegen ist. It can be seen that the image quality of the nonlinear process itself conven- tional reconstruction is clearly superior to conventional high-frequency gain.

Abb. 8 zeigt einen lateralen Schnitt durch die simulierte optische Transferfunktion des Ge samtsystems aus Abb. 3. Fig. 8 shows a lateral section through the simulated optical transfer function of the overall system from Ge Fig. 3rd Der Gitterabstand des Beugungsgitters wurde hier so gewählt, daß nur die Beugungsordnungen 0, +1 und -1 des Beugungsgitters durch das Objektiv übertragen werden können. The grating pitch of the diffraction grating is here selected so that only the diffraction orders 0, +1 and -1 of the diffraction grating can be transmitted through the lens. Durch die teilweise Sättigung der beteiligten Farbstoffe ergibt sich eine nichtlineare Beziehung zwischen der Beleuchtungsintensität und der Wahr scheinlichkeit der Anregung eines Farbstoffmoleküls an einem Punkt im Objektraum. The partial saturation of the dyes participated in a non-linear relationship between the light intensity and the Fortune gives the probability of excitation of a dye molecule at a point in object space. Die se räumlich variierende Anregungswahrscheinlichkeit wird hier Anregungsmuster genannt. The se spatially varying excitation probability is here called excitation pattern. Wenn man annimmt, das die Anregungswahrscheinlichkeit für ein bestimmtes Farbstoff molekül eine Funktion der Beleuchtungsintensität ist, so führt eine Nichtlinearität dieser Funktion dazu, daß im Emissionsmuster auch räumlich höhere Harmonische des Anregungs musters auftreten. Assuming that is the excitation probability for a particular dye molecule a function of illumination intensity, so this function performs a non-linearity to that spatially higher harmonics of the excitation pattern occurring in the emission pattern. Maxima im reziproken Raum, die jenseits der durch die Abbe-Grenze gegebenen Raumfrequenzbegrenzung liegen, können dann im Anregungsmuster auftreten. Maxima in the reciprocal space that lie beyond the limits set by the Abbe limit spatial frequency limit, then may occur in the excitation pattern. Die raumfrequenzbegrenzte Abbildung der Multiplikation der Farbstoffverteilung mit dem Anregungsmuster enthält nun Komponenten analog zu einer linearen Anregung mit einem Muster, welches höhere Raumfrequenzen enthält. The spatial frequency-limited imaging by multiplying the distribution of dye with the excitation pattern now contains components similar to a linear excitation with a pattern containing higher spatial frequencies.

6. Begriffsdefinitionen und Erläuterungen 6. Definitions and Instructions

Im Folgenden sind für die Patentansprüche wichtige Begriffe näher ausgeführt und definiert: The following terms are important for the claims elaborated and defined:
Objektbedingungen: Darunter sind alle Parameter und Bedingungen am Ort des Objek tes zu verstehen, die imstande sind, eine oder mehrere Eigenschaften (wie Intensität, Polarisationszustand, Phase, Farbe, Pulsform/-länge, Kohärenzgrad, Photonenkor relation, . . .) des Lichts, daß von Objekt ausgeht zu beeinflussen. Conditions of object: Among all the parameters and conditions at the site of OBJEK tes are to be understood, which are capable of one or more properties of light (such as intensity, polarization state, phase, color, pulse shape / length, degree of coherence, Photonenkor relation,...) that influence object goes out.
nichtlineare Abhängigkeit: Damit ist gemeint, daß die im Detektor detektierte Lichtin tensität in ihrer Abhängigkeit von dem Wert einer Objektbedingung am Ort der Lichtaussendung (auch Streuung usw.) meßbar keinem einfachen linearen Modell folgt, also daß Terme höherer Ordnung in der obigen Taylorentwicklung (Formel 4) auftreten. nonlinear dependence: This means that the detected in the detector Lichtin intensity in their dependence on the value of an object condition at the place of light emission (including scattering, etc.) measured no simple linear model follows, therefore, that the higher order terms in the above Taylor expansion (formula 4) occur. Es genügt aber auch, daß z. B. eine lineare Abhängigkeit der Lichtin tensität von mehreren Objektbedingungen zugleich vorliegt, da dann entsprechende "Mischterme" in der Taylorentwicklung auftreten, welche auch zu einer Erweiterung der detektierbaren Objekt-Raumfrequenzen führen. But it is sufficient that z. B. a linear dependence of the intensity of several Lichtin object conditions also present, as corresponding "mixed terms" then occur in the Taylor expansion, which also lead to an extension of the detectable object spatial frequencies.
detektierte Lichtintensität: Die Lichtintensität, die mit dem Detektorsystem gemes sen wird. detected light intensity: The light intensity is mea with the detector system sen. Sie kann entsprechend der Funktionalität des Detektors von der am Ort des Detektors herrschenden mittleren Lichtintensität durchaus abweichen, wenn z. B. zeitlich moduliert detektiert wird oder ein rohes Detektorsignal mit anderen Signalen korreliert wird (z. B. durch Lock-In-Technik). It may differ from the prevailing at the detector medium light intensity quite in accordance with the functionality of the detector when z. B. is detected modulated in time or a raw detector signal is correlated with other signals (eg. As by lock-in technique).
Einzelbild: Darunter sind allgemein mit einem im weitesten Sinne abbildenden lichtop tischen Verfahren aufgenommene Bilddaten zu verstehen. Single: Below are general with a broadly imaging lichtop matic method to understand captured image data. Es kann sich dabei um einen einzelnen Datenpunkt, mehrere an ein oder verschiedenen Objektpunkten auf genommene Datenpunkte oder -bereiche in ein-, zwei -, drei- oder mehr Dimensionen handeln. It can involve a single data point, several taken to a different object or points to data points or regions in one, two - three or more dimensions act. Insbesondere ist es für untenstehende Patentansprüche völlig unerheblich, ob die Objektbedingungen bei jedem Datenpunkt geändert oder moduliert werde, oder ob dies erst nach Abschnitten oder ganzen zwei- oder dreidimensionalen Bildern oder sogar Zeitserien geschieht. In particular, it is completely irrelevant to the claims below whether the object conditions will be changed or modulated at each data point, or whether this is done only after sections or entire two- or three-dimensional images or even time series.
räumliches Muster: Darunter ist zu verstehen, daß der Wert der Objektbedingung eine räumliche Struktur besitzt also abhängig vom Ort im Objektraum ist. spatial pattern: this is meant that the value of the object condition is a three-dimensional structure has therefore dependent on the location in the object space.
detektierbare Raumfrequenzanteile: Darunter sind die Anteile des Frequenzraums der Fouriertransformierten des Objekts zu verstehen, die mit dem zugrundeliegenden abbildenden Verfahren prinzipiell detektiert werden können. detectable spatial frequency Shares: These include understanding the components of the frequency space of the Fourier transform of the object, which can be detected in principle with the underlying imaging method.
Informationen über das Objekt: Hierunter soll insbesondere die räumliche Verteilung einer oder mehrere Eigenschaften des Objekts zu verstehen sein, aber auch andere Parameter, wie z. B. die Position eines von seiner Struktur her bekannten Teilobjekts im Raum oder die Zusammensetzung des Objekts. Information about the object: these should be understood in particular the spatial distribution of one or more properties of the object, but also other parameters, such as the position of a known part of its structure object in space or the composition of the object..

Literatur Literature

[1] M. Gustafsson, J. Sedat, and D. Agard. [1] M. Gustafsson, J. Sedat, and D. Agard. Method and apparatus for three dimensional microscopy with enhanced depth resolution. Method and apparatus for three dimensional microscopy with enhanced depth resolution. US-Patent Number 5,671,085, Septem ber 23. 1997. I5M Microscope. US Patent Number 5,671,085, Septem ber 23, 1997. i5M Microscope.
[2] MGL Gustafsson, DA Agard, and JW Sedat. [2] MGL Gustafsson, DA Agard, and JW Sedat. 3d widefield microscopy with two objective lenses: Experimental verification of improved axial resolution. 3d widefield microscopy with two objective lenses: Experimental verification of improved axial resolution. Proceedings of the SPIE, 2655: 62, 1996. Proceedings of the SPIE, 2655: 62., 1996
[3] P. Hänninen and S. Hell. [3] P. Hänninen and S. Hell. Luminescence-scanning microscopy process and a lumine scence scanning microscope utilizing picosecond or greater pulse lasers. Luminescence-scanning microscopy process and a lumine scence scanning microscope Utilizing picosecond pulse lasers or greater. US-Patent Number 5,777,732, July 7. 1998. foreign priority Apr. 28, 1994 [DE] 44 14 940.9. US Patent Number 5,777,732, July 7, 1998. foreign priority Apr. 28, 1994 [EN] 44 14 940.9.
[4] R. Heintzmann and C. Cremer. [4] R. Heintzmann and C. Cremer. Lateral modulated excitation microscopy: Improve ment of resolution by using a diffraction grating. Laterally modulated excitation microscopy: Improve management of resolution by using a diffraction grating. Proceedings of the SPIE, 3568 : 185- 196, 1999. Proceedings of the SPIE, 3568: 185- 196., 1999
[5] SW Hell and M. Kroug. [5] SW Hell and M. Kroug. Ground-state depletion fluorescence microscopy, a concept for breaking the diffraction resolution limit. Ground-state depletion fluorescence microscopy, a concept for breaking the diffraction resolution limit. Applied Physics B, 60: 495-497, 1995. Applied Physics B, 60: 495-497., 1995
[6] K. Ichie. [6] K. Ichie. Laser scanning optical system and laser scanning optical apparatus. Laser scanning optical system and laser scanning optical apparatus. US- Patent Number 5,796,112, August 18. 1998. foreign priority Jun 3. 1993 Japan 5-13365, Assignee: Hammamatsu Photonics KK US Patent Number 5,796,112, August 18, 1998. foreign priority 3. Jun 1993 Japan 5-13365, Assignee: Hammamatsu Photonics KK
[7] R. Juskaitis, T. Wilson, MAA Neil, and M. Kozubek. [7] R. Juskaitis, T. Wilson, MAA Neil, and M. Kozubek. Efficient real-time confocal microscopy with white licht sources. Efficient real-time confocal microscopy with white light sources. Nature, 383: 804-806, 1996. Nature, 383: 804-806., 1996
[8] F. Lanni, B. Bailey, DL Farkas, and DL Taylor. [8] F. Lanni, B. Bailey, DL Farkas, and DL Taylor. Excitation field synthesis as a means for obtaining enhanced axial resolution in fluorescence microscopes. Excitation field synthesis as a Means for Obtaining enhanced axial resolution in fluorescence microscopes. Bioima ging, 1: 187-196, 1993. Bioima went, 1: 187-196., 1993
[9] F. Lanni, DL Taylor, and B. Bailey. [9] F. Lanni, DL Taylor, and B. Bailey. Field synthesis and optical subsectioning for standing wave microscopy. Field synthesis and optical subsectioning for standing wave microscopy. US-Patent Number 5,801,881, September 1. 1998. Scanning Wavefield Microscope. US Patent Number 5,801,881, September 1, 1998. Scanning Wave Field Microscope.
[10] S. Lindek, EHK Stelzer, and S. Hell. [10] S. Lindek, EHK Stelzer, and S. Hell. Two new high-resolution confocal fluorescence microscopies (4pi, theta) with one- and two-photon exitation. Two new high-resolution confocal fluorescence microscopies (4pi, theta) with one- and two-photon exitation. In James B. Pawley, edi tor, Handbook of Biological Confocal Microscopy, chapter 26, pages 417-429. In James B. Pawley, edi tor, Handbook of Biological Confocal Microscopy, chapter 26, pages 417-429. Plenum Press, New York, second edition, 1995. Plenum Press, New York, second edition., 1995
[11] David R. Sandison, Rebecca M. Williams, K. Sam Wells, James Strickler, and Watt W. Webb. [11] R. David Sandison, Rebecca M. Williams, K. Sam Wells, James Strickler and Watt W. Webb. Quantitative Fluorescence Confocal Laser Scanning Microscopy (CLSM), chap ter 3, pages 47-50. Quantitative Fluorescence Confocal Laser Scanning Microscopy (CLSM), chap ter 3, pages 47-50. Handbook of Biological Confocal Microscopy. Handbook of Biological Confocal Microscopy. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence.
[12] EHK Stelzer and S. Lindek. [12] EHK Stelzer and S. Lindek. Fundamental reduction of the observation volume in far-fleld light microscopy by detection orthogonal to the illumination axis: confocal theta microscopy. Fundamental reduction of the observation volume in far-fleld light microscopy by detection orthogonal to the illumination axis: confocal theta microscopy. Opt. Commun., 111: 536-547, 1994. . Opt. Commun 111: 536-547., 1994
[13] Roger Y. Tsien and Alan Waggoner. [13] Roger Y. Tsien and Alan Waggoner. Fluorophores for Confocal Microscopy, chapter 16, pages 267-268. Confocal Microscopy for fluorophore, chapter 16, pages 267-268. Handbook of Biological Confocal Microscopy. Handbook of Biological Confocal Microscopy. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence. Plenum Press, New York and London, second edition, 1995. Saturation of Fluorescence.
[14] T. Wilson, R. Juskaitis, and MAA Neil. [14] T. Wilson, R. Juskaitis, and MAA Neil. A new approach to three dimensional imaging in microscopy. A new approach to three dimensional imaging in microscopy. Cell Vision, 4(2): 231, March 1997. Cell Vision, 4 (2): 231, March 1997th
[15] T. Wilson, R. Juskaitis, MAA Neil, and M. Kozubeck. [15] T. Wilson, R. Juskaitis, MAA Neil, and M. Kozubeck. An aperture correlation approach to confocal microscopy. An aperture correlation approach to confocal microscopy. Proceedings of the SPIE, 2984: 21-23, 1997. Proceedings of the SPIE, 2984: 21-23., 1997
[16] R. Windecker, M. Fleischer, and H. Tiziani. [16] R. Windecker, M. Fleischer and H. Tiziani. Three-dimensional topometry with stereo microscopes. Three-dimensional topometry with stereo microscopes. Optical Engeneering, 36(12): 3372-3377, December 1997. Optical Engineering, 36 (12): 3372-3377, December 1997th

Patent Citations
Cited PatentFiling datePublication dateApplicantTitle
DE69022243T2 *20 Nov 199025 Jul 1996Secr Defence BritOptisches phasenmessabtastmikroskop.
EP0352975A2 *20 Jul 198931 Jan 1990AT&T Corp.Resolution doubling lithography technique
EP0562488A1 *19 Mar 199329 Sep 1993Matsushita Electric Industrial Co., Ltd.Superresolution scanning optical device
Referenced by
Citing PatentFiling datePublication dateApplicantTitle
DE102008021641A1 *30 Apr 20085 Nov 2009Carl Zeiss Microlmaging GmbhAuflösungsgesteigerte Lumineszenzmikroskopie
DE102008049878A130 Sep 20081 Apr 2010Carl Zeiss Microlmaging GmbhVerbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
DE102010016598A1 *23 Apr 201027 Oct 2011Leica Microsystems Cms GmbhVerfahren zum Untersuchen einer fluoreszierende Farbstoffe enthaltenden Probe mit Hilfe eines Mikroskops
DE102011077269A19 Jun 201113 Dec 2012Carl Zeiss Microimaging GmbhHochauflösende Lumineszenzmikroskopie
DE102011084315A112 Oct 201118 Apr 2013Carl Zeiss Microscopy GmbhHochauflösende Lumineszenzmikroskopie
US934812722 Sep 200924 May 2016Carl Zeiss Microscopy GmbhMethods and apparatuses for structured illumination microscopy
US972687711 Oct 20128 Aug 2017Carl Zeiss Microscopy GmbhHigh-resolution luminescence microscopy
WO2003060610A1 *15 Jan 200324 Jul 2003Carl Zeiss Jena GmbhMethods and systems for microscopic imaging
WO2010037487A1 *22 Sep 20098 Apr 2010Carl Zeiss Microimaging GmbhImproved methods and apparatuses for structured illumination microscopy
WO2011131401A12 Mar 201127 Oct 2011Leica Microsystems Cms GmbhMethod for examining a sample containing fluorescent dyes with the aid of a microscope
WO2012168065A122 May 201213 Dec 2012Carl Zeiss Microscopy GmbhHigh-resolution luminescence microscopy
WO2013053859A111 Oct 201218 Apr 2013Carl Zeiss Microscopy GmbhHigh-resolution luminescence microscopy
Classifications
International ClassificationG02B21/36, G02B27/46, G02B21/00
Cooperative ClassificationG02B21/00, G02B27/46, G02B21/367
European ClassificationG02B21/00, G02B27/46, G02B21/36V1
Legal Events
DateCodeEventDescription
7 Sep 2000OM8Search report available as to paragraph 43 lit. 1 sentence 1 patent law
4 Jan 20018127New person/name/address of the applicant
Owner name: HEINTZMANN, RAINER, DR., 37077 GOETTINGEN, DE
27 Jun 20028139Disposal/non-payment of the annual fee