Die vorliegende Erfindung bezieht sich auf Bildaufnahmevorrichtungen, wie z. B. Digitalkameras, wie z. B. wiederum digitale Standbild- oder Videokameras sowie ein Verfahren zum Erzeugen einer Aufnahme.The present invention relates to image pickup devices, such. B. digital cameras, such. B. turn digital still or video cameras and a method for generating a recording.
In der digitalen Bilderzeugung spielt die korrekte Belichtung eine entscheidende Rolle während der Bildaufnahme. Die empfangene Lichtmenge bzw. Lichtenergie Qv sollte sich innerhalb eines bestimmten Bereiches befinden, denn elektronische Schaltungen erlauben lediglich einen bestimmten minimalen Wert (min) und einen maximalen Wert (max), die durch das Gesamtrauschen in dem System bzw. die Sättigungsladung (full well capacity) eines Sensors bestimmt sind. Objekte unterhalb eines bestimmten Pegels werden in dem Kamerarauschen nicht sichtbar sein und für Objekte Oberhalb des Maximums werden die entsprechenden Pixel geclippte bzw. abgeschnittene Werte liefern. In beiden Fällen werden alle Details dieser Bildbereiche verloren sein und es ist keine Wiederherstellung mittels Bildnachverarbeitung möglich. Das Verhältnis zwischen Dynamikbereich 900 einer Digitalkamera, der oberen Grenze max und der unteren Grenze min desselben sowie die Folgen für Bereiche eines Bilder, bei denen die entsprechenden Pixel zu hell oder zu dunkel ausgeleuchtet sind, für den Fall einer herkömmlichen Belichtung über ein Belichtungszeitfenster einer bestimmten Zeitdauer bzw. Belichtungszeit bezogen auf die Lichtenergie Qv ist noch einmal in 12 gezeigt. Der Bereich 900 zwischen minimaler und maximaler Lichtenergie, der weder zu einer Sättigung des Energiespeichers bzw. Ladungsspeichers des Sensors führt noch zu einem nicht-sichtbaren, da im Rauschen untergehenden Ausschlag führt, wird Dynamikbereich 900 eines Kamerasystems genannt.In digital imaging, correct exposure plays a crucial role during image acquisition. The received light quantity or light energy Q v should be within a certain range, because electronic circuits only allow a certain minimum value (min) and a maximum value (max), which is determined by the total noise in the system or the full charge Capacity) of a sensor are determined. Objects below a certain level will not be visible in the camera noise, and for objects above the maximum, the corresponding pixels will provide clipped or truncated values. In both cases, all details of these image areas will be lost and no image postprocessing will be possible. The relationship between dynamic range 900 a digital camera, the upper limit max and the lower limit min thereof, and the sequences for areas of an image in which the respective pixels are illuminated too brightly or too dark, in the case of a conventional exposure over a shutter speed window of a certain period of time or exposure time to the light energy Q v is again in 12 shown. The area 900 between minimum and maximum light energy, which leads neither to saturation of the energy storage or charge storage of the sensor nor to a non-visible, as in the noise sinking rash leads is dynamic range 900 called a camera system.
Für das Aufnehmen eines Bildes integriert ein Sensor den Lichtfluss F während der Belichtungszeit. Anders ausgedrückt, akkumuliert der Sensor eine dem einfallenden Lichtstrom F entsprechende Energiemenge, wie z. B. eine Ladungsmenge. Die so akkumulierte Lichtmenge ergibt sich zu Qv = ∫Fdt (1) For taking a picture, a sensor integrates the light flux F during the exposure time. In other words, the sensor accumulates an amount of energy corresponding to the incident luminous flux F, such as. B. a charge amount. The amount of light thus accumulated becomes too Q v = ∫Fdt (1)
Steht die Belichtungszeit fest, legen die Lichtenergiedynamikbereichsgrenzen max und min unmittelbar die Dynamikbereichsgrenzen bezogen auf den Lichtfluss fest. 13 zeigt die Lichtstromdynamikbereichsgrenzen bzw. den Dynamikbereich bezogen auf den Lichtstrom F am Beispiel einer kurzen und einer langen Belichtungszeit. Für eine gegebene Szene kann folglich eine korrekte Belichtung durch die Belichtungszeit gesteuert werden. Der Lichtfluss ist durch geeignetes Anpassen der Szene, durch zusätzliches optisches Filtern oder durch Einstellen der Apertur der Linse steuerbar.If the exposure time is fixed, the dynamic range limits max and min immediately set the dynamic range limits with respect to the light flux. 13 shows the luminous flux dynamic range limits or the dynamic range with respect to the luminous flux F for the example of a short and a long exposure time. Thus, for a given scene, correct exposure can be controlled by the exposure time. The light flux is controllable by suitably adjusting the scene, by additional optical filtering or by adjusting the aperture of the lens.
Unglücklicherweise sind in dem Fall einer High-End-Bewegungsbildaufnahme viele dieser Faktoren zumeist festgelegt: die Linsenapertur stellt nämlich gleichzeitig den Tiefenschärfenbereich ein, der wiederum wichtig für die Szenenkomposition ist. Umgekehrt bestimmt die Belichtungszeit die Bewegungsverschmierung, die für eine natürlich aussehende Szene bei der Bewegungsbildaufzeichnung erforderlich ist. Eine „ISO-Einstellung” einer Kamera liefert Bilder mit unterschiedlicher Helligkeit, aber lediglich unter Verwendung einer internen Verstärkung, die die Bilddatenwerte umskaliert. Die zugrunde liegende Sensorempfindlichkeit bleibt bestehen, oder zumindest bleibt der Dynamikbereich unverändert, denn verlorengegangene Informationen aufgrund einer Über- und Unterbelichtung bleiben auch weiterhin verloren.Unfortunately, in the case of a high-end moving picture image, many of these factors are mostly fixed: namely, the lens aperture simultaneously adjusts the depth of focus range, which in turn is important to the scene composition. Conversely, the exposure time determines the motion blur required for a natural looking scene in motion picture recording. An "ISO setting" of a camera provides images with different brightness, but only using an internal gain that resizes the image data. The underlying sensor sensitivity remains, or at least the dynamic range remains unchanged, because lost information due to overexposure and underexposure will continue to be lost.
Es bleibt also lediglich die Menge an Licht aus der Szene, die für eine korrekte Belichtung einstellbar wäre. In einem Studio ist die Helligkeit des Lichtes vielleicht einstellbar. Bei Außenaufnahmen ist dies aber bereits nicht mehr möglich. Am häufigsten wird eine zusätzliche optische Filterung verwendet, um die Empfindlichkeit der Digitalkamera zu reduzieren. Spezielle Neutraldichte-(ND)Filter können verwendet werden, um eine bestimmte Menge des einfallenden Lichtes zu entfernen. Echt farbneutrale und homogene optische Filter sind aber teuer und stellen einen empfindlichen bzw. zerbrechlichen Ausrüstungsgegenstand dar. Solche Filter erhöhen das Gewicht und die Größe des Kamerasystems. Bisher existiert keine elektronische Option zum Einstellen der Empfindlichkeit auf eine neutraldichte Art und Weise.So all that remains is the amount of light from the scene that would be adjustable for correct exposure. In a studio, the brightness of the light may be adjustable. For outdoor shots, this is already no longer possible. Most often, additional optical filtering is used to reduce the sensitivity of the digital camera. Specific neutral density (ND) filters can be used to remove a certain amount of incident light. However, true color neutral and homogeneous optical filters are expensive and are a delicate or fragile piece of equipment. Such filters increase the weight and size of the camera system. So far, there is no electronic option for adjusting the sensitivity in a neutral density fashion.
Abgesehen von der optischen Filterung existieren einige andere Optionen zur Erfassung von Szenen mit einem höheren Dynamikbereich. Z. B. wird eine Kombination von Frames verwendet:
In MANN, Steve; MANDERS, Corey; FUNG, James: Painting with looks: photographic images from video using quantimetric processing. In: Proceedings of the tenth ACM international conference an Multimedia, New York, NY, USA: ACM, 2002, S. 117–126 wird beispielsweise die Kombination mehrerer linearer Aufnahmen zur Erzeugung von Standbildern mit einem höheren Dynamikbereich beschrieben. Dieses Vorgehen funktioniert allerdings lediglich für statische Szenen, da jedes sich bewegende Objekt ansonsten an unterschiedlichen Positionen aufgenommen wird. Dies würde wiederum zu Bildartefakten führen, wenn auf diese Art und Weise Bilder sich bewegender Szenen erzeugt werden würden.Apart from optical filtering, there are several other options for capturing scenes with a higher dynamic range. For example, a combination of frames is used:
In MAN, Steve; MANDERS, Corey; FUNG, James: Painting with looks: photographic images from video using quantimetric processing. In: Proceedings of the tenth ACM international conference to Multimedia, New York, NY, USA: ACM, 2002, pp. 117-126, for example, describes the combination of several linear images to produce still images with a higher dynamic range. However, this procedure works only for static scenes, since each moving object otherwise at different Positions is recorded. This in turn would result in image artifacts if images of moving scenes were to be created in this way.
In LIU, Xinqiao; Gamal, Abbas E.: Synthosis of high dynamic range motion blur free image from multiple captures. In: IEEE Transactions an Circuits and Systems I: Fundamental Theory and Applications 50 (2003), April, Nr. 4, S. 530–539 und KANG, S. B.; UYTTENDAELE, M.; WINDER, S.; SZELISKI, R.: High dynamic range video. In: ACM Transactions an Graphics 22 (2003), Nr. 3, S. 319–325 wird beispielsweise eine Nachverarbeitung von Videosequenzen zur Verbesserung bzw. Erhöhung des Dynamikbereiches beschrieben, wobei diese Verfahren auf eine Rekonstruktion ohne Bewegungsverschmierung abzielen. Dies ist aber für Bewegungsbilder nicht wünschenswert, da die korrekte Erzeugung der Bewegungsverschmierung für die wahrgenommene Natürlichkeit einer Szene essentiell ist.In Liu, Xinqiao; Gamal, Abbas E .: Synthesis of high dynamic motion blur free image from multiple captures. In: IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications 50 (2003), April, No. 4, pp. 530-539 and KANG, p. B .; UYTTENDAELE, M .; WINDER, S .; SZELISKI, R .: High dynamic range video. In: ACM Transactions on Graphics 22 (2003), No. 3, pp. 319-325, for example, a post-processing of video sequences to improve or increase the dynamic range is described, whereby these methods are aimed at a reconstruction without motion blurring. However, this is not desirable for moving pictures because the correct generation of motion blur is essential to the perceived naturalness of a scene.
In WANG, Hongcheng; RASKAR, Ramesh; AHUJA, Narendra: High dynamic range video using split aperture camera. In: IEEE 6th Workshop an Omnidirectional Vision, Camera Networks and Non-classical Cameras OMNIVIS, 2005 werden wiederum Lösungsansätze beschrieben, die die Bewegungsverschmierung zwar bewahren, aber zumindest zwei Kameras, zusätzliche Optiken und eine Ausrichtung erfordern.In WANG, Hongcheng; RASKAR, Ramesh; AHUJA, Narendra: High dynamic range video using split aperture camera. In: IEEE 6 th Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras OMNIVIS, 2005 again solutions are described, which preserve the motion blurring, but require at least two cameras, additional optics and an alignment.
Spezielle Architekturen für Bildsensoren zum Erfassen eines höheren Dynamikbereiches einer Szene sind ebenfalls bereits bekannt.Special architectures for image sensors for detecting a higher dynamic range of a scene are also already known.
In KAVUSI, Sam; GAMAL, Abbas E.: Quantitative study of high-dynamic-range image sensor architectures. In: SPIE Sensors and Camera Systems for Scientific, Industrial, and Digital Photography Applications V Bd. 5301, SPIE, 2004, S. 264–275 werden beispielsweise spezialisierte Sensoren zur Erfassung eines erhöhten Dynamikbereiches miteinander verglichen, darunter auch spezielle logarithmische Bildsensoren, die eine Szene direkt mit einem großen Dynamikbereich erfassen können. Leider lassen sich allerdings bei solchen Sensoren der Dunkelbildfehler bzw. das Festmusterrauschen (fixed Pattern noise = FPN) nur schwer kompensieren.In KAVUSI, Sam; GAMAL, Abbas E .: Quantitative study of high-dynamic-range image sensor architectures. For example, SPIE Sensors and Camera Systems for Scientific, Industrial, and Digital Photography Applications Vol. 5301, SPIE, 2004, pp. 264-275, compares specialized sensors for detecting increased dynamic range, including special logarithmic image sensors that incorporate a Scene directly with a large dynamic range can capture. Unfortunately, such sensors are difficult to compensate for the dark picture error or the fixed pattern noise (FPN).
Die Einstellung der fotoseitigen Ladungskapazität, wie sie in DECKER, S.; MCGRATH, D.; BREHMER, K.; SODINI, C. G.: A 256 × 256 CMOS imaging array with wide dynamic range pixels and column-parallel digital Output. In: IEEE Journal of Solid-State Circuits 33 (1995), Dec, Nr. 12, S. 2081–2091 beschrieben wird, erzeugt ein ähnliches Verhalten. Eine solche Vorgehensweise erfordert modifizierte Sensoren und kann aufgrund des ungleichmäßigen Ansprechverhaltens auf Licht für unterschiedliche Belichtungszeiten zu zusätzlichen Artefakten bei sich bewegenden Objekten führen.The setting of the photo-side charge capacity, as described in DECKER, S .; MCGRATH, D .; BREHMER, K .; SODINI, C.G .: A 256 × 256 CMOS imaging array with wide dynamic range pixels and column-parallel digital output. Described in: IEEE Journal of Solid-State Circuits 33 (1995), Dec, No. 12, pp. 2081-2091, produces a similar behavior. Such an approach requires modified sensors and, because of the uneven response to light for different exposure times, may lead to additional artifacts on moving objects.
Räumlich variierende Belichtungen, wie sie in NAVAR, S. K.; MITSUNAGA, T.: High dynamic range imaging: spatially varying pixel exposures. In: Proceedings of IEEE Conference an Computer Vision and Pattern Recognition Bd. 1, 2000, S. 472–479 und US 5,789,737 beschrieben wird, reduziert die Empfindlichkeit für einige Pixel. Dies wiederum reduziert die Auflösung für alle Betriebsbedingungen und erfordert wiederum eine spezialisierte Sensorhardware und Einstellungen des Bildrekonstruktionsalgorithmus.Spatially varying exposures, as in NAVAR, SK; MITSUNAGA, T .: High dynamic range imaging: spatially varying pixel exposures. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Vol. 1, 2000, pp. 472-479 and US 5,789,737 described reduces the sensitivity for some pixels. This in turn reduces resolution for all operating conditions and in turn requires specialized sensor hardware and image reconstruction algorithm settings.
Wünschenswert wäre deshalb eine Möglichkeit zur Empfindlichkeitsverminderung oder Empfindlichkeitseinstellung, das eine breitere Einsatzmöglichkeit bezogen auf Sensortechnologie, anwendbare Bildnachverarbeitung und/oder Szenentyp liefert, eventuell sogar zu qualitativ besseren Aufnahmen führt, eine Empfindlichkeitseinstellung liefert, die weniger oder überhaupt nicht abhängig ist von Blenden-, Szenenhelligkeits- und/oder Belichtungszeiteinstellung und dabei leicht implementierbar ist.It would therefore be desirable to be able to reduce or adjust the sensitivity, which would provide a wider range of sensor technology, applicable image post-processing, and / or scene type, possibly even better quality images, providing a sensitivity setting that is less or not at all dependent on aperture, scene brightness - and / or exposure time setting and it is easy to implement.
Die DE 693 18 510 T2 beschreibt eine Bilderzeugungsvorrichtung für einen breiten Dynamikbereich und beschreibt insbesondere einen CCD-Aufbau, bei welchem Halbbildperioden noch einmal in unterschiedlich lange Signalladungsperioden unterteilt werden und der jeweilige CCD-Wert durch eine Kombination der beiden Werte aus den beiden unterschiedlich langen Ladungsanreichungsperioden erhalten wird. Insbesondere wird in einem Multiplikator das eine Ladungsanreichungsperiodensignal mit einem Faktor gewichtet, der das Signal an das andere Ladungsanreichungsperiodensignal hinsichtlich der Periodenlänge anpasst, worauf beide Werte mit Gewichtungen aufsummiert werden, die zusammen jeweils 100% ergeben und von jeweils 0 bis 100% reichen, je nachdem, ob es sich um eine helle Aufnahme oder eine dunkle Aufnahme handelt.The DE 693 18 510 T2 describes an image forming apparatus for a broad dynamic range, and more particularly, describes a CCD structure in which field periods are once again divided into signal charge periods of different lengths and the respective CCD value is obtained by combining the two values from the two charge-rich periods of different lengths. More specifically, in a multiplier, one charge-rich period signal is weighted by a factor that adjusts the signal to the other charge-rich period signal in terms of the period length, and then summed with weightings that together make up 100% each, ranging from 0 to 100%, as the case may be whether it's a bright shot or a dark shot.
Die EP 0 476 936 A2 beschreibt eine Bildaufnahmevorrichtung, wonach die Frame- bzw. Feld-Rate weiter unterteilt wird, um zwischenzeitliche Ausleseergebnisse zu erhalten, die digitalisiert, digital addiert und daraufhin wieder in ein analoges Signal zurückgewandelt werden. Insbesondere wird beschrieben, dass die Ausleserate des CCD-Arrays auf das N-fache der Standardausleserate eingestellt wird, wenn die Lichtmenge groß ist, wobei N eine Ganzzahl größer 1 sei, während die Ausleserate auf die Standardausleserate eingestellt werde, wenn die Lichtmenge niedrig sei.The EP 0 476 936 A2 describes an image pick-up device according to which the frame rate is further subdivided to obtain intermediate readout results which are digitized, digitally added and then converted back to an analog signal. In particular, it is described that the readout rate of the CCD array is set to N times the standard readout rate when the amount of light is large, where N is an integer greater than 1, while the readout rate is set to the standard readout rate when the amount of light is low.
Die DE 40 41 312 A1 beschreibt eine elektronische Kameravorrichtung, die ein Bildaufnahmesignal zum Bedienen einer Bildanzeige durch einen Bildmonitor liefert. Ein Bildaufnahmeabschnitt weist zumindest ein Festkörperbildaufnahmeelement auf und erzeugt ein Bildsignal durch elektronisches Aufnehmen eines Bildes eines zu fotografierenden Zielobjektes. Ein Steuerabschnitt führt eine zeitlich unterteilte und wiederholte Bildaufnahmeverarbeitung des Zielobjektes in einer Vielzahl von Malen durch unter Verwendung des Bildaufnahmeabschnittes und eines Lesevorganges des durch die Bildaufnahmeverarbeitung erhaltenen Bildsignals. Ein akkumulierender Additionsabschnitt führt aufeinanderfolgend eine akkumulierende Addition der wiederholt von dem Bildaufnahmeabschnitt durch den Kontrollabschnitt gelesenen Bildsignale durch. Ein Verarbeitungsabschnitt bearbeitet das von dem akkumulierenden Additionsabschnitt erhaltene Bildsignal nach der aufeinanderfolgenden, akkumulierenden Addition derart, dass das Bildsignal für eine Bildanzeige durch den Bildmonitor verwendbar ist.The DE 40 41 312 A1 describes an electronic camera device that provides an image pick-up signal for operating an image display through an image monitor. An image pickup section has at least one solid-state image pickup element and generates an image signal by electronically picking up an image of a target object to be photographed. A control section performs time-divided and repeated image pick-up processing of the target object in a plurality of times by using the image pickup section and a read operation of the image signal obtained by the image pickup processing. An accumulating addition section successively performs an accumulating addition of the image signals repeatedly read by the image capturing section by the control section. A processing section processes the image signal obtained from the accumulating addition section after the successive accumulating addition such that the image signal is usable for image display by the image monitor.
Die US 2007/0212045 A1 beschreibt eine elektronische Verschmierkorrekturvorrichtung, wonach nach einer optimalen Einstellung von Belichtungszeit und Apertur in den Schritten S201 und S202 eine entsprechende Unterteilung des Belichtungszeitfensters in kleinere Teilbelichtungszeitfenster durchgeführt wird, wobei die Bilder, die in den Teilbelichtungszeitfenstern erhalten werden, je nach Verschmierungsgrad einer Verschmierungskompensation unterzogen werden oder nicht, um anschließend durch Mittelung ein effektives Bild zu ergeben.The US 2007/0212045 A1 describes an electronic smear correction device, according to which, after an optimum setting of exposure time and aperture in steps S201 and S202, a corresponding subdivision of the exposure time window into smaller partial exposure time windows is performed, wherein the images obtained in the partial exposure time windows are subjected to smear compensation depending on the smear level not to then give an effective picture by averaging.
Die JP 2002/027328 A beschreibt ein Vorgehen, wonach zwei unterschiedlich lange Belichtungszeitdauern verwendet werden, um durch Kombination der beiden Belichtungsergebnisse zu einer Verbesserung des Dynamikbereiches zu gelangen.The JP 2002/027328 A describes a procedure according to which two exposure times of different lengths are used in order to improve the dynamic range by combining the two exposure results.
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, eine Bildaufnahmevorrichtung und ein entsprechendes Verfahren zur Erzeugung von Aufnahmen zu schaffen, die diesem Wunsch nachkommen.The object of the present invention is therefore to provide an image pickup device and a corresponding method for producing recordings that fulfill this desire.
Diese Aufgabe wird durch eine Bildaufnahmevorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 12 gelöst.This object is achieved by an image pickup device according to claim 1 and a method according to claim 12.
Ein Kerngedanke der vorliegenden Erfindung besteht darin, dass eine Empfindlichkeitsverringerung relativ unaufwendig, mit Dynamikbereichsvorteilen und mit wenig Auswirkungen auf restliche Bildaufnahmeeinstellungen durchgeführt werden kann, indem Auslesewerte durch mehrmaliges Auslesen des optoelektrischen Sensors, nämlich lückenloses Auslesen und Zurücksetzen des optoelektrischen Sensors der Bildaufnahmevorrichtung zumindest einmal während eines Belichtungszeitfensters und einmal Auslesen am Ende des Belichtungszeitfensters, zur Erzeugung einer Aufnahme verwendet werden, eine Summe über diese zumindest zwei Auslesewerte gebildet wird und die Summe um einen Faktor kleiner 1 verkleinert wird, so dass eine Empfindlichkeit der Bildaufnahmevorrichtung neutraldichtereduziert wird. Die Lückenlosigkeit garantiert, dass das Ergebnis der Aufnahme einer herkömmlichen Aufnahme mit kontinuierlicher Akkumulation innerhalb des Belichtungszeitfensters im Wesentlichen entspricht, da im Wesentlichen der gesamte Lichtstrom während der Belichtungszeitdauer zum Ergebnis beiträgt. Das FPN-Rauschen ist aufgrund der kürzeren Teilbelichtungsintervalle zwischen den Auslese/Rücksetz-Zeitpunkten reduziert. Es bleibt zudem korrigierbar. Das dynamische Rauschen wird aufgrund der eintretenden Mittelung über die Auslesewerte ebenfalls reduziert. Das Ergebnis ist eine reduzierte untere Schranke für den Lichtfluss, der noch in den Dynamikbereich fällt. Umgekehrt ist auch die obere Lichtstromschranke aufgrund der kürzeren Teilbelichtungsintervalle erhöht. Der Aufwand zur Implementierung ist einfach, da lediglich wenige Additionen und eine Multiplikation pro Bildpunkt ausreichend sind.A key idea of the present invention is that sensitivity reduction can be performed relatively inexpensively, with dynamic range advantages and with little effect on residual image capture settings, by reading readings by reading the optoelectric sensor several times, namely reading and resetting the optoelectric sensor of the image pickup device at least once during a scan Exposure time window and once read at the end of the exposure time window, are used to produce a shot, a sum is formed over these at least two read-out values and the sum is reduced by a factor of less than 1, so that a sensitivity of the image pickup device is neutral density-reduced. The gaplessness guarantees that the result of taking a conventional recording with continuous accumulation within the exposure time window is substantially equal, since substantially all the luminous flux during the exposure period contributes to the result. The FPN noise is reduced due to the shorter partial exposure intervals between the read / reset times. It also remains correctable. The dynamic noise is also reduced due to the incoming averaging via the readings. The result is a reduced lower limit to the flow of light that still falls within the dynamic range. Conversely, the upper photocurrent barrier is increased due to the shorter Teilbelichtungsintervalle. The effort for implementation is simple, since only a few additions and one multiplication per pixel are sufficient.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:Preferred embodiments of the present invention will be explained in more detail below with reference to the accompanying drawings. Show it:
1 ein schematisches Blockschaltbild einer Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel; 1 a schematic block diagram of an image pickup device according to an embodiment;
2 eine schematische Darstellung zum Vergleich einer durchgehenden Belichtung und einer Aufteilung einer Belichtung in Belichtungsteilintervalle gemäß einem Ausführungsbeispiel; 2 a schematic representation for comparing a continuous exposure and a division of an exposure in exposure subintervals according to an embodiment;
3 eine schematische Darstellung der sich ergebenden Dynamikbereiche für eine durchgehende Belichtung über ein langes Belichtungszeitfenster, eine durchgehende Belichtung über ein kurzes Belichtungszeitfenster und eine Unterteilung des langen Belichtungszeitfensters in kürzere Teilintervalle gemäß einem Ausführungsbeispiel; 3 a schematic representation of the resulting dynamic ranges for a continuous exposure over a long exposure time window, a continuous exposure over a short Exposure time window and subdivision of the long exposure time window into shorter subintervals according to an embodiment;
4 ein Blockschaltbild einer Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel; 4 a block diagram of an image pickup device according to an embodiment;
5 einen Graphen zum Vergleich des dynamischen Rauschens kontinuierlicher Belichtung und Belichtung mit Einteilung des Belichtungszeitfensters in Teilintervalle; 5 a graph comparing the dynamic noise of continuous exposure and exposure with the division of the exposure time window into sub-intervals;
6 einen Graphen zum Vergleich des FPN-Rauschens bei kontinuierlicher Belichtung und Einteilung des Belichtungszeitfensters in Teilintervalle; 6 a graph comparing the FPN noise with continuous exposure and dividing the exposure time window into subintervals;
7, 8 und 9 jeweils ein Frame von Testaufnahmen mit kontinuierlicher Belichtung in langen Belichtungszeitfenstern, kontinuierlicher Belichtung in kurzen Belichtungszeitfenstern bzw. mit Belichtung in Teilintervallen eines Belichtungszeitfensters; 7 . 8th and 9 one frame of test exposures with continuous exposure in long exposure time windows, continuous exposure in short exposure time windows or with exposure in subintervals of an exposure time window;
10 eine schematische Darstellung einer Standbildkamera gemäß einem Ausführungsbeispiel; 10 a schematic representation of a still camera according to an embodiment;
11 eine schematische Darstellung einer Videokamera gemäß einem Ausführungsbeispiel; 11 a schematic representation of a video camera according to an embodiment;
12 eine schematische Darstellung zur Veranschaulichung eines Dynamikbereiches bei kontinuierlicher Belichtung; und 12 a schematic representation illustrating a dynamic range in continuous exposure; and
13 eine schematische Darstellung zum Vergleich der Dynamikbereiche bei langer und kurzer kontinuierlicher Belichtung. 13 a schematic representation for comparing the dynamic ranges with long and short continuous exposure.
Bezug nehmend auf 1 wird zunächst eine Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Die Bildaufnahmevorrichtung von 1 umfasst einen optoelektrischen Sensor 12, einen Ausleser 14 und einen Kombinierer 16. Die Bildaufnahmevorrichtung von 1 ist dazu da, in einem Belichtungszeitfenster eine Aufnahme 18 zu erzeugen und an einem Ausgang 20 auszugeben. Dazu sind der Ausleser 14 und der Kombinierer 16 in der genannten Reihenfolge zwischen den optoelektrischen Sensor 12 und den Ausgang 20 geschaltet.Referring to 1 First, an image pickup apparatus according to an embodiment of the present invention will be described. The image pickup device of 1 includes an opto-electrical sensor 12 , a read-out 14 and a combiner 16 , The image pickup device of 1 is there to take a shot in a shutter speed window 18 to produce and at an exit 20 issue. These are the readers 14 and the combiner 16 in the order mentioned between the opto-electrical sensor 12 and the exit 20 connected.
Der optoelektrische Sensor 12 ist beispielsweise ein Bildsensor mit einem Array von Pixeln 22. Der optoelektrische Sensor 12 bzw. dessen Bildpunkte oder Pixel 22 sind dazu ausgelegt, während einer Belichtungszeit einfallendes Licht zu inegrieren, und zwar durch Umwandlung des Lichts in elektrische Energie und Akkumulation letzterer. Beispielsweise werden Elektronen-Loch-Paare in pn-Übergängen der Bildpunkte 22 erzeugt und kapazitiv gespeichert. Die Beziehung zwischen akkumulierter Ladung und eingefallener Lichtmenge kann linear sein oder eine andere Funktion aufweisen. Vorzugsweise ist die vorerwähnte Beziehung für alle Bildpunkte 22 gleich. Fertigungsbedingt bestehen aber zwischen den einzelnen Bildpunkten 22 Unterschiede, die zu einem für den optoelektrischen Sensor 12 typischen Dunkelbild oder FPN-Rauschen führen. Daneben tritt ein dynamisches Rauschen auf, das bei aufeinanderfolgenden Belichtungen im Wesentlichen statistisch unabhängig voneinander ist.The optoelectric sensor 12 is, for example, an image sensor with an array of pixels 22 , The optoelectric sensor 12 or its pixels or pixels 22 are designed to integrate incident light during an exposure time by converting the light into electrical energy and accumulating the latter. For example, electron-hole pairs become pn-junctions of the pixels 22 generated and stored capacitively. The relationship between accumulated charge and amount of incident light may be linear or have another function. Preferably, the aforementioned relationship is for all pixels 22 equal. Due to production reasons, however, there are between the individual pixels 22 Differences leading to one for the opto-electric sensor 12 typical dark picture or FPN noise. In addition, dynamic noise occurs, which is essentially statistically independent of each other during successive exposures.
Die Bildaufnahmevorrichtung von 1 ist dazu ausgelegt, die Aufnahme 18 in einem vorbestimmten Belichtungszeitfenster zu erzeugen. Das Belichtungszeitfenster kann beispielsweise durch einen Shutter bzw. Verschluss 24 jenseits des optoelektrischen Sensors 12 festgelegt werden als ein Zeitraum, bei dem in die Bildaufnahmevorrichtung einfallendes Licht 26 auf den optoelektrischen Sensor 12 treffen kann, wohingegen der Shutter 24 dieses Auftreffen ansonsten verhindert. Der Shutter 24 kann beispielsweise ein mechanischer Verschluss sein, wie z. B. ein Spiegel in dem Fall einer digitalen Spiegelreflexkamera oder eine Umlaufblende in dem Fall einer Videokamera. Ein solcher zu dem optoelektrischen Sensor 12 externer Verschluss 24 ist aber nicht notwendigerweise vorhanden. Der optoelektrische Sensor 12 selbst kann so steuerbar sein, dass die Bildpunkte 22 während des Belichtungszeitfensters ihre Lichtempfindlichkeit aufweisen und ansonsten lichtunempfindlich sind.The image pickup device of 1 is designed to take the picture 18 in a predetermined exposure time window. The exposure time window can be achieved, for example, by a shutter 24 beyond the opto-electrical sensor 12 be set as a period of time in which light incident on the image pickup device 26 on the optoelectric sensor 12 can meet, whereas the shutter 24 otherwise prevents this impact. The shutter 24 For example, may be a mechanical closure, such. A mirror in the case of a digital SLR camera or a rotary shutter in the case of a video camera. Such to the opto-electrical sensor 12 external shutter 24 but is not necessarily present. The optoelectric sensor 12 itself can be so controllable that the pixels 22 during the exposure time window have their photosensitivity and are otherwise insensitive to light.
Der Ausleser 14 ist dazu ausgebildet, den optoelektrischen Sensor innerhalb des Belichtungszeitfensters mehrmals einem im Wesentlichen lückenlosen Auslese- und Zurücksetzvorgang zu unterziehen, um zumindest zwei Auslesewerte pro Belichtungszeitfenster und für jeden Bildpunkt 22 zu erhalten. Anders ausgedrückt, ist der Ausleser 14 dazu ausgebildet, das Belichtungszeitfenster in Teilbelichtungsintervalle zu unterteilen, und den optoelektrischen Sensor 12 am Ende jedes Teilbelichtungsintervalles auszulesen und im Anschluss daran wieder zurückzusetzen. Für das Auslesen und Zurücksetzen benötigt der Ausleser 14 eine gewisse Zeit, während der keine Akkumulation lichtinduzierter elektrischer Energie stattfindet. Da der Ausleser 14 allerdings im Wesentlichen lückenlos ausliest und rücksetzt, liegt das Verhältnis zwischen einer Summe der Zeitdauer der Teilbelichtungsintervalle und einer Zeitdauer des gesamten Belichtungszeitintervalls, das sich vom Anfang des ersten Teilbelichtungsintervalls bis zum Ende des letzten Teilbelichtungsintervalls erstreckt, beispielsweise zwischen 1 einschließlich und 0,9 einschließlich.The reader 14 is designed to subject the optoelectronic sensor to a substantially complete readout and reset operation several times within the exposure time window, in order to obtain at least two readout values per exposure time window and for each pixel 22 to obtain. In other words, the reader is 14 configured to divide the exposure time window into sub-exposure intervals, and the opto-electrical sensor 12 at the end of each partial exposure interval read out and then reset it again. The reader needs reading and resetting 14 a certain time during which there is no accumulation of light-induced electrical energy. Because the reader 14 however, read and reset substantially completely, the ratio lies between a sum of the time duration of the partial exposure intervals and a time duration of the entire exposure time interval extending from the beginning of the first partial exposure interval to the end of the last partial exposure interval, for example between 1 and 0.9 inclusive inclusive.
Der Kombinierer 16 ist dazu ausgebildet, die Aufnahme 18 und durch Bilden einer Summe über die zumindest zwei Auslesewerte pro Bildpunkt 22 und Verkleinern der Summe um einen Faktor kleiner 1 zu erzeugen, so dass eine Empfindlichkeit der Bildaufnahmevorrichtung neutraldichtereduziert ist. Es kann sein, dass der Kombinierer 16 die Auslesewerte von dem Ausleser 14 in analoger Form erhält, digitalisiert und anschließend addiert, um die Summe in digitaler Form zu erhalten, und zwar verkleinert um den Faktor kleiner 1 durch beispielsweise wiederum anschließendes Multiplizieren mit dem Faktor. Ein Beispiel dafür wird später noch Bezug nehmend auf 4 erläutert. Der Kombinierer 16 kann die Summe in der digitalen Form durch den zuvor erwähnten Faktor verkleinern und beim Ausgang 20 ausgeben. Alternativ könnte der Kombinierer 16 ausgebildet sein, um die Addition bzw. Summe in analoger Form zu bilden und die Digitalisierung erst später vorzunehmen.The combiner 16 is trained to take the picture 18 and by forming a sum over the at least two readings per pixel 22 and reducing the sum by a factor less than 1 so that sensitivity of the image pickup device is neutral density reduced. It may be that the combiner 16 the readings from the reader 14 is obtained in analog form, digitized and then added to obtain the sum in digital form, namely reduced by the factor smaller than 1 by, for example, then again multiplying by the factor. An example of this will be made later on 4 explained. The combiner 16 can reduce the sum in the digital form by the factor mentioned above and at the output 20 output. Alternatively, the combiner could 16 be formed to form the addition or sum in analog form and make the digitization later.
Aufgrund der Einteilung des Belichtungszeitraums in Teilbelichtungsintervalle gerät, wie es im Folgenden noch näher erläutert werden wird, jeder Auslesewert verglichen zu einer Aufintegration über den gesamten Belichtungszeitraum hinweg erst später, d. h. bei einem höheren Lichtstrom, an einen Sättigungsschwellwert, der beispielsweise durch den Analog/Digital-Wandler zur Digitalisierung der Auslesewerte in dem Kombinierer 16 (nicht gezeigt in 1) festgelegt sein kann oder durch die Größe der Kapazität zur Akkumulation der der einfallenden Lichtmenge entsprechenden elektrischen Energie bzw. elektrischen Ladung innerhalb des optoelektrischen Sensors 12 oder Auslesers 14. Bei dieser Gelegenheit wird darauf hingewiesen, dass sich der zuvor erwähnte Energiespeicher wahlweise in dem optoelektrischen Sensor 12 befinden kann oder im Ausleser 14, oder aber dass sich in beiden ein entsprechender Energiespeicher befindet, wobei eine Umspeicherung bzw. Umladung an den Auslese/Rücksetz-Vorgängen stattfindet.Due to the division of the exposure period into partial exposure intervals, as will be explained in more detail below, each readout compared to an integration over the entire exposure period later, ie at a higher luminous flux, to a saturation threshold, for example by the analog / digital Converter to digitize the readings in the combiner 16 (not shown in 1 ) or by the size of the capacitance for accumulating the amount of electric energy corresponding to the amount of incident light or electric charge within the optoelectric sensor 12 or readout 14 , On this occasion, it should be noted that the aforementioned energy storage is optional in the opto-electrical sensor 12 can be located or in the reader 14 , Or else that in both a corresponding energy storage is, with a re-storage or transhipment takes place at the read / reset operations.
Aufgrund der kürzeren Teilbelichtungsintervalle macht sich auch das FPN-Rauschen des optoelektrischen Sensors 12 weniger bemerkbar. Ferner wird aufgrund der mittelwertartigen Berechnung der Auslesewerte in dem Kombinierer 16 das dynamische bzw. statistische Rauschen verringert. Dies wiederum lässt die entstehende Aufnahme 18 empfindlicher sein für lichtschwache Signale. Insgesamt ist die Empfindlichkeit der Bildaufnahmevorrichtung von 1 reduziert gegenüber einer durchgängigen Belichtung in dem Belichtungszeitfenster. Eine solche Neutraldichtereduzierung der Empfindlichkeit hätte ansonsten eine der komplizierteren Maßnahmen aus der Beschreibungseinleitung erforderlich gemacht, wie z. B. das Verbauen eines optischen Neutraldichtefilters. Umgekehrt sind die anderen Bildeigenschaften, wie z. B. die Bewegungsverschmierung, in der aus den Teilbelichtungswerten gewonnenen Aufnahme die gleichen wie bei einer Aufnahme mit kontinuierlicher Belichtung über das Belichtungszeitfenster hinweg, da im Wesentlichen die gesamte Lichtmenge verwendet wird.Due to the shorter partial exposure intervals, the FPN noise of the opto-electrical sensor also makes itself 12 less noticeable. Further, due to the averaging-like calculation of the readings in the combiner 16 reduces the dynamic or statistical noise. This in turn leaves the resulting recording 18 be more sensitive to faint signals. Overall, the sensitivity of the image pickup device is 1 reduced compared to a continuous exposure in the exposure time window. Such a neutral density reduction of the sensitivity otherwise would have required one of the more complicated measures from the introduction to the description, such. B. the installation of a neutral optical density filter. Conversely, the other image properties, such. For example, motion blur in the shot obtained from the split exposure values is the same as in a continuous exposure shot over the exposure time window because substantially the entire amount of light is used.
Die Bildaufnahmevorrichtung von 1 kann beispielsweise eine Standbildkamera sein, wobei ein Beispiel hierfür in 10 gezeigt ist, oder eine Videokamera, was Bezug nehmend auf 11 beschrieben wird. Allerdings kann die Bildaufnahmevorrichtung von 1 natürlich auch in anderen elektronischen Geräten integriert sein, wie z. B. in ein Handy, einen Laptop, einen PDA, eine Spielekonsole usw., oder aber in optischem oder medizinischen Messgeräten.The image pickup device of 1 may for example be a still camera, an example of this in 10 is shown, or a video camera, referring to 11 is described. However, the image pickup device of 1 Of course, be integrated into other electronic devices, such. B. in a cell phone, a laptop, a PDA, a game console, etc., or in optical or medical gauges.
Es wurde in 1 noch nicht darauf eingegangen, dass die Anzahl der Auslesevorgänge pro Belichtungszeitfenster natürlich auch einstellbar sein könnte. Auf diese Weise wäre es möglich, für die Bildaufnahmevorrichtung von 1 eine Einstellbarkeit ihrer Empfindlichkeit zu realisieren, wobei die Einstellbarkweit kaum Zusatzmaßnahmen erfordert, da die erforderlichen Operationen im Wesentlichen die gleichen bleiben, wie z. B. Summenbildung und Verkleinerung um einen Faktor. Der Faktor, um den die Summe der Auslesewerte verkleinert wird, fällt vorzugsweise monoton mit der Anzahl der Auslesevorgänge. Gemäß einem Beispiel beträgt der Faktor beispielsweise 1/x, wobei x = N ± 5% von N oder x = √N ± 5% von √N, wobei N die Anzahl der Auslesevorgänge ist.It was in 1 not yet understood that the number of read-outs per shutter speed window could of course also be adjustable. In this way it would be possible for the image pickup device of 1 adjustability of their sensitivity, the Einstellbarkweit hardly requires additional measures, since the required operations remain essentially the same, such. B. Summation and reduction by a factor. The factor by which the sum of the read-out values is reduced preferably falls monotonously with the number of read-out processes. For example, in one example, the factor is 1 / x, where x = N ± 5% of N or x = √N ± 5% of √N, where N is the number of reads.
Nachdem nun im Vorhergehenden ein Ausführungsbeispiel für eine Bildaufnahmevorrichtung beschrieben worden ist, werden im Folgenden Ausführungen zum zugrunde liegenden Prinzip, den resultierenden Vorteilen und zu den zugrunde liegenden physikalischen Gegebenheiten gemacht, die ein Verständnis der Vorteile und der nachfolgend beschriebenen Ausführungsbeispiele erleichtern.Having now described an exemplary embodiment of an image recording apparatus, the following explains the underlying principle, the resulting advantages and the underlying physical conditions, which facilitate an understanding of the advantages and of the exemplary embodiments described below.
Wie in Bezug auf 1 beschrieben, ist es möglich, eine Neutraldichtereduzierung auf elektronischem Wege zu realisieren, wie z. B. sogar rein digital, wenn man annimmt, dass die Digitalisierung der Auslesewerte in Bildaufnahmevorrichtungen zumeist ohnehin schon vorgesehen ist. Die in 1 beschriebene Unterteilung eines Belichtungszeitfensters in Teilbelichtungsintervalle mit anschließender Summenbildung und Verkleinerung der Summe ermöglicht eine Reduktion der Empfindlichkeit der Bildaufnahmevorrichtung, während der dynamische Bereich verschoben und ggf. sogar erhöht wird, wie es im Folgenden noch erörtert wird. Im Folgenden wird kurz erläutert, wieso sich eine Verschiebung der oberen sowie der unteren Grenze des dynamischen Bereiches ergibt. Insbesondere ergibt aus den folgenden Erläuterungen, dass sich
eine reduzierte Sensorempfindlichkeit,
ein reduziertes dynamisches Rauschen mit demzufolge vergrößertem Dynamikbereich,
ein reduziertes FPN-Rauschen mit dementsprechend vergrößertem Dynamikbereich,
eine korrekte Wiedergabe einer Bewegungsverschmierung von sich bewegenden Objekten in der Aufnahme,
eine gleichmäßige Empfindlichkeit für verschiedene Belichtungszeiten,
im Wesentlichen keine zusätzlichen Artefakte, sowie
Realisierungsmöglichkeiten unter Verwendung ganz normaler, herkömmlicher Bildsensoren ergeben. As for 1 described, it is possible to realize a neutral density reduction by electronic means, such. B. even purely digital, if one assumes that the digitization of the readings in image pickup devices is usually already provided anyway. In the 1 The subdivision of an exposure time window into partial exposure intervals with subsequent summation and reduction of the sum described makes it possible to reduce the sensitivity of the image recording device while the dynamic range is shifted and possibly even increased, as will be discussed below. In the following it is briefly explained why a shift of the upper and the lower limit of the dynamic range results. In particular, it follows from the following explanations that
a reduced sensor sensitivity,
a reduced dynamic noise with consequently increased dynamic range,
a reduced FPN noise with correspondingly increased dynamic range,
a correct reproduction of a movement smearing of moving objects in the recording,
a uniform sensitivity for different exposure times,
essentially no additional artifacts, as well
Realize possibilities of realization using normal, conventional image sensors.
All diese Vorteile lassen sich, wie im Vorhergehenden und im Folgenden noch beschrieben, durch Einstellung des Sensorauslesemusters und Durchführen zusätzlicher Pixelbasierter Bildverarbeitung erzielen. Um das zu erläutern, wird auf 2 Bezug genommen. Bei a) ist in 2 die Aufnahme eines einzelnen Frames mit ununterbrochener Belichtung im Belichtungszeitfenster 30 gezeigt. Die Belichtung startet bei dem Zeitpunkt t1 und endet nach einer Zeitdauer τexp bei dem Zeitpunkt t2. D. h., vor dem Zeitpunkt t1 ist beispielsweise der Bildshutter 24 der Bildaufnahmevorrichtung geschlossen, zwischen den Zeitpunkten t1 und t2 geöffnet und nach dem Zeitpunkt t2 wieder geschlossen. Während des Belichtungszeitfensters 30 ergibt die Lichtintegration den Pixelwert I.All of these advantages can be achieved by adjusting the sensor read pattern and performing additional pixel-based image processing, as described above and below. To explain this, it will open 2 Referenced. In a) is in 2 recording a single frame with continuous exposure in the shutter speed window 30 shown. The exposure starts at time t 1 and ends after a time period τ exp at time t 2 . That is, before time t 1 , for example, the image shutter 24 the image pickup device closed, opened between the times t 1 and t 2 and closed again after the time t 2 . During the shutter speed window 30 the light integration gives the pixel value I.
Bei b) ist in 2 ein Vorgehen gezeigt, wonach während des Belichtungszeitfensters 30 vier im Wesentlichen lückenlose Auslese/Rücksetz-Vorgänge 321–324 durchgeführt werden, und zwar um genau zu sein drei innerhalb des Belichtungszeitfensters 30 und einer am Ende beim Zeitpunkt t2, wodurch das Belichtungszeitfenster 30 in vier Teilbelichtungsintervalle τN unterteilt wird. Wie es zu sehen ist, kann der letzte Vorgang auf ein Auslesen begrenzt sein und zu Beginn des Belichtungszeitfensters zum Zeitpunkt t1 wird oder ist des Sensor noch zurückgesetzt. Das Zurücksetzen bewirkt ein Voreinstellen des vorerwähnten Akkumulationsspeichers des optoelektrischen Sensors, der dann mit einer Rate, die dem momentan einfallenden Lichtstrom entspricht, entladen oder aufgeladen wird. Das Auslesen ergibt einen Auslesewert des momentanen Ladezustands des Akkumulationsspeichers. Das Auslesen kann destruktiv sein, d. h. den Ladezustand verändern, da ja im Anschluss wieder ein Zurücksetzen erfolgt.At b) is in 2 a procedure is shown, according to which during the exposure time window 30 four essentially complete readout / reset operations 321 - 324 to be precise, to be precise, three within the shutter speed window 30 and one at the end at time t 2 , which causes the shutter speed window 30 is divided into four partial exposure intervals τ N. As can be seen, the last operation may be limited to reading and at the beginning of the exposure time window at time t 1 , the sensor will still be reset or reset. The resetting causes a presetting of the aforementioned accumulation memory of the opto-electrical sensor, which is then discharged or charged at a rate corresponding to the instantaneous incident luminous flux. The read results in a readout of the current state of charge of the accumulation memory. The reading out can be destructive, ie change the state of charge, since then again a reset takes place.
In 2 wird das Belichtungszeitfenster 30 exemplarisch in vier Teilbelichtungsintervalle 341–344 der Länge τN unterteilt, aber natürlich ist auch eine feinere oder gröbere Unterteilung mit N ≥ 2 möglich.In 2 becomes the shutter speed window 30 exemplary in four Teilbelichtungsintervalle 341 - 344 The length τ N is divided, but of course, a finer or coarser subdivision with N ≥ 2 is possible.
Zwischen den Teilbelichtungen 341–344 wird jeweils der Auslese/Rücksetz-Vorgang 321– 323 durchgeführt. Die Auslesevorgänge können dabei destruktiv sein, d. h. den Inhalt des vorerwähnten Energiespeichers bzw. Ladungsspeichers zerstören. Die Auslese/Rücksetz-Vorgänge 321–323 im Inneren des Belichtungszeitfensters 30 weisen, wie es in 2 gezeigt ist, jeweils einen Auslesevorgang und einen Rücksetzvorgang auf, die im Wesentlichen unmittelbar aufeinander stattfinden. Zwischen denselben tritt keine Lichtakkumulation auf. Das Verhältnis zwischen der Summe dieser zeitlichen Lücken und der Zeitdauer texp beträgt beispielsweise gleich oder weniger als 9/10 oder sogar noch bevorzugter weniger als 99/100. Wie es ferner in 2 gezeigt ist, sind die Teilbelichtungsintervalle 341– 344 vorzugsweise gleichlang, nämlich τN = 1/N·τexp. Der schließliche Wert 1 für das augenblickliche Frame ergibt sich dann beispielsweise gemäß Mittelwertbildung auf einer pro-Pixel-Basis gemäß Between the partial exposures 341 - 344 in each case the readout / reset process 321 - 323 carried out. The readings can be destructive, ie destroy the contents of the aforementioned energy storage or charge storage. The readout / reset operations 321 - 323 inside the shutter speed window 30 wise, as is in 2 is shown, each a read operation and a reset operation, which take place substantially directly on each other. There is no accumulation of light between them. For example, the ratio between the sum of these time gaps and the time duration t exp is equal to or less than 9/10 or even more preferably less than 99/100. As it is further in 2 are shown, are the Teilbelichtungsintervalle 341 - 344 preferably the same length, namely τ N = 1 / N · τ exp . The final value 1 for the current frame then results according to averaging on a per-pixel basis, for example
Die Einstellung von N benötigt vorteilhafterweise keine Einstellung irgendeiner Kameramechanik. Es ändern sich auch keine optischen Eigenschaften der Kameras durch eine Verstellung von N. Das gilt sowohl für die Tiefenschärfe, die durch die Linse und die Apertur der Bildaufnahmevorrichtung bestimmt ist sowie die Farbcharakteristik und Auflösung der Kamera bzw. der Bildaufnahmevorrichtung. Folglich wirkt die Intervallunterteilung des Belichtungszeitfensters 30 mit Summenbildung und Verkleinerung wie im Vorhergehenden beschrieben wie ein digitales Neutraldichtefilter mit echtem Neutralverhalten.The adjustment of N advantageously requires no adjustment of any camera mechanics. Also, no optical properties of the cameras are changed by an adjustment of N. This applies both to the depth of field, which is determined by the lens and the aperture of the image recording device and the color characteristics and resolution of the camera or the image recording device. Consequently, the interval division of the shutter speed window works 30 with summation and reduction as described above like a neutral neutral density filter with true neutral behavior.
Im Folgenden wird kurz auf physikalische Grundlagen bei der Bilderfassung eingegangen, die zum Verständnis der Vorteile der Ausführungsbeispiele der vorliegenden Erfindung beitragen. Der Vorgang der Bilderfassung ist nicht-ideal und unterschiedliche Typen von Bildstörungen werden das Signal unweigerlich verschlechtern. Insbesondere kann zwischen zwei Typen von Rauschen unterschieden werden, die das Erfassen eines Pixelwertes I beeinflussen: In the following, a brief description will be made of physical fundamentals in image acquisition that contribute to understanding the advantages of the embodiments of the present invention. The process of image capture is non-ideal and different types of image noise will inevitably degrade the signal. In particular, a distinction can be made between two types of noise which influence the detection of a pixel value I:
Die eigentliche Bildinformation wird beispielsweise durch Integration eines dem einfallenden Lichtstrom entsprechenden Photostrom iph über die Belichtungszeit τexp erfasst. Sich bewegende Objekte werden verschmiert erscheinen, was für eine natürliche Szenenerscheinung wesentlich ist. Die Entstehung bzw. naturgetreue Wiedergabe der korrekten Bewegungsverschmierung ist wesentlich für hochqualitative Bewegungsbildaufnahmen.The actual image information is detected, for example, by integrating a photocurrent i ph corresponding to the incident luminous flux over the exposure time τ exp . Moving objects will appear smeared, which is essential for a natural scene appearance. The emergence or lifelike reproduction of the correct Bewegungsverschmierung is essential for high quality motion picture recordings.
Das statische oder FPN-Rauschen NFPN beschreibt systematische Störungen, die in einem gewissen Rahmen prädiziert und nachträglich wieder entfernt bzw. subtrahiert werden können, wie es beispielsweise im MALUEC, R. M.: Detector Array Fixed-Pattern Noise Compensation. April 6 1976. – US Patent 3,949,162 beschrieben wird. Dieses Rauschen besteht hauptsächlich aus Offset-Rauschen Noffset und Dunkelstromrauschen Ndunkel. Die Belichtungszeitabhängigkeit kann mit einem konstanten Wert für den Dunkelstrom idunkel für jedes Pixel moduliert werden, wie es beispielsweise in US 7,092,017 beschrieben wird.The static or FPN noise N FPN describes systematic interference that can be predicted within a certain range and subsequently removed or subtracted again, as for example in the MALUEC, RM: Detector Array Fixed-Pattern Noise Compensation. April 6, 1976. - U.S. Patent 3,949,162 is described. This noise consists mainly of offset noise N offset and dark noise N dark . The exposure time dependency can be modulated with a constant value for the dark current i dark for each pixel, as shown in FIG US 7,092,017 is described.
Die lineare Abhängigkeit des Dunkelstromes von der Belichtungszeit resultiert in erheblichen Bildstörungen in dem Fall von langen Belichtungszeiten. Selbst unter Kompensation des FPN-Rauschens und der FPN-Kompensation gemäß Gleichung (4) für jedes Pixel mit Pixel-individuellem Dunkelstrom idunkel verbleiben zwei Probleme: selbst mit einer perfekten Schätzung und Entfernung des FPN-Rauschens wird der Dynamikbereich des Bildes reduziert sein. Dies limitiert wiederum die maximal zugelassene Belichtungszeit. Zweitens ist bei einer echten Kamera die Schätzung von idunkel für jedes Pixel sehr wahrscheinlich nicht perfekt, was weiterhin dazu führt, dass ein erhöhtes Rauschen bei langen Belichtungszeiten auftritt. In der Praxis wird sich deshalb das FPN-Rauschen trotz einer FPN-Kompensation mit der Länge der Belichtungszeit erhöhen.The linear dependence of the dark current on the exposure time results in significant image disturbances in the case of long exposure times. Even under compensation of the FPN noise and FPN-compensation in accordance with equation (4) for each pixel with pixel individual dark current i dark remain two problems: even with a perfect estimation and removal of FPN noise, the dynamic range of the image will be reduced. This in turn limits the maximum allowed exposure time. Second, in a real camera, the estimate of i dark is very likely not perfect for each pixel, which further causes increased noise to occur at long exposure times. In practice, therefore, the FPN noise will increase with the length of the exposure time despite FPN compensation.
Theoretisch ergibt sich also durch die beschriebene Maßnahme der Intervallteilung des Belichtungszeitfensters kombiniert mit der Summe über die resultierenden Auslesewerte und der Verkleinerung der Summe eine Bildaufnahme mit einer reduzierten Empfindlichkeit, reduziertem dynamischen Rauschen sowie reduziertem FPN-Rauschen. Das zeigt auch die Tabelle (1), die im Folgenden erläutert wird. Eine um den Faktor N kürzere Belichtungszeit bewirkt, dass lediglich 1/N des einfallenden Lichtes bei der Belichtung wirksam ist. Dies verringert die Empfindlichkeit effektiv um einen Faktor 1/N. Eine Mittelung über die Abtastwerte ändert nichts an der Menge des Lichtes. Werden alle Bildinformationen aller Belichtungsteilintervalle 341–344 verwertet bzw. bei der Summenbildung umfasst und dabei gleich gewichtet, so garantiert dies ein gleichmäßiges Verhalten über die Belichtungszeit. Insbesondere wird die erzeugte Bewegungsverschmierung zu derjenigen einer einzelnen ununterbrochenen langen Belichtung gleich sein.Theoretically, therefore, the described measure of the interval division of the exposure time window combined with the sum of the resulting read values and the reduction of the sum results in an image acquisition with a reduced sensitivity, reduced dynamic noise and reduced FPN noise. This is also shown in Table (1), which is explained below. An exposure time that is shorter by the factor N causes only 1 / N of the incident light to be effective during the exposure. This effectively reduces the sensitivity by a factor of 1 / N. Averaging over the samples does not change the amount of light. Will all picture information of all exposure subintervals 341 - 344 utilized or weighted in the summation and thus weighted, this guarantees a uniform behavior over the exposure time. In particular, the generated motion blur will be equal to that of a single uninterrupted long exposure.
3 zeigt beispielsweise bezogen auf den Lichtstrom F, der während des Belichtungszeitfensters auf den optoelektrischen Sensor fällt, den Dynamikbereich 40 in dem Fall einer durchgehenden langen Belichtung, den Dynamikbereich 42 in dem Fall einer durchgehenden kurzen Belichtung und verglichen dazu den Dynamikbereich 44 in dem Fall eines Dynamikbereiches, wie er sich durch das beschriebene digitale ND-Filter, d. h. durch Aufteilung des Belichtungszeitfensters in mehrere Teilbelichtungsintervalle mit Summenbildung über die Teilbelichtungswerte und Verkleinerung der Summe um die Anzahl der Teilbelichtungsintervalle ergibt. 3 shows the dynamic range, for example, based on the luminous flux F, which falls on the optoelectrical sensor during the exposure time window 40 in the case of a continuous long exposure, the dynamic range 42 in the case of a continuous short exposure and compared to the dynamic range 44 in the case of a dynamic range as obtained by the described digital LP filter, ie by dividing the exposure time window into several partial exposure intervals with summation over the partial exposure values and decreasing the sum by the number of partial exposure intervals.
Das dynamische Rauschen bei ununterbrochener Belichtung über das Belichtungszeitfenster hinweg betrage beispielsweise σa. Wenn eine Mittelung über N unkorrelierte Zufallsvariablen a durchgeführt wird, wird der Mittelwert ā den Wert annehmen. Dies reduziert direkt das dynamische Rauschen um √N, wie es in der Tabelle 1 gezeigt ist.For example, the dynamic noise with continuous exposure over the exposure window would be σ a . When averaging over N uncorrelated random variables a is performed, the mean value ā becomes the value accept. This directly reduces the dynamic noise by √N, as shown in Table 1.
Das FPN-Rauschen für eine kurze Belichtungszeit ergibt eine Reduktion des Dunkelstrom-FPN-Rauschens Ndunkel um einen Faktor 1/N. Das Offset-Rauschen Noffset bleibt hingegen konstant, was aber lediglich die Gesamtreduktion des FPN-Rauschens limitiert. Eine Mittelung über den resultierenden gleichen Betrag des FPN-Rauschens bei den einzelnen Teilbelichtungswerten beeinflusst den Rauschpegel nicht.The FPN noise for a short exposure time results in a reduction of the dark current FPN noise N dark by a factor of 1 / N. The offset noise N offset remains constant, but only the overall reduction of the FPN noise is limited. Averaging over the resulting same amount of FPN noise at each partial exposure value does not affect the noise level.
Das Ergebnis dieser theoretischen Betrachtungen ist in Tabelle (1) gezeigt. Table 1: Erwartetes Verhalten The result of these theoretical considerations is shown in Table (1). Table 1: Expected behavior
D. h., eine Unterteilung des Belichtungszeitfensters in N gleichgroße Teilbelichtungsintervalle mit Bildung einer Summe über die Teilbelichtungswerte und Reduktion der Summe um einen Faktor 1/N, mit N der Anzahl der Teilbelichtungsintervalle, führt relativ zu einer durchgehenden Belichtung mit der Belichtungszeitdauer N mal der Teilbelichtungszeitdauern zu einer um 1/N reduzierten Empfindlichkeit, einem um 1/√N reduzierten dynamischen Rauschen Ndyn und einem um 1/N reduzierten Dunkelstrom-FPN-Rauschen Ndunkel.That is, subdividing the exposure time window into N equally sized partial exposure intervals forming a sum over the partial exposure values and reducing the sum by a factor of 1 / N, where N is the number of partial exposure intervals, results in continuous exposure with the exposure period N times that Partial exposure time to a reduced by 1 / N sensitivity, a reduced by 1 / √N dynamic noise N dyn and a reduced by 1 / N dark current FPN noise N dark .
Die Anwendbarkeit dieser Vorgehensweise ist sogar für große Werte von N unbegrenzt. Allerdings ist die Zunahme der Bildqualität durch die Reduktion des dynamischen Rauschens durch das konstante Offset-FPN-Rauschen begrenzt.The applicability of this approach is unlimited even for large values of N. However, the increase in image quality is limited by the reduction in dynamic noise due to the constant offset FPN noise.
Bezug nehmend auf 1 wurde bereits auf ein paar Möglichkeiten der Integration in ein existierendes Kamerasystem eingegangen. Im Grunde ist eine Ergänzung eines existierenden Kamerasystems um eine Vorrichtung gemäß 1 nicht schwierig. Die Aufteilung des Belichtungszeitfensters in Teilbelichtungsintervalle mit anschließender mittelwertartiger Verarbeitung der Teilbelichtungswerte bedarf lediglich einer sehr geringen Rechenkomplexität und kann einfach in ein existierendes Kamerasystem integriert werden. N – 1 Additionen und eine einzige Multiplikation pro Pixel pro erzeugtes Frame bzw. pro erzeugter Aufnahme sind beispielsweise ausreichend. Zur Integration in ein existierendes Kamerasystem ist lediglich die Existenz einer intern höheren Framerate als die eigentliche Kameraframerate erforderlich und der Sensor muss zu einem im Wesentlichen lückenlosen Auslese/Rücksetz-Modus in der Lage sein.Referring to 1 has already been discussed a few ways of integration into an existing camera system. Basically, a supplement to an existing camera system is a device according to 1 not difficult. The division of the exposure time window into partial exposure intervals with subsequent average processing of the partial exposure values requires only a very low computational complexity and can be easily integrated into an existing camera system. For example, N-1 additions and a single multiplication per pixel per generated frame or per shot are sufficient. For integration into an existing camera system, only the existence of an internally higher frame rate than the actual camera frame rate is required, and the sensor must be capable of a substantially gapless readout / reset mode.
Beispielsweise müssen alle Komponenten in Verarbeitungsrichtung vor der Summenbildung, wie z. B. der Sensor und der Analog/Digital-Konverter, zu einer N-mal höheren Verarbeitungsrate in der Lage sein als die Framerate. Bei einem typischen Kamerasystem ist eine erhöhte interne Framerate unmittelbar möglich: ein Kamerasystem arbeitet nicht immer bei der höchstmöglichen Framerate. Das ist insbesondere wahr, falls eine reguläre Kamera zur Zeitrafferaufzeichnung verwendet wird oder falls eine Hochgeschwindigkeitskamera für reguläre Frameraten verwendet wird. Zweitens erzeugen einige Kamerasysteme eine Ausgabeframerate, die niedriger als die maximale interne Sensorauslesegeschwindigkeit ist. Dies wird beispielsweise bei Drehshutterkameras verwendet, wo eine Auslese so schnell wie möglich durchgeführt wird. Dies reduziert Shutterartefakte ohne das Erhöhen der erforderlichen Verarbeitungsleistung und Speicherdatenrate.For example, all components in the processing direction before the summation, such. As the sensor and the analog / digital converter to be able to N times higher processing rate than the frame rate. In a typical camera system, an increased internal frame rate is immediately possible: a camera system does not always work at the highest possible frame rate. This is especially true if a regular camera is used for time-lapse recording or if a high-speed camera is used for regular frame rates. Second, some camera systems produce an output frame rate that is lower than the maximum internal sensor readout rate. This is used, for example, in rotary-shutter cameras where read-out is performed as quickly as possible. This reduces shutter artifacts without increasing the required processing power and memory data rate.
Die Art und Weise, wie ein lückenloser und verschachtelter Auslese/Rücksetz-Sensorauslesemodus realisiert ist, hängt bezüglich seiner Details von dem Sensortyp ab. Typische High-End-Sensoren unterstützen aber diesen Modus. Für einige Sensoren erfordert das lückenlose Auslesen einen Betriebsmodus, der ein höheres dynamisches Rauschen nach sich zieht. Sogar in diesen Fällen ist aber das hier beschriebene Aufteilen des Belichtungszeitfensters in mehrere Teilbelichtungsintervalle mit anschließender mittelwertartiger Verarbeitung der Teilbelichtungswerte vorteilhaft, da eine äquivalente Rauschreduktion auch bei N = 2 erzielbar ist.The manner in which a gapless and interleaved readout / reset sensor readout mode is implemented depends on the type of sensor with respect to its details. However, typical high-end sensors support this mode. For some sensors, gapless reading requires a mode of operation that results in higher dynamic noise. Even in these cases, however, the division of the exposure time window described here into several partial exposure intervals with subsequent average-value processing of the partial exposure values is advantageous, since an equivalent noise reduction can also be achieved at N = 2.
Für eine korrekte Bewegungsverschmierungsrekonstruktion wird die Mittelwertbildung oder allgemeiner die mittelwertartige, da nicht unbedingt mit der Summenteilung mittels N durchgeführte Verarbeitung der Teilbelichtungswerte vorzugsweise in einem linearen Datenraum durchgeführt. Dies kann beispielsweise dadurch bewerkstelligt werden, dass die Teilbelichtungsbilder kurz nach der A/D-Wandlung addiert bzw. der Summenbildung unterzogen werden. Eine mögliche Ausführung ist in 4 gezeigt.For proper motion blur reconstruction, the averaging, or more generally the midspecific processing, which is not necessarily performed on the sum pitch by N Partial exposure values are preferably performed in a linear data space. This can be accomplished, for example, by summing the sub-exposure images shortly after the A / D conversion or subjecting them to summation. One possible implementation is in 4 shown.
4 zeigt eine Bildaufnahmevorrichtung mit einem Sensor 52, einen A/D-Wandler (Analo-to-digital converter = ADC) 54, einen Teilbelichtungswertzwischenspeicher 56, wie z. B. einen RAM, wie es in 4 exemplarisch gezeigt ist, einen Addierer 58, einen Multiplizierer 60 und eine Weiter- bzw. Nachverarbeitungseinrichtung 62. Einander entsprechende Komponenten aus 4 und 1 sind in 4 entsprechend gekennzeichnet. Demnach umfasst der Sensor 52 von 4 intern einen optoelektrischen Sensor 12 und einen entsprechenden Ausleser 14. Die von dem Ausleser 14 pro Pixel und Belichtungszeitintervall sequenziell ausgegebenen Teilbelichtungswerte 64 werden von dem A/D-Wandler 54 digitalisiert. Die so digitalisierten Teilbelichtungswerte 66 werden von dem Addierer 58 der Reihe nach mit dem in dem Zwischenspeicher 56 zwischengespeicherten Zwischenergebnis verrechnet bzw. summiert, wobei das Summenergebnis wieder in dem Zwischenspeicher 56 abgelegt wird bzw. der Inhalt des Zwischenspeichers 56 mit dem Ergebnis der aktuellen Addition aktualisiert wird, wie es mit dem Pfeil 68 angezeigt ist. Sobald die N Teilbelichtungswerte summiert worden sind, gelangt die Summe, wie es mit dem Pfeil 70 gezeigt ist, zu dem Multiplizierer 60. Dort wird die Summe mit dem Faktor 1/N 72 multipliziert bzw. reduziert. Das Ergebnis der Multiplikation stellt den entsprechenden Pixelwert 74 dar, der dann zusammen mit den anderen Pixelwerten das Rohbild darstellt, das der Weiterverarbeitung 62 zugeführt wird, um an dem Rohbild beispielsweise eine FPN-Kompensation mit Pixel-individueller FPN-Korrekturfunktion durchzuführen, eine Farbkorrektur durchzuführen und/oder eine Farbinterpolation durchzuführen. Also wird gemäß 4 jegliche Weiterverarbeitung, wie z. B. die FPN-Entfernung oder eine Bayer-Farbrekonstruktion, erst dann durchgeführt, wenn für jedes Pixel die Summenbildung der Teilbelichtungswerte und der Reduktion mit einem Faktor kleiner 1 durchgeführt worden ist. Die Operationen der Einrichtung 62 müssen also nur einmal durchgeführt werden für das Rohbild bzw. bei der Integration der Vorrichtung von 4 in ein existierendes Kamerasystem müssen diese Operationen weiterhin nur einmal pro erzeugtes Frame durchgeführt werden und nicht etwa N mal. Die Integration bleibt also hinsichtlich seiner Komplexität gering. 4 shows an image pickup device with a sensor 52 , an analog-to-digital converter (ADC) 54 , a partial exposure value buffer 56 , such as B. a RAM, as in 4 is shown as an example, an adder 58 , a multiplier 60 and a post-processing device 62 , Corresponding components from 4 and 1 are in 4 marked accordingly. Accordingly, the sensor includes 52 from 4 internally an opto-electrical sensor 12 and a corresponding reader 14 , The from the reader 14 sequentially output partial exposure values per pixel and exposure time interval 64 be from the A / D converter 54 digitized. The thus digitized partial exposure values 66 be from the adder 58 in turn with the one in the cache 56 cached intermediate result is calculated or summed, the sum result again in the cache 56 is stored or the contents of the cache 56 is updated with the result of the current addition, as with the arrow 68 is displayed. Once the N partial exposure values have been summed, the sum passes as indicated by the arrow 70 is shown to the multiplier 60 , There, the sum with the factor 1 / N 72 multiplied or reduced. The result of the multiplication represents the corresponding pixel value 74 which, together with the other pixel values, then represents the raw image, that of further processing 62 is supplied to perform on the raw image, for example, an FPN compensation with pixel-individual FPN correction function to perform a color correction and / or perform color interpolation. So according to 4 any further processing, such as As the FPN removal or a Bayer color reconstruction, carried out only when for each pixel, the summation of the partial exposure values and the reduction has been performed with a factor less than 1. The operations of the institution 62 must therefore be performed only once for the raw image or in the integration of the device of 4 in an existing camera system, these operations still need to be done only once per generated frame and not about N times. The integration therefore remains low in terms of its complexity.
Zur Simulation bzw. zum experimentellen Test des oben skizzierten digitalen ND-Filters wurden Testsequenzen mit verschiedenen Frameraten und Kameramodi aufgenommen. Die Testszene umfasste eine rotierende Scheibe mit einem schmalen Schlitz zur Überprüfung der Bewegungsartefakte und zur Überprüfung des lückenlosen Auslesens. Zur Bewahrung des originären Kamerarauschens wurden unkomprimierte Sequenzen in Voll-AD-Auflösung, d. h. 1920×1080 Pixel, von einem High-End-Kamerasystem aufgezeichnet.For the simulation or experimental test of the digital ND filter outlined above, test sequences with different frame rates and camera modes were recorded. The test scene included a rotating disc with a narrow slot to check motion artifacts and check for gap-free reading. To preserve the original camera noise, uncompressed sequences in full AD resolution, i. H. 1920 × 1080 pixels, recorded by a high-end camera system.
Zur Auswertung der wahren Leistungsfähigkeit des digitalen ND-Filters wurde eine FPN-Kompensation gemäß US 7,092,017 , ein Demosaiking bzw. eine Farbinterpolation durchgeführt und eine Sicht-Gamma-Korrektur angewendet.To evaluate the true performance of the digital ND filter, an FPN compensation according to US 7,092,017 , a demosaiking or a color interpolation performed and a visual gamma correction applied.
Insbesondere wurde eine Bildsequenz mit τexp = 16.6 Millisekunden bei durchgängiger Belichtung über die Belichtungszeitfenster pro Frame hinweg aufgezeichnet. Anschließend wurde die Belichtungszeit verdoppelt, wobei eine äquivalente Lichtreduktion in dem optischen Pfad durchgeführt wurde. Für die Digital-ND-Sequenzen wurde eine einzige Bildsequenz mit lückenloser Auslese/Rücksetzung mit Belichtungsintervallen τN = 16,6 Millisekunden aufgezeichnet, wobei aus den Bildern dieser Bildsequenz Digital-ND-Sequenzen mit N = 2, 3, 4, ..., 8 erzeugt wurden.In particular, an image sequence with τ exp = 16.6 milliseconds was recorded with continuous exposure over the exposure windows per frame. Subsequently, the exposure time was doubled, whereby equivalent light reduction was performed in the optical path. For the digital ND sequences, a single image sequence with gapless readout / reset was recorded with exposure intervals τ N = 16.6 milliseconds, whereby from the images of this image sequence digital ND sequences with N = 2, 3, 4, ... 8 were generated.
In allen aufgezeichneten und erzeugten Sequenzen wurde das FPN-Rauschen und das dynamische Rauschen in einem homogen Bereich des Bildes analysiert. Das Ergebnis der Analyse des dynamischen Rauschens ist in 5 gezeigt. Es ist zu erkennen, dass die herkömmliche Auslese mit ununterbrochener Belichtung während des Belichtungszeitfensters ein im Wesentlichen konstantes dynamisches Rauschen zeigt. Für die lückenlose Auslese benötigt der verwendete Sensor in etwa 2 dB mehr dynamisches Rauschen. Mit größer werdendem N ist unmittelbar eine Reduktion der Rauschpegel verbunden, und zwar nahe an der erwarteten idealen Kurve. Das Ergebnis der Analyse des FPN-Rauschens ist in 6 gezeigt. Für die herkömmliche Belichtung mit ununterbrochener Belichtung während des Belichtungszeitfensters ist eine Erhöhung des FPN-Rauschens mit größer werdender Belichtungszeit erkennbar, und das trotz der verwendeten linearen FPN-Kompensation. Eine in SCHÖBERL, Michael; SENEL, Cihan; BLOSS, Hans; FOESSEL, Siegfried; KAUF, André;: Non-linear Dark Current Fixed Pattern Noise Compensation for Variable Frame Rate Moving Picture Cameras. In: 17th European Signal Processing Conference EUSIPCO 2009, Glasgow, Scotland, United Kingdom, 8 2009 postulierte Ungenauigkeit des linearen Modells wird hier also bestätigt. Mit der Digital-ND-Bildaufnahme mit Unterteilung des Belichtungszeitfensters in Teilbelichtungsintervalle und anschließender Mittelwertbildung der Teilbelichtungswerte bleibt, wie es in 6 zu sehen ist, das FPN-Rauschen sowohl niedrig als auch konstant. Auch hier folgt der Rauschpegel der erzeugten Sequenzen eng der idealen Kurve.In all recorded and generated sequences, FPN noise and dynamic noise were analyzed in a homogeneous area of the image. The result of dynamic noise analysis is in 5 shown. It can be seen that the conventional continuous exposure readout during the exposure time window shows substantially constant dynamic noise. For seamless reading, the sensor used requires about 2 dB more dynamic noise. As N increases, there is a direct reduction in noise levels close to the expected ideal curve. The result of the FPN noise analysis is in 6 shown. For the conventional exposure with continuous exposure during the exposure time window, an increase in the FPN noise with increasing exposure time can be seen, despite the linear FPN compensation used. One in SCHÖBERL, Michael; SENEL, Cihan; BLOSS, Hans; FOESSEL, Siegfried; BUY, André ;: Non-linear Dark Current Fixed Pattern Noise Compensation for Variable Frame Rate Moving Picture Cameras. In: 17th European Signal Processing Conference EUSIPCO 2009, Glasgow, Scotland, United Kingdom, 8 Inaccuracy of the linear model postulated in 2009 is thus confirmed here. With digital ND image capture, subdividing the shutter speed window into sub-exposure intervals, and then Averaging of the partial exposure values remains as it is in 6 You can see FPN noise both low and constant. Again, the noise level of the generated sequences closely follows the ideal curve.
Die Beispiele in den 7, 8 und 9 zeigen ein einzelnes Bild aus der Sequenz für τexp = Millisekunden mit N = 4. Die oberen Bilder dieser Figuren zeigen jeweils die vollständige aufgenommene Szene, wohingegen in den jeweiligen Figuren die unteren Bilder eine vergrößerte Region der Testschablone aus der linken Seite der Szene zeigen. Die herkömmliche Bildaufnahme mit durchgehender Belichtung im Belichtungszeitfenster ist in 7 dargestellt. Sie zeigt viel Rauschen. Eine optische Filterung wurde verwendet, um die Lichtmenge um einen Faktor von 4 zu reduzieren. In 8 ist das Ergebnis mit einer einzelnen kurzen Belichtung gezeigt. Die Bildaufnahme weist ein niedrigeres FPN-Rauschen auf. In 9 ist das Ergebnis unter Verwendung der Einteilung in vier Teilbelichtungsintervalle mit Mittelwertbildung über die Teilbelichtungswerte gezeigt. Wie es in 9 zu sehen ist, ist auch zusätzlich zu dem Fall von 8 auch das dynamische Rauschen reduziert, also zusätzlich zu der Reduktion des FPN-Rauschens. Das erzeugte Bild weist zudem die gleiche Bewegungsverschmierung auf wie die herkömmliche Belichtung mit durchgehender Belichtung im Belichtungszeitfenster. Die Szenenhelligkeit in dem Fall der digitalen ND-Filterung gemäß 9 ist identisch zu dem Ergebnis durch die optische Filterung, wie sie bei 7 verwendet worden ist. D. h., die Empfindlichkeit konnte um einen Faktor von 4 reduziert werden, wobei sowohl das dynamische als auch das statische Rauschen um 4 dB bzw. 9 dB verbessert worden ist. Diese Reduktion des Rauschens entspricht einer Erhöhung des Dynamikbereiches, wie es im Vorhergehenden beschrieben worden ist.The examples in the 7 . 8th and 9 show a single image from the sequence for τ exp = milliseconds with N = 4. The upper images of these figures respectively show the complete recorded scene, whereas in the respective figures the lower images show an enlarged region of the test template from the left side of the scene. Conventional image exposure with continuous exposure in the exposure time window is in 7 shown. It shows a lot of noise. Optical filtering was used to reduce the amount of light by a factor of 4. In 8th the result is shown with a single short exposure. Image capture has lower FPN noise. In 9 the result is shown using the division into four sub-exposure intervals with averaging over the subexposure values. As it is in 9 is also seen in addition to the case of 8th also reduces the dynamic noise, in addition to the reduction of the FPN noise. The generated image also has the same motion blur as the conventional continuous exposure exposure in the exposure time window. The scene brightness in the case of digital ND filtering according to 9 is identical to the result of the optical filtering, as with 7 has been used. That is, the sensitivity could be reduced by a factor of 4, with both dynamic and static noise improved by 4 dB and 9 dB, respectively. This reduction in noise corresponds to an increase in the dynamic range, as described above.
Die im Vorhergehenden beschriebene digitale ND-Filterung weist also gegenüber der herkömmlichen langen ununterbrochenen Belichtung eine Vielzahl von Vorteilen auf: zur Reduzierung der Lichtmenge ist kein optisches Filter nötig. Die Handhabung, das Gewicht der Ausrüstung und schließlich die Kosten eines Kamerapaketes können verbessert werden. Die digitale Implementierung ist zudem rechenunaufwendig und kann einfach in ein Kamerasystem integriert werden und bedarf keiner spezialisierten Sensoren. Die beschriebene Auslese kann auch für Standbildphotokameras im Consumer-Bereich verwendet werden und ermöglicht noch eine weitere Option zur Einstellung der Lichtmenge in einer Szene. Dies könnte direkt eine Langbelichtungsphotographie während Tageslicht ermöglichen, wo eine typische Aperturblende immer noch zu viel Licht durchlässt.Thus, the above-described ND digital filtering has many advantages over the conventional long continuous exposure: no optical filter is needed to reduce the amount of light. The handling, the weight of the equipment and finally the cost of a camera package can be improved. The digital implementation is also computationally simple and can be easily integrated into a camera system and requires no specialized sensors. The described readout can also be used for still camera cameras in the consumer sector and allows still another option for adjusting the amount of light in a scene. This could directly enable long exposure photography during daylight where a typical aperture stop still lets in too much light.
Die Bildrauschpegel werden zudem reduziert, anstatt wie bei der herkömmlichen Belichtung sich zu erhöhen. Dies liefert schließlich einen höheren Dynamikbereich. Ein FPN-Kompensationsalgorithmus ist lediglich im Hinblick auf einen kleineren Bereich von Belichtungszeitdauern erforderlich. Die Kalibrierungs- und Kompensationsanforderungen bezüglich des Dunkelstromes sind folglich geringer als bezüglich der breiten Bandbreite von Belichtungszeitdauern. Die aufeinanderfolgenden kurzen Belichtungen leiden nicht an den dynamischen Bereichsgrenzen durch Dunkelstrom und Belichtungszeitdauern sogar über die maximal nützliche Belichtung des Sensors können erzeugt werden.The image noise levels are also reduced instead of increasing as in the conventional exposure. This eventually provides a higher dynamic range. An FPN compensation algorithm is required only in view of a smaller range of exposure times. The dark current calibration and compensation requirements are consequently lower than with respect to the wide bandwidth of exposure times. The successive short exposures do not suffer from the dynamic range limits due to dark current and exposure times even over the maximum useful exposure of the sensor can be generated.
Die beschriebenen Ausführungsbeispiele können somit durch Kombination eines lückenlosen Sensorauslesemodus mit der Bildverarbeitung realisiert werden, und zwar unter Reduktion einer Bildsensorempfindlichkeit. Die erzeugten Bilder können eine erhöhte Bildqualität und die korrekte Bewegungsverschmierung zeigen. Diese Verschiebung des Dynamikbereiches ist ohne die Notwendigkeit einer zusätzlichen Mechanik möglich. Die erzeugten Bilder liefern zudem einzigartige Eigenschaften, wie z. B. die Bewahrung der Bewegungsverschmierung, eine reduzierte Empfindlichkeit ohne Hardwaremodifikation und/oder eine verbesserte Bildqualität.The described embodiments can thus be realized by combining a gap-free sensor readout mode with the image processing, with reduction of an image sensor sensitivity. The generated images can show increased image quality and correct motion blur. This dynamic range shift is possible without the need for additional mechanics. The generated images also provide unique features such. The preservation of motion blur, reduced sensitivity without hardware modification, and / or improved image quality.
Eine Bildaufnahmevorrichtung gemäß 1 oder 4 mit den Abwandlungen, wie sie im Vorhergehenden beschrieben worden sind, können sowohl für Videos bzw. Bewegungsbilder als auch Standbilder eingesetzt werden. Für Videokameras bieten die Ausführungsbeispiele eine Möglichkeit für einen Benutzer-auswählbaren Betriebsmodus zur Reduktion der Empfindlichkeit der Kamera. Die Implementierung ist lediglich Firmware-basiert und stört nicht den regulären Kamerabetrieb. Dies ermöglicht die Aufzeichnung von Zeitrafferszenen sogar während Sonnenlichtes. Die beschriebene Bildaufnahme kann auch für Hochgeschwindigkeitskameras verwendet werden, die bei niedrigeren Frameraten betrieben werden. Eine optische Filterung ist nicht notwendig, und trotzdem können jedwede Belichtungszeiten und Linsenaperturen verwendet werden.An image pickup device according to 1 or 4 with the modifications as described above can be used for both motion pictures and still pictures. For video cameras, the embodiments provide a way for a user-selectable mode of operation to reduce the sensitivity of the camera. The implementation is just firmware-based and does not interfere with regular camera operation. This allows the recording of time-lapse scenes even during sunlight. The described image acquisition can also be used for high speed cameras operating at lower frame rates. Optical filtering is not necessary and nevertheless any exposure times and lens apertures can be used.
Für digitale Standbildkameras kann die vorgestellte digitale ND-Filterung auch verwendet werden. Sie liefert eine noch weitere Möglichkeit zur Bestimmung der besten Belichtungseinstellung, zusätzlich zur Einstellung vermittels der Linsenapertur und der Belichtungszeit. Falls beispielsweise die durch die Linsenapertur und Belichtungszeit einstellbare Sensitivitätsspanne nicht ausreicht, kann die Variation der Anzahl der vorbeschriebenen Teilintervalle zur Einstellung der Belichtung verwendet werden. Die Spanne von Aperturstopps für eine Linse könnte sogar reduziert werden, was Kosten einsparen würde, und die digitale Empfindlichkeitsreduktion, wie sie im Vorhergehenden beschrieben wurde, könnte stattdessen verwendet werden.For digital still cameras, the presented digital ND filtering can also be used. It provides yet another way to determine the best exposure setting, in addition to the lens aperture and exposure time setting. For example, if the sensitivity range adjustable by the lens aperture and exposure time is insufficient, the variation of the number of the above-described subintervals may be used to adjust the exposure. The span of aperture stops for a lens could even be reduced, which would save costs, and the digital sensitivity reduction, as described above, could be used instead.
In 10 ist exemplarisch eine digitale Standbildkamera 80 gezeigt, in die die Vorrichtung von 1 oder 4 integriert sein soll, wobei diese Komponenten in 10 der Übersichtlichkeit halber aber nicht dargestellt sind. Die Kamera 80 kann eine Spiegelreflexkamera oder eine Sucherkamera sein. Sie weist ein Objektiv 82, eine Blende 84, wie z. B. eine Lamellenblende, und eine Steuerung zur manuellen und/oder automatischen Einstellung der Blendenöffnung bzw. Blendenzahl, der Belichtungszeit τexp und der Anzahl N der Teilbelichtungsintervalle und somit zur Einstellung der Empfindlichkeit auf. In dem Fall von 10 weist die Steuerung exemplarisch drei vom Benutzer bedienbare Drehregler 86, 88 und 90 als Eingabeschnittstellen auf. Über die Regler 86 und 88 könnte der Benutzer beispielsweise manuell Blendenöffnung und Belichtungszeitdauer τexp einstellen, wobei es ihm über den Regler 90 möglich wäre, unabhängig von diesen Einstellungen die Kameraempfindlichkeit einzustellen, indem er über den Regler 90 die Anzahl N einstellt. Zusätzlich oder alternativ könnte die Kamera 80 einen oder mehrere der folgenden Automatikprogramme aufweisen. Gemäß einer ersten Art von Automatikprogramm ist es dem Benutzer über einen Drehregler oder einer alternativen Eingabe möglich, einen der Parameter Blendenöffnung, Belichtungszeitdauer τexp und Anzahl von Teilbelichtungsintervallen N einzustellen, wobei die Steuerung die anderen beiden Parameter automatisch einstellt. Gemäß einer zweiten Art von Automatikprogramm ist das Verhältnis zwischen automatisch eingestellten Parametern und manuell eingestelltem Parameter umgekehrt, d. h. zwei stellt der Benutzer manuell ein und der verbleibende wird von der Steuerung automatisch eingestellt. Gemäß einer Vollautomatik würden alle drei Parameter von der Steuerung automatisch eingestellt werden. Wie es in 10 ferner gezeigt ist, weist die Kamera 80 einen Auslöser 92 auf, bei Betätigung dessen der Benutzer die Belichtung auslöst bzw. den Beginn des Belichtungszeitfensters festlegt.In 10 is an example of a digital still camera 80 shown in the device of 1 or 4 should be integrated, these components in 10 but not shown for clarity. The camera 80 can be a SLR camera or a viewfinder camera. She has a lens 82 , a panel 84 , such as As a louver aperture, and a controller for manual and / or automatic adjustment of the aperture or f-number, the exposure time τ exp and the number N of Teilbelichtungsintervalle and thus to adjust the sensitivity. In the case of 10 the controller has three user-definable rotary control as an example 86 . 88 and 90 as input interfaces. About the regulators 86 and 88 For example, the user could manually adjust aperture and exposure time τ exp , giving it the regulator 90 It would be possible, regardless of these settings to adjust the camera sensitivity, by using the controller 90 the number N is set. Additionally or alternatively, the camera could 80 have one or more of the following automatic programs. According to a first type of automatic program, the user is able to set one of the parameters aperture, exposure time τ exp and number of partial exposure intervals N via a dial or an alternative input, the controller automatically adjusting the other two parameters. According to a second type of automatic program, the ratio between automatically set parameters and manually set parameter is reversed, ie, the user adjusts two manually and the remaining one is set automatically by the controller. According to fully automatic, all three parameters would be set automatically by the controller. As it is in 10 Further, the camera points 80 a trigger 92 upon actuation of which the user initiates the exposure or sets the beginning of the exposure time window.
Natürlich existieren zu den in 10 gezeigten Drehreglern verschiedenste Alternativen, wie z. B. Kippschalter oder andere Benutzereingabeschnittstellen. Insbesondere bei einer Vollautomatikkamera können die Regler gänzlich fehlen und die Steuerung umfasste lediglich einen in 10 nicht näher gezeigten Prozessor zur automatischen Einstellung der drei Parameter Blendenöffnung, Belichtungszeitdauer und Anzahl an Teilbelichtungsintervallen.Of course, there are those in 10 Rotary controls shown various alternatives, such. As toggle switches or other user input interfaces. In particular, in a full automatic camera, the controller can be completely absent and the control included only one in 10 not shown in detail processor for automatically setting the three parameters aperture, exposure time and number of partial exposure intervals.
11 zeigt eine Videokamera 100, in die eine Vorrichtung gemäß 1 oder 9 integriert ist, wobei wiederum die Komponenten aus diesen Figuren in 11 der Übersichtlichkeit halber nicht gezeigt sind. In 11 wurden aber die gleichen Bezugszeichen wie diejenigen aus 10 für Elemente verwendet, die eine gleiche Funktion ausüben. So umfasst die Digitalkamera 100 ein Objektiv 82, eine Blende 84, und eine Steuerung zur Steuerung der Blendenöffnung, Belichtungszeit τexp und der Anzahl N, wozu die Steuerung wiederum Benutzereingabeschnittstellen 86, 88 und 90 aufweisen kann. 11 shows a video camera 100 in which a device according to 1 or 9 is integrated, again the components of these figures in 11 for the sake of clarity are not shown. In 11 but were the same reference numerals as those 10 used for elements that perform the same function. So includes the digital camera 100 a lens 82 , a panel 84 , and a controller for controlling the aperture, exposure time τ exp and the number N, to which the controller in turn user input interfaces 86 . 88 and 90 can have.
In den 10 und 11 ist jeweils durch gestrichelte Linien angedeutet, dass Blendenöffnung, Belichtungszeitdauer τexp und Anzahl an Teilbelichtungsintervallen N manuell einstellbar sein könnten. Wie oben erwähnt, wäre auch eine automatische oder gemischt automatisch-manuelle Einstellbarkeit dieser drei Parameter möglich. In dem Fall von 11 ist dargestellt, dass die Belichtungszeitdauer τexp kleiner sein kann als die Bild- bzw. Framewiederholzeitdauer tframe, so dass zwischen den Belichtungszeitfenstern Dunkelphasen bzw. belichtungsfreie Phasen 102 vorliegen. Ggf. kann bei der Kamera 100 auch die Bildwiederholzeitdauer bzw. die Framerate bzw. Bildfrequenz einstellbar sein.In the 10 and 11 is indicated by dashed lines that aperture, exposure time τ exp and number of Teilbelichtungsintervallen N could be manually adjustable. As mentioned above, automatic or mixed auto-manual adjustability of these three parameters would also be possible. In the case of 11 It is shown that the exposure time period τ exp can be smaller than the frame repetition time t frame , so that between the exposure time windows dark phases or exposure-free phases 102 available. Possibly. can at the camera 100 also the image repetition time or the frame rate or frame rate be adjustable.
Bezogen auf beide Ausführungsbeispiele von 10 und 11 kann die Kamera beispielsweise eine automatische Einstellung auf die Helligkeit der Szene vornehmen. Dazu stellt eine Vollautomatik beispielsweise nicht nur Belichtungszeit und Blende geeignet ein, sondern Belichtungszeit, Blende und Zahl N bzw. den Faktor 1/x, mit dem die Summe der Teilbelichtungswerte multipliziert wird.Based on both embodiments of 10 and 11 For example, the camera can automatically adjust the brightness of the scene. For example, a fully automatic system not only adjusts the exposure time and aperture suitably, but rather the exposure time, aperture and number N or the factor 1 / x with which the sum of the partial exposure values is multiplied.
Bei einer manuellen Veränderung einer der Werte, wie z. B. eine Änderung der Belichtungszeit oder der Framerate, könnten die anderen Werte durch die Steuerung (nicht gezeigt) so angepasst werden, dass die Bildhelligkeit gleich bleibt. Bei einer Geschwindigkeitsrampe beim Filmen mit der Videokamera von 11, d. h. einer kontinuierlichen Veränderung der Framerate, könnte somit die Bildhelligkeit konstant gehalten werden. Wird beispielsweise die Framerate verringert und somit inhärent die Belichtungszeit τexp vergrößert, sorgt beispielsweise die Steuerung (nicht gezeigt) für eine automatische Anpassung der Blende. Ebenso ist es denkbar, dass bei einem Photoapparat, wie z. B. demjenigen von 10, ein Parameter durch den Benutzer auswählbar ist, wie z. B. Belichtungszeit oder Blende, wobei die anderen dann durch die Steuerung angepasst werden. Eine automatische Anpassung von N und 1/x in Abhängigkeit der manuell gewählten anderen Parameter ist ebenfalls denkbar. Ebenso andere Kombinationen, wie z. B. die manuelle Auswahl einer der Parameter und Anpassung der anderen.In a manual change of one of the values, such. For example, if the exposure time or frame rate is changed, the other values could be adjusted by the controller (not shown) so that the image brightness remains the same. At a speed ramp when shooting with the video camera from 11 , ie a continuous change in the frame rate, thus the image brightness could be kept constant. For example, if the frame rate is reduced, thus inherently increasing the exposure time τ exp , for example, the controller (not shown) will automatically adjust the aperture. It is also conceivable that in a camera, such as. B. that of 10 , a parameter is selectable by the user, such as. B. exposure time or aperture, the others are then adapted by the controller. An automatic adjustment of N and 1 / x is dependent on the manually selected other parameters also conceivable. Likewise, other combinations, such. For example, manually selecting one of the parameters and adjusting the others.
Zu den 10 und 11 wird noch darauf hingewiesen, dass einige der oben als variabel beschriebenen Einstellungen auch fest sein könnten, wie z. B. Blende und/oder Blendenzeit.To the 10 and 11 It should also be noted that some of the settings described above as variable could also be fixed, such as: B. Aperture and / or aperture.
Vergleicht man die oben präsentierten Ausführungsbeispiele mit optischen ND-Filtern ergibt sich Folgendes. Typische optische ND-Filter weisen Dichten von d = 0,3 und größer auf. Diese erzielen eine Lichtdämpfung um einen Faktor von 10d. Die Lichtreduktion wird auch manchmal in f-Stopps gemessen. Jede Reduktion um einen Faktor von 2 entspricht einer Reduktion um einen f-Stopp. Die Tabelle (2) zeigt für den Fall einer digitalen ND-Filterung mit Aufteilung des Belichtungszeitfensters in N gleichgroße Teilbelichtungsintervalle und Mittelwertbildung der entstehenden Teilbelichtungswerte, welches N für ein zu bestimmten optischen ND-Filtern äquivalentes Digital-ND-Verhalten notwendig ist.Comparing the above-presented embodiments with optical ND filters, the following results. Typical optical ND filters have densities of d = 0.3 and greater. These achieve a light attenuation by a factor of 10 d . The light reduction is also sometimes measured in f-stops. Each reduction by a factor of 2 corresponds to a reduction by one f-stop. Table (2) shows, in the case of ND digital filtering with the exposure time window divided into N, equal partial exposure intervals and averaging of the resulting fractional exposure values, which N is necessary for a digital ND response equivalent to certain ND optical filters.
Zusätzlich zu diesen optischen Standarddichten ist es möglich, eine Reduktion um jeglichen ganzzahligen Faktor zu erzielen. Beispielsweise ergibt sich eine optische Dichte von 0,48, wenn bei dem digitalen ND-Filter N = 3 eingestellt wird. Zusätzlich ist es möglich, Zwischenwerte der Dämpfung zu erzielen: die Multiplikation der Teilbelichtungswertsumme mit einem Faktor von 1/N, wie sie bei dem vorhergehenden Ausführungsbeispielen größtenteils verwendet worden ist, kann beispielsweise mit einer Multiplikation von 1/√N ersetzt werden. Dies führt zu einem konstanten Rauschpegel und einer Dämpfung von lediglich √N. Der Dynamikbereichgewinn geht aufgrund des Clippens verloren, aber dieses Vorgehen würde auf der anderen Seite eine Dämpfung von 1,41, 1,73, 2,33, 2,45 usw. ermöglichen. Die folgende Tabelle (2) fasst die typischen optischen Dichten und die entsprechend erforderlichen Einstellungen von N für das digitale ND-Filter zusammen. optische Dichte Dämpfungsfaktor N für digitales-ND-Filter f-Stopp-Reduktion
0,3 2 2 1
0,6 4 4 2
0,9 8 8 3
1,8 64 64 6
2 100 100 6,66
3 1000 1000 10
In addition to these standard optical densities, it is possible to achieve a reduction by any integer factor. For example, an optical density of 0.48 results when N = 3 is set in the digital ND filter. In addition, it is possible to obtain intermediate values of the attenuation: the multiplication of the partial exposure value sum by a factor of 1 / N, as used to a large extent in the previous embodiments, can be replaced, for example, by a multiplication of 1 / √N. This leads to a constant noise level and an attenuation of only √N. The dynamic range gain is lost due to clipping, but this approach would allow 1.41, 1.73, 2.33, 2.45, and so on. The following table (2) summarizes the typical optical densities and N settings necessary for the digital ND filter. optical density attenuation factor N for digital ND filter f-stop reduction
0.3 2 2 1
0.6 4 4 2
0.9 8th 8th 3
1.8 64 64 6
2 100 100 6.66
3 1000 1000 10
Die obigen Ausführungsbeispiele liefern also viele Vorteile: sie lassen sich digital in bestehende Systeme einbauen und erfordern nicht zusätzlich Hardware oder Optiken. Zudem lasst sich die realisierte Empfindlichkeitsreduktion an- und ausschalten. Die Farb- bzw. Helligkeitsabhängigkeit ist rein neutral: anders als optische Filter, die eine Verschiebung der Farben vom infraroten Licht erzeugen können, besitzt das digitale Filter, wie es im Vorhergehenden beschrieben worden ist, keines dieser Probleme. Schließlich sind die obigen Ausführungsbeispiele für jeden Typ von integrierenden Sensor einsetzbar, also auch für Anwendungen ohne optische Abbildung, vorausgesetzt, das lückenlose Auslesen ist möglich.The above embodiments thus provide many advantages: they can be installed digitally in existing systems and do not require additional hardware or optics. In addition, the realized sensitivity reduction can be switched on and off. The color or brightness dependence is purely neutral: unlike optical filters, which can produce a shift in color from the infrared light, the digital filter has none of these problems as described above. Finally, the above embodiments can be used for any type of integrating sensor, so also for applications without optical imaging, provided that complete reading is possible.
Im vorhergehenden wurde ohne gesonderte Erwähnung davon ausgegangen, dass es sich bei den Auslesewerten um lineare Auslesewerte handelt, also solche, die linear von der integrierten Menge einfallenden Lichtstromes abhängen. Vorzugsweise weisen der optoelektrische Sensor 12, der Ausleser 14 und, wenn vorhanden, der ADC innerhalb des Kombinierers deshalb im wesentlichen lineare Kennlinien auf, d. h. eine lineare Abhängigkeit zwischen Eingangsvariable, nämlich Lichtstrom, integrierte Lichtmenge bzw. analoger Auslesewert, und Ausgangsvariable, nämlich analoger elektrischer Auslesewert bzw. digitalisierter Wert, zumindest soweit der Wertebereich betroffen ist, der in dem resultierenden Dynamikbereich liegt. Sie können auch nicht-lineare Kennlinien aufweisen, die sich einander zu einer linearen Gesamtkennlinie ausgleichen, die einen integrierten Lichtstrom auf den zu summierenden Auslesewert abbildet. Der Kombinierer könnte zudem ein eigens vorgesehenes nichtlineares Modul zur Linearisierung aufweisen, wie z. B. einen Abbilder (nicht gezeigt) zwischen ADC 54 und Addierer 58 in 4. Er könnte in Form einer Nachschlagtabelle gebildet sein oder die Linearisierung analytisch vornehmen. Die Linearisierung könnte für alle Pixel identisch sein, wohingegen die Weiterverarbeitungseinrichtung beispielsweise noch eine pixelindividuelle und von τN abhängige FPN-Korrektur vornimmt, wie es bereits beschrieben wurde. Allerdings ist es nicht unbedingt zwingend erforderlich, dass lineare Auslesewerte im Gesamten Dynamikbereich vorliegen. Durch die Anwendung könnte von extern, wie z. B. durch den Benutzer, sichergestellt werden, dass die einfallende Lichtmenge nicht nur in einem Maße variiert, so dass innerhalb dieser Variation die resultierende Kennlinie der Bilderzeugungsvorrichtung mit digitalem ND Filter annähernd linear ist.In the foregoing, it has been assumed without separate mention that the readings are linear readings, that is, those which depend linearly on the integrated amount of incident luminous flux. Preferably, the optoelectric sensor 12 , the reader 14 and, if present, the ADC within the combiner therefore has substantially linear characteristics, ie a linear dependence between input variables, namely luminous flux, integrated light quantity or analogue readout value, and output variable, namely analog electrical readout value or digitized value, at least as far as the value range is affected, which lies in the resulting dynamic range. They can also have non-linear characteristics that balance each other to form an overall linear characteristic that maps an integrated luminous flux to the reading to be summed. The combiner could also have a dedicated non-linear module for linearization, such as. An image (not shown) between ADCs 54 and adders 58 in 4 , It could be formed in the form of a look-up table or perform the linearization analytically. The linearization could be identical for all pixels, whereas the further processing device, for example, still performs a pixel-individual and τ N- dependent FPN correction, as already described. However, it is not absolutely necessary that linear readings are available in the entire dynamic range. Through the application could externally, such. By the user, it is ensured that the amount of incident light does not vary only to an extent such that, within this variation, the resulting characteristic of the digital ND filter imaging device is approximately linear.
Insbesondere wird darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema auch in Software implementiert sein kann. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.In particular, it should be noted that, depending on the circumstances, the inventive scheme can also be implemented in software. The implementation may be on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which may interact with a programmable computer system such that the corresponding method is executed. In general, the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer. In other words, the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.
