DE102010005265A1 - Method for overlay representing images form e.g. thermal image camera, involves computing transfer function between images and applying transfer function for overlay representing images, and evaluating energy function by computation values - Google Patents

Method for overlay representing images form e.g. thermal image camera, involves computing transfer function between images and applying transfer function for overlay representing images, and evaluating energy function by computation values Download PDF

Info

Publication number
DE102010005265A1
DE102010005265A1 DE102010005265A DE102010005265A DE102010005265A1 DE 102010005265 A1 DE102010005265 A1 DE 102010005265A1 DE 102010005265 A DE102010005265 A DE 102010005265A DE 102010005265 A DE102010005265 A DE 102010005265A DE 102010005265 A1 DE102010005265 A1 DE 102010005265A1
Authority
DE
Germany
Prior art keywords
image
spectral range
transfer function
function
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102010005265A
Other languages
German (de)
Inventor
Matthias 79117 Schmieder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Testo SE and Co KGaA
Original Assignee
Testo SE and Co KGaA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Testo SE and Co KGaA filed Critical Testo SE and Co KGaA
Priority to DE102010005265A priority Critical patent/DE102010005265A1/en
Publication of DE102010005265A1 publication Critical patent/DE102010005265A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G06T3/153—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

The method involves receiving two infrared spectral region and viewable spectral region, selecting areas of images by a feature analysis algorithm and incorporating functions of images with each other. Functions are extracted form the areas of the images. A transfer function is computed between the images and applied for overlay representing the images. An energy function is evaluated by determined computation values. Variable colors representation in the images are produced by the computation values. An independent claim is also included for an imaging device including a receiving unit.

Description

Die Erfindung betrifft ein Verfahren zur überlagerten Darstellung korrespondierender Bilder, wobei von einer Szene ein erstes Bild in einem ersten Spektralbereich und ein zweites Bild in einem zweiten Spektralbereich aufgenommen werden, wobei der erste Spektralbereich von dem zweiten Spektralbereich verschieden ist.The invention relates to a method for the superposed representation of corresponding images, wherein a first image in a first spectral range and a second image in a second spectral range are recorded by a scene, the first spectral range being different from the second spectral range.

Die Erfindung betrifft weiter eine Bildaufnahmevorrichtung mit einer ersten Aufnahmeeinrichtung, die zur Aufnahme eines ersten Bildes in einem ersten Spektralbereich ausgebildet ist, und einer zweiten Aufnahmeeinrichtung, die zur Aufnahme eines zweiten Bildes in einem zweiten Spektralbereich ausgebildet ist, wobei der erste Spektralbereich verschieden von dem zweiten Spektralbereich ist.The invention further relates to an image recording device having a first recording device, which is designed to record a first image in a first spectral range, and a second recording device, which is adapted to receive a second image in a second spectral range, wherein the first spectral range is different from the second Spectral range is.

Es ist bekannt, bei Wärmebildkameras zusätzlich zu dem IR-Sensorfeld eine VIS-Kamera für Aufnahmen im sichtbaren Bereich vorzusehen, mit welcher das tatsächlich von der Wärmebildkamera erfasste IR-Messfeld kontrolliert werden kann. Um diese Kontrolle zu ermöglichen, werden üblicherweise die optischen Achsen der IR-Messeinrichtung und der VIS-Kamera sorgfältig so zueinander ausgerichtet, dass Bildbereiche der mit der VIS-Kamera aufgenommenen VIS-Bilder zu entsprechenden Bildbereichen in den mit dem IR-Sensorfeld aufgenommenen, korrespondierenden IR-Bildern zugeordnet werden können. Dies verlangt eine aufwendige mechanische Feineinstellung der optischen Aufnahmeeinrichtungen. Da die optischen Achsen notwendig gegeneinander versetzt sind, kann die Zuordnung nur für einen begrenzten Bereich des Aufnahmeabstands gültig sein.It is known to provide in thermal imaging cameras in addition to the IR sensor field, a VIS camera for taking pictures in the visible range, with which the actually captured by the thermal imaging camera IR measuring field can be controlled. In order to allow this control, usually the optical axes of the IR measuring device and the VIS camera are carefully aligned with each other such that image areas of the VIS images taken with the VIS camera to corresponding image areas in the corresponding with the IR sensor field recorded IR images can be assigned. This requires a complex mechanical fine adjustment of the optical recording devices. Since the optical axes are necessarily offset from each other, the assignment can only be valid for a limited range of the recording distance.

Der Erfindung liegt die Aufgabe zugrunde, ein bildgebendes Verfahren bereitzustellen, welches eine einfache Kontrolle des tatsächlich mit einer Wärmebildkamera erfassten Szenenausschnitts ermöglicht.The invention has for its object to provide an imaging method which allows easy control of the actually captured with a thermal imaging camera scene.

Zur Lösung dieser Aufgabe ist erfindungsgemäß bei einem Verfahren der eingangs genannten Art vorgesehen, dass in dem ersten Bild und dem zweiten Bild jeweils wenigstens ein Bildbereich ausgewählt wird, dass zu den ausgewählten Bildbereichen jeweils wenigstens ein Merkmal extrahiert wird, dass die zu dem ersten Bild extrahierten Merkmale mit den zu dem zweiten Bild extrahierten Merkmalen verglichen werden und Paare von Merkmalen gebildet werden, wobei jedes Paar ein Merkmal zu dem ersten Bild und ein Merkmal zu dem zweiten Bild enthält und wobei die Paare eine Zuordnung von Merkmalen des ersten Bildes zu Merkmalen des zweiten Bildes beschreiben, für welche in dem Merkmalsvergleich eine optimale Übereinstimmung ermittelt wurde, dass eine Überführungsfunktion zwischen dem ersten Bild und dem zweiten Bild berechnet wird, welche Überführungsfunktion für die gebildeten Paare die Bildbereiche des ersten und des zweiten Bildes, aus denen jeweils die Merkmale extrahiert wurden, einander zuordnet, und dass die Überführungsfunktion zur überlagerten Darstellung des ersten und des zweiten Bildes auf das erste und/oder das zweite Bild angewendet wird. Die Überführungsfunktion definiert somit eine Zuordnung von korrespondierenden Bildbereichen, insbesondere Bildpunkten, der beiden Bilder zueinander, durch welche die Bilder zur Deckung gebracht werden können.In order to achieve this object, it is provided according to the invention in a method of the type mentioned above that in each case at least one image area is selected in the first image and the second image that at least one feature is extracted from each of the selected image areas that extracted to the first image Characteristics are compared with the features extracted to the second image and pairs of features are formed, each pair including a feature to the first image and a feature to the second image, and wherein the pairs include an assignment of features of the first image to features of the second image Describe image for which in the feature comparison an optimal match has been determined that a transfer function between the first image and the second image is calculated, which transfer function for the formed pairs the image areas of the first and the second image, from which the features were extracted , one assigned to other, and that the transfer function for superimposed representation of the first and the second image is applied to the first and / or the second image. The transfer function thus defines an association of corresponding image areas, in particular pixels, of the two images to each other, by means of which the images can be made to coincide.

Erfindungsgemäß können die Bildbereiche jeweils aus einem einzelnen Bildpunkt bestehen oder eine Umgebung mit einer Vielzahl von Bildpunkten umfassen.According to the invention, the image areas can each consist of a single pixel or comprise an environment with a plurality of pixels.

Unter einem Merkmal (feature) wird hierbei ein Satz charakteristischer, invarianter Daten verstanden, die mit Methoden der Bild- und/oder Signalverarbeitung aus den aufgenommenen und digital bereitgestellten Bildern abgeleitet sind. In diesem Sinne können die Merkmale auch als Merkmalsvektoren mit einer Mehr- oder Vielzahl von Daten vorliegen. Beispielsweise können Merkmale als Kanten, geometrische Formen, Muster, Bildausschnitte und dergleichen gegeben sein.In this case, a feature is understood to be a set of characteristic, invariant data which are derived from the recorded and digitally provided images using methods of image and / or signal processing. In this sense, the features may also be present as feature vectors with a multitude or multiplicity of data. For example, features may be given as edges, geometric shapes, patterns, image sections, and the like.

Die Extraktion von Merkmalen kann mit Deskriptoren, wie zum Beispiel SIFT (Scale-Invariant Feature Transform, Skaleninvariante Merkmalstransformation), SURF (Speed Up Robust Features-Algorithmus), LaplacianOfGaussian, DifferenceOfGaussian oder einfachen Korrelationsverfahren wie der (normierten) Kreuzkorrelation, erfolgen.The extraction of features can be done with descriptors such as SIFT (Scale-Invariant Feature Transform), SURF (Speed Up Robust Features Algorithm), LaplacianOfGaussian, DifferenceOfGaussian or simple correlation methods such as (normalized) cross-correlation.

Die Erfindung bietet den Vorteil, dass eine Überlagerung von an sich in unterschiedlichen Spektralbereichen aufgenommenen Bildern automatisiert ohne aufwendige manuelle Nachbearbeitung erstellt werden kann.The invention offers the advantage that a superimposition of images recorded in different spectral ranges can be created automatically without expensive manual post-processing.

Beispielsweise kann vorgesehen sein, dass als erster Spektralbereich ein infraroter Spektralbereich verwendet wird. Es kann weiter vorgesehen sein, dass als zweiter Spektralbereich ein sichtbarer Spektralbereich verwendet wird. Von Vorteil ist dabei, dass das erfindungsgemäße Verfahren somit in Wärmebildkameras mit zusätzlicher VIS-Kamera eingesetzt werden kann. Es kann auch umgekehrt als erster Spektralbereich ein sichtbarer und als zweiter Spektralbereich ein infraroter Spektralbereich verwendet werden.For example, it can be provided that an infrared spectral range is used as the first spectral range. It can further be provided that a visible spectral range is used as the second spectral range. The advantage here is that the inventive method can thus be used in thermal imaging cameras with additional VIS camera. Conversely, a visible spectral range can be used as the first spectral range and an infrared spectral range as the second spectral range.

Dadurch, dass die Erfindung die Extraktion von Merkmalen aus Bildbereichen vorsieht, kann die Berechnung der Entsprechung zwischen den beiden Bildern lokal erfolgen, und es können als Überführungsfunktion auch nicht-starre Transformationsvorschriften (sogenannte non-rigid deformations) berechnet werden. Für die ausgewählten Bildbereiche, die auch nur jeweils ein einzelnes Pixel umfassen können, werden somit Stützstellen für die Überführungsfunktion ermittelt. Die Überführungsfunktion kann anschließend in einem Interpolations- und/oder Anpassungsverfahren ermittelt werden. Hierdurch können auch Effekte der Tiefenstaffelung und der Parallaxe in der aufzunehmenden Szene sowie optische Abbildungsfehler und Verzerrungen korrekt berücksichtigt werden.Since the invention provides for the extraction of features from image areas, the calculation of the correspondence between the two images can be done locally and also non-rigid can be used as a transfer function Transformation rules (so-called non-rigid deformations) are calculated. Support points for the transfer function are thus determined for the selected image areas, which may also comprise only a single pixel at a time. The transfer function can then be determined in an interpolation and / or adaptation method. As a result, effects of depth graduation and parallax in the scene to be recorded as well as optical aberrations and distortions can be correctly taken into account.

Um verlässliche Ergebnisse zu erzielen, kann vorgesehen sein, dass für das erste Bild und/oder für das zweite Bild wenigstens ein Pixelwertebereich vorgegeben wird, wobei nur Bildbereiche verarbeitet werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen. Somit können kontrastarme Bildbereiche von der Berechnung der Überführungsfunktion ausgenommen werden, was die Fehlerrate reduziert. Es können auch beispielsweise nur solche Bildbereiche zur Berechnung der Überführungsfunktion herangezogen werden, für welche die Temperaturwerte des IR-Bildes in einem vorgegebenen Wertebereiche liegen, um nur die aktuell für eine Messung interessierenden Bildbereiche zu überlagern.In order to achieve reliable results, it can be provided that at least one pixel value range is specified for the first image and / or for the second image, wherein only image regions are processed for which the pixel values are within and / or outside the at least one pixel value range. Thus, low-contrast image areas can be excluded from the computation of the transfer function, which reduces the error rate. It is also possible, for example, to use only those image areas for calculating the transfer function for which the temperature values of the IR image lie in a predetermined value range in order to superimpose only the image areas currently of interest for a measurement.

Es kann auch vorgesehen sein, dass für das erste Bild und/oder für das zweite Bild wenigstens ein Pixelwertebereich vorgegeben wird, wobei nur Bildbereiche in der überlagerten Darstellung überlagert dargestellt werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen. Von Vorteil ist dabei, dass uninteressante Bildbereiche von der Überlagerung ausgenommenen werden können, wobei in diesen Bildbereichen nur eines der zwei Bilder ohne Überlagerung dargestellt werden kann.It can also be provided that at least one pixel value range is specified for the first image and / or for the second image, wherein only image regions in the superimposed representation are superimposed, for which the pixel values lie within and / or outside the at least one pixel value range. The advantage here is that uninteresting image areas can be excluded from the overlay, wherein in these image areas only one of the two images can be displayed without overlapping.

Um die Überlagerung weitestgehend automatisiert berechnen zu können, kann vorgesehen sein, dass die Bildbereiche mit einem Merkmalsanalysealgorithmus derart ausgewählt werden, dass für die ausgewählten Bildbereiche jeweils wenigstens ein signifikantes Merkmal extrahierbar ist. Der Benutzer muss in diesem Fall nicht einmal bei der Auswahl der Bildbereiche eingreifen, für welche die Stützstellen für die Überführungsfunktion ermittelt werden sollen.In order to be able to calculate the overlay largely automated, it can be provided that the image areas are selected with a feature analysis algorithm in such a way that at least one significant feature can be extracted for each of the selected image areas. In this case, the user does not even have to intervene in the selection of the image areas for which the interpolation points are to be determined.

Eine Lösung der Aufgabe von eigenständiger Bedeutung kann bei einem Verfahren der eingangs genannten Art vorsehen, dass in dem ersten Bild und in dem zweiten Bild jeweils ein erster Bildbereich ausgewählt wird, dass im ersten Bildbereich für die Überlagerung des ersten Bildes mit dem gegenüber dem ersten Bild mit einer Transformation transformierten zweiten Bild der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als ein erster Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass ein zweiter Bildbereich festgelegt wird, der von dem ersten Bildbereich verschieden ist, dass im zweiten Bildbereich für die Überlagerung des ersten Bildes mit dem gegenüber dem ersten Bild mit einer Transformation transformierten zweiten Bild der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als zweiter Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass in einem Interpolationsverfahren weitere Parameter für zwischen dem ersten und zweiten Bildbereich liegende weitere Bildbereiche ermittelt und diesen weiteren Bildbereichen zugeordnet werden und dass die Überlagerung des ersten Bildes mit dem zweiten Bild erzeugt wird, indem eine Überführungsfunktion mit den ausgewählten bzw. ermittelten, lokalen Parametern berechnet und als lokale Transformation auf das erste Bild und/oder das zweite Bild angewendet wird. Hierbei werden somit zunächst die ersten Bildbereiche als Bildbereiche ausgewählt, und es werden weitere Bildbereiche ausgewählt, indem wenigstens einer der ersten Bildbereiche wie beschrieben durch eine lokale Transformation transformiert wird. Anschließend werden die Bildinhalte der ausgewählten Bildbereiche verglichen, indem für die jeweilige Überlagerung der Wert einer Gütefunktion berechnet wird. Wenn diese Gütefunktion einen optimalen Wert annimmt, so wird eine optimale Übereinstimmung der betrachteten Bildbereiche erkannt, und es ergibt sich aus den zugehörigen Parametern der lokalen Transformation eine Stützstelle für die letztendlich benötigte Überführungsfunktion. Diese kann nun für einige und/oder alle verbleibenden Bildpunkte berechnet werden. Diese Überführungsfunktion beschreibt wegen der lokalen Berechnungen im Allgemeinen eine nicht-starre Transformation. Somit ist es möglich, auch Effekte einer Parallaxe, der Tiefenstaffelung und/oder von Abbildungsfehlern in den Bildern zu berücksichtigen und zu korrigieren. Durch eine zusätzliche Beschränkung auf lokale affine Transformationen kann der bei den Berechnungen benötigte Parameterraum beträchtlich verkleinert werden, wodurch die Rechenzeit und der Rechenaufwand verringert werden kann.A solution of the task of independent significance can provide in a method of the type mentioned above that in the first image and in the second image in each case a first image area is selected that in the first image area for the superimposition of the first image with the opposite to the first image with a transform transformed second image the value of a merit function is calculated such that the calculation of the values of the merit function is repeated for different parameters of the transformation, that the parameter is selected as a first parameter for which the merit function assumes an optimal value, that a second Image area is different, which is different from the first image area that the value of a merit function is calculated in the second image area for the superimposition of the first image with the second image transformed with respect to the first image with a transformation that the calculation of the values of the merit function n is repeated for different parameters of the transformation, that parameter is selected as the second parameter for which the quality function assumes an optimal value, that in an interpolation method further parameters for further image areas lying between the first and second image areas are determined and assigned to further image areas and that the superimposition of the first image with the second image is generated by calculating a transfer function with the selected local parameter and applying it as a local transformation to the first image and / or the second image. In this case, firstly the first image regions are selected as image regions, and further image regions are selected by transforming at least one of the first image regions as described by a local transformation. Subsequently, the image contents of the selected image areas are compared by calculating the value of a quality function for the respective overlay. If this quality function assumes an optimum value, an optimal match of the considered image areas is recognized, and it follows from the associated parameters of the local transformation a support point for the finally required transfer function. This can now be calculated for some and / or all remaining pixels. This transfer function generally describes a non-rigid transformation because of the local calculations. Thus, it is possible to take into account and correct also effects of parallax, depth graduation and / or aberrations in the images. An additional constraint on local affine transformations can significantly reduce the parameter space required in the computations, which can reduce computation time and computational effort.

Erfindungsgemäß kann vorgesehen sein, dass für das Interpolationsverfahren die ermittelten Stützstellen einem Bildpunkt in dem jeweiligen Bildbereich zugeordnet werden.According to the invention, it can be provided that the determined interpolation points are assigned to a pixel in the respective image region for the interpolation method.

Die Gütefunktion kann hierbei eine Kreuzkorrelation, insbesondere zwischen den Bildinhalten, errechnen.The quality function can in this case calculate a cross-correlation, in particular between the image contents.

Es kann vorgesehen sein, dass an den Stützstellen des Interpolationsverfahrens als Überführungsfunktion eine Homographie evaluiert wird. It can be provided that a homography is evaluated as a transfer function at the interpolation process points.

Ein besonders resourcensparendes Verfahren kann vorsehen, dass als Transformationen jeweils lokale Verschiebungstransformationen ausgeführt werden, insbesondere wobei als Parameter jeweils Verschiebungsvektoren verwendet werden.A particularly resource-saving method can provide that local displacement transformations are carried out in each case as transformations, in particular wherein shift vectors are used in each case as parameters.

Um eine möglichst genaue Übereinstimmung der korrespondierenden Bilder in der Überlagerung zu erreichen, kann vorgesehen sein, dass die weiteren Bildbereiche als jeweils ein Bildpunkt ausgewählt werden. Es ist somit eine pixelgenaue Berechnung der Überführungsfunktion möglich.In order to achieve the most accurate possible match of the corresponding images in the overlay, it can be provided that the further image areas are selected as one pixel each. Thus, a pixel-accurate calculation of the transfer function is possible.

Insbesondere bei Verwendung nicht-punktförmiger Bildbereiche kann vorgesehen sein, dass im ersten Bildbereich und/oder im zweiten Bildbereich weitere Bildbereiche für das Interpolationsverfahren ausgewählt werden. Von Vorteil ist dabei, dass die Überführungsfunktion auch in denjenigen Bildbereichen, für welche zunächst die Stützstellen berechnet wurden, modifiziert werden kann, wenn dies zur Verbesserung der Qualität der Überlagerung erforderlich ist.In particular when non-punctiform image areas are used, provision can be made for further image areas to be selected for the interpolation method in the first image area and / or in the second image area. The advantage here is that the transfer function can also be modified in those image areas for which the interpolation points were first calculated, if this is necessary to improve the quality of the overlay.

Es kann vorgesehen sein, dass im Interpolationsverfahren ein Parameter- oder Verschiebungsvektorfeld ermittelt wird. Hierbei wird unter einem Parameter- oder Verschiebungsvektorfeld die Zuordnung eines (möglicherweise variierenden) Parameters bzw. Verschiebungsvektors zu jedem Bildpunkt verstanden. Somit kann die Überführungsfunktion sogar sub-pixelgenau definiert werden.It can be provided that a parameter or displacement vector field is determined in the interpolation method. Here, a parameter or displacement vector field is understood to mean the assignment of a (possibly varying) parameter or displacement vector to each pixel. Thus, the transfer function can even be defined sub-pixel-accurate.

Besonders günstig ist es, wenn das erste Bild und das zweite Bild gleichzeitig aufgenommen werden. Somit sind die Abweichungen in den jeweils aufgenommenen Szenen voneinander möglichst gering, wodurch optimale Überlagerungen erstellt werden können.It is particularly favorable if the first image and the second image are recorded simultaneously. Thus, the deviations in each recorded scenes from each other are as small as possible, whereby optimal overlays can be created.

Es kann vorgesehen sein, dass der erste Bildbereich und/oder der zweite Bildbereich nach Aufnahme des ersten Bildes und/oder des zweiten Bildes festgelegt werden. Von Vorteil ist dabei, dass die Auswahl auf den jeweils aufgenommen Bildinhalt abgestimmt werden kann.It can be provided that the first image area and / or the second image area are defined after the first image and / or the second image have been recorded. The advantage here is that the selection can be matched to the respective recorded image content.

Alternativ oder zusätzlich kann vorgesehen sein, dass der erste Bildbereich und/oder der zweite Bildbereich mit einem hinterlegten Auswahlalgorithmus automatisch festgelegt werden. Dies kann beispielsweise durch die Vorgabe von Pixelwertebereichen und/oder durch Identifikation von Bildbereichen, für welche signifikante Merkmale extrahiert werden können, erfolgen.Alternatively or additionally, it can be provided that the first image area and / or the second image area are automatically determined with a stored selection algorithm. This can be done, for example, by specifying pixel value ranges and / or by identifying image regions for which significant features can be extracted.

Hierbei kann vorgesehen sein, dass während der Ausführung des Auswahlalgorithmus ein Merkmalserkennungsalgorithmus an dem ersten Bild und/oder dem zweiten Bild durchgeführt wird.It may be provided that during the execution of the selection algorithm, a feature recognition algorithm is performed on the first image and / or the second image.

Ein besonders einfaches Verfahren ergibt sich, wenn bei der Berechnung der Werte der Gütefunktionen für die Überlagerungen im ersten Bildbereich und die Überlagerungen im zweiten Bildbereich dieselbe Gütefunktion verwendet wird.A particularly simple method results if the same quality function is used in the calculation of the values of the quality functions for the overlays in the first image area and the overlays in the second image area.

Es kann vorgesehen sein, dass beim Interpolationsverfahren ein Spline-Algorithmus verwendet wird. Beispielsweise kann ein thin plate spline-Algorithmus verwendet werden, bei welchem die Interpolation anhand einer Analogie zu der Verformung eines dünnen Metallblechs berechnet wird.It can be provided that a spline algorithm is used in the interpolation method. For example, a thin plate spline algorithm may be used in which the interpolation is calculated by analogy with the deformation of a thin metal sheet.

Es kann vorgesehen sein, dass eine vorzugsweise gitterförmige Unterteilung des ersten und/oder zweiten Bildes in Bildbereiche verwendet wird, wobei für jeden Bildbereich der Unterteilung ein zu einem optimalen Wert einer Gütefunktion zugeordneter Parameter oder Verschiebungsvektor ausgewählt wird.It can be provided that a preferably grid-shaped subdivision of the first and / or second image into image areas is used, wherein a parameter or displacement vector assigned to an optimum value of a merit function is selected for each image area of the subdivision.

Spannen die optischen Achsen der Aufnahmevorrichtungen für das erste und das zweite Bild näherungsweise oder sogar exakt eine Epipolarebene auf, so kann vorgesehen sein, dass zur Berechnung der Werte der Gütefunktion in einem Bildbereich nur parallel zu einer Vorzugsrichtung, insbesondere parallel zu einer Epipolarlinie, ausgerichtete Verschiebungsvektoren verwendet werden. Somit kann der zur Berechnung der Überführungsfunktion benötigte Parameterraum nochmals reduziert werden, wodurch die erforderliche Rechenkapazität nochmals vermindert werden kann.If the optical axes of the recording devices for the first and the second image span approximately or even exactly one epipolar plane, then it can be provided that for the calculation of the values of the quality function in an image region, only parallel to a preferred direction, in particular parallel to an epipolar line, aligned displacement vectors be used. Thus, the parameter space required for calculating the transfer function can be reduced again, whereby the required computing capacity can be further reduced.

Alternativ kann vorgesehen sein, dass während des Interpolationsverfahrens Verschiebungsvektoren mit beliebiger Ausrichtung zugelassen werden. Somit lassen sich auch Abbildungsfehler und optische Verzerrungen besonders einfach berücksichtigen.Alternatively it can be provided that during the interpolation process displacement vectors with arbitrary orientation are allowed. Thus, aberrations and optical distortions can be considered particularly easily.

Für eine leicht erfassbare Darstellung kann vorgesehen sein, dass die Überlagerung mit einem alpha-Wert erzeugt wird. Vorzugsweise ist der alpha-Wert, also das Mischungsverhältnis der überlagerten Bilder, variabel eingerichtet und kann für eine optimale Darstellung variiert werden.For an easily comprehensible representation it can be provided that the overlay is generated with an alpha value. Preferably, the alpha value, ie the mixing ratio of the superimposed images, is variably set up and can be varied for optimum presentation.

Es kann vorgesehen sein, dass der Alpha-Wert in Abhängigkeit von Pixelwerten der Bildpunkte gewählt wird. Beispielsweise kann vorgesehen sein, dass nur Bildbereiche überlagert dargestellt werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen, während für andere Bildbereiche nur das erste oder das zweite Bild dargestellt wird.It can be provided that the alpha value is selected as a function of pixel values of the pixels. For example, it can be provided that only image areas are displayed superimposed, for which the pixel values are within and / or outside the at least one pixel value range, while for other image areas only the first or the second image is displayed.

Besonders gute Resultate können erreicht werden, wenn für die Berechnung der Werte der Gütefunktion eine Energiefunktion ausgewertet wird. Particularly good results can be achieved if an energy function is evaluated for the calculation of the values of the quality function.

Es kann zusätzlich oder alternativ vorgesehen sein, dass die Überlagerung mit einer Falschfarbendarstellung erzeugt wird. Besonders günstig ist es dabei, wenn die Falschfarbendarstellung, also die verwendete Farbskala, variabel an die jeweiligen Bedürfnisse eines Benutzers angepasst wird.It may additionally or alternatively be provided that the overlay is generated with a false color representation. It is particularly advantageous if the false color representation, ie the color scale used, is variably adapted to the particular needs of a user.

Zur Lösung der Aufgabe ist erfindungsgemäß bei einer eingangs genannten Bildaufnahmevorrichtung, insbesondere Wärmebildkamera, vorgesehen, dass ein Datenverarbeitungsmittel ausgebildet ist, welches zur Ausführung eines erfindungsgemäßen Verfahrens eingerichtet, insbesondere dimensioniert und programmiert, ist.To achieve the object according to the invention in an aforementioned image pickup device, in particular thermal imaging camera, provided that a data processing means is designed, which is set up to execute a method according to the invention, in particular dimensioned and programmed, is.

Es kann auch vorgesehen sein, mit einer Wärmebildkamera Bilder zu aufzunehmen und diese in einem PC mit dem erfindungsgemäßen Verfahren auszuwerten. In diesem Fall umfasst die Bildaufnahmevorrichtung die Wärmebildkamera und den PC.It can also be provided to take pictures with a thermal imaging camera and to evaluate them in a PC with the method according to the invention. In this case, the image pickup device includes the thermal imager and the PC.

Besonders günstig ist es, wenn die Bildaufnahmevorrichtung als Handgerät, insbesondere als Wärmebildkamera, ausgebildet ist.It is particularly favorable if the image recording device is designed as a handheld device, in particular as a thermal imaging camera.

Die Erfindung wird nun anhand eines Ausführungsbeispiels näher beschrieben, ist aber nicht auf dieses Ausführungsbeispiel beschränkt. Weitere Ausführungsbeispiele ergeben sich durch Kombination einzelner oder mehrerer Merkmale der Ansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen des Ausführungsbeispiels.The invention will now be described in detail with reference to an embodiment, but is not limited to this embodiment. Further exemplary embodiments result from the combination of individual or several features of the claims with one another and / or with one or more features of the exemplary embodiment.

Es zeigtIt shows

1 eine erfindungsgemäß ausgestaltete Bildaufnahmevorrichtung in einer Ansicht von vorn, 1 an inventively configured image pickup device in a front view,

2 die Bildaufnahmevorrichtung gemäß 1 in einer Ansicht von hinten, 2 the image pickup device according to 1 in a view from behind,

3 die Extraktion von Merkmalen bei einem erfindungsgemäßen Verfahren, 3 the extraction of features in a method according to the invention,

4 die Zuordnung von korrespondierenden Merkmalen zur Bildung von Paaren bei einem erfindungsgemäßen Verfahren, 4 the assignment of corresponding features to form pairs in a method according to the invention,

5 ein Gitternetz eines Bildes und 5 a grid of a picture and

6 das Gitternetz gemäß 5 nach Anwendung einer Überführungsfunktion in einem erfindungsgemäßen Verfahren. 6 the grid according to 5 after applying a transfer function in a method according to the invention.

1 zeigt eine im Ganzen mit 1 bezeichnete Bildaufnahmevorrichtung in einer Ansicht von vorn, während 2 diese Bildaufnahmevorrichtung 1 in einer Ansicht von hinten wiedergibt. 1 shows one as a whole 1 designated image pickup device in a front view, while 2 this image pickup device 1 in a view from behind.

Die Bildaufnahmevorrichtung 1 weist eine erste Aufnahmevorrichtung 2 auf, welche zur Aufnahme eines Bildes im infraroten Spektralbereich ausgebildet ist.The image pickup device 1 has a first receiving device 2 which is designed to take a picture in the infrared spectral range.

Ferner ist eine zweite Aufnahmevorrichtung 3 vorgesehen, mit welcher VIS-Bilder im Sichtbaren Spektralbereich aufgenommen werden können.Furthermore, a second receiving device 3 provided with which VIS images in the visible spectral range can be recorded.

Die Bildaufnahmevorrichtung 1 ist somit eine Wärmebildkamera.The image pickup device 1 is thus a thermal imaging camera.

An der Bildaufnahmevorrichtung 1 ist weiter ein Anzeigemittel 4 vorgesehen, mit welchem die aufgenommenen IR- und VIS-Bilder angezeigt werden können.At the image capture device 1 is still a display means 4 provided with which the recorded IR and VIS images can be displayed.

Im Inneren der Bildaufnahmevorrichtung 1 ist ein nicht weiter ersichtliches Datenverarbeitungsmittel 5 angeordnet, welches zur Ausführung eines erfindungsgemäßen, im Folgenden zu 3 bis 6 näher erläuterten Verfahrens eingerichtet ist.Inside the image pickup device 1 is a not further evident data processing means 5 which is used to carry out a method according to the invention, in the following 3 to 6 is set forth in more detail explained method.

Wie aus den nachstehenden Erläuterungen deutlich wird, kann mit dem Datenverarbeitungsmittel 5 eine Überlagerung eines aufgenommenen IR-Bildes mit einem aufgenommenen VIS-Bild erzeugt und an dem Anzeigemittel 4 angezeigt werden, bei welcher Überlagerung korrespondierende Inhalte der Bilder zur Deckung gebracht werden.As will be apparent from the explanations below, the data processing means 5 creates a superimposition of a recorded IR image with a recorded VIS image and on the display means 4 are displayed at which overlay corresponding contents of the images are brought to coincide.

Es sei ferner noch erwähnt, dass die Bildaufnahmevorrichtung 1 als Handgerät ausgebildet ist und somit einen Griff 6 aufweist. Im vorliegenden Ausführungsbeispiel ist die Energieversorgung der Bildaufnahmevorrichtung 1 in diesen Griff 6 integriert.It should also be mentioned that the image pickup device 1 is designed as a handheld device and thus a handle 6 having. In the present embodiment, the power supply of the image pickup device 1 in this grip 6 integrated.

3 zeigt schematisch ein mit der ersten Aufnahmevorrichtung 2 im infraroten Spektralbereich als IR-Bild aufgenommenes erstes Bild 7. 3 shows schematically a with the first receiving device 2 in the infrared spectral range recorded as an IR image first image 7 ,

3 zeigt weiter ein mit der zweiten Aufnahmevorrichtung 3 als VIS-Bild im sichtbaren Spektralbereich aufgenommenes zweites Bild 8. 3 further shows a with the second recording device 3 as a VIS image in the visible spectral recorded second image 8th ,

Erstes Bild 7 und zweites Bild 8 wurden von der selben Szene zur gleichen Zeit aufgenommen.First picture 7 and second picture 8th were recorded by the same scene at the same time.

Um zu verdeutlichen, dass beide Bilder 7, 8 wegen der unterschiedlichen Spektralbereiche unterschiedliche Darstellungen dieser Szene ergeben, wurde das abgebildete Motiv zur Erläuterung gespiegelt dargestellt. Selbstverständlich unterscheiden sich IR-Bilder und VIS-Bilder in bekannter Weise auf andere Art, nämlich durch in jeweils einem Bild nicht ersichtliche beziehungsweise deformiert oder mit veränderten Konturen dargestellte Details oder durch unterschiedliche Auflösungen.To clarify that both pictures 7 . 8th Because of the different spectral regions give different representations of this scene, the pictured motif has been shown mirrored for explanation. Of course, IR images and VIS images differ in a known manner in a different way, namely by in each case not apparent or deformed or Details presented with altered contours or different resolutions.

Mit einem in dem Datenverarbeitungsmittel 5 eingerichteten Merkmalsanalysealgorithmus werden nun in beiden Bildern 7, 8 jeweils Bildbereiche 9, 10 identifiziert und ausgewählt, für welche sich Merkmale extrahieren lassen.With one in the data processing means 5 established feature analysis algorithms are now in both pictures 7 . 8th each image areas 9 . 10 identified and selected for which features can be extracted.

3 zeigt beispielhaft einige mit FP1, FP2, ... beziehungsweise FP1', FP2', ... bezeichnete derartige Bildbereiche 9, 10. 3 shows by way of example some FP 1 , FP 2 ,... or FP 1 ', FP 2 ',.. 9 . 10 ,

Diese Bildbereiche 9, 10 können punktförmig ausgebildet sein und somit einzelne Bildpixel umfassen oder sie können durch Umgebungen mit einer Vielzahl von Bildpixeln gegeben sein.These image areas 9 . 10 may be dot-shaped and thus comprise individual image pixels, or they may be given by environments with a plurality of image pixels.

Im vorliegenden Beispiel gemäß 3 hat der Merkmalsanalysealgorithmus Bildbereiche 9, 10 ausgewählt, an denen Kanten oder sonstige Stellen mit starker Helligkeitsänderung erkennbar sind.In the present example according to 3 the feature analysis algorithm has image areas 9 . 10 selected on which edges or other locations with a strong change in brightness can be seen.

Für diese Bildbereiche 9, 10 werden nun jeweils Merkmale extrahiert und zu Merkmalsvektoren gruppiert.For these image areas 9 . 10 Features are now extracted and grouped into feature vectors.

Nun werden die für die Bildbereiche 9 jeweils extrahierten Merkmale mit den für die Bildbereiche 10 extrahierten Merkmale verglichen, und es wird eine optimale Übereinstimmung ermittelt.Now those for the image areas 9 each extracted features with those for the image areas 10 extracted features and an optimal match is determined.

Für die so ermittelte optimale Übereinstimmung ergibt sich eine Gruppierung der Merkmale in Paare, wobei jedes Paar ein Merkmal, welches aus dem ersten Bild 7 extrahiert wurde, und ein Merkmal, welches aus dem zweiten Bild 8 extrahiert wurde, enthält. Diese Paare ergeben eine Zuordnung von Merkmalen des ersten Bildes 7 zu Merkmalen des zweiten Bildes 8, zu welcher eine in 4 ebenfalls mit 11 bezeichnete Zuordnung der Bildbereiche 9, 10 gehört, aus denen die Merkmale des jeweiligen Paares extrahiert wurden.For the optimum match thus determined, a grouping of the features results in pairs, each pair having a feature which is derived from the first image 7 was extracted, and a feature resulting from the second image 8th extracted. These pairs result in an assignment of features of the first image 7 to features of the second image 8th , to which a in 4 also with 11 designated assignment of image areas 9 . 10 from which the characteristics of the respective pair were extracted.

So ergibt die Übereinstimmung bei dem in 4 beispielhaft und nur schematisch gezeigten Fall eine Zuordnung 11 des mit FP3 bezeichneten Bildbereichs 9 des ersten Bildes 7 zu dem mit FP4' bezeichneten Bildbereich 10 des zweiten Bildes.So the match at the in 4 exemplary and only schematically shown an assignment 11 the image area designated by FP 3 9 of the first picture 7 to the image area labeled FP 4 ' 10 of the second picture.

Ebenso wird der Bildbereich 9 FP1 dem Bildbereich 10 FP1' und der Bildbereich 9 FP4 dem Bildbereich 10 FP2' zugeordnet.Likewise the picture area becomes 9 FP 1 in the image area 10 FP 1 'and the image area 9 FP 4 the image area 10 Assigned to FP 2 '.

Für die Bildbereiche 9 mit den Bezeichnungen FP2, FP5 und FP6 konnte dagegen keine Übereinstimmung mit Merkmalen aus dem zweiten Bild 8 festgestellt werden. Für diese Bildbereiche 9 ergibt sich somit keine Zuordnung 11.For the image areas 9 however, with the designations FP 2 , FP 5 and FP 6 , it was not possible to agree with features from the second image 8th be determined. For these image areas 9 thus there is no assignment 11 ,

Mit Hilfe der Zuordnungen 11 wird nun in dem Datenverarbeitungsmittel 5 eine Überführungsfunktion derart berechnet, dass nach Anwendung der Überführungsfunktion auf das erste Bild 7 oder das zweite Bild 8 als Transformationsvorschrift in einer pixelweisen Überlagerung der erhaltenen Bilder einander mit einer Zuordnung 11 zugeordnete Bildbereiche 9, 10 zur Deckung gebracht sind. Somit sind Bildbereiche 9, 10 mit korrespondierendem Bildinhalt zur Deckung gebracht.With the help of assignments 11 is now in the data processing means 5 calculates a transfer function such that after applying the transfer function to the first image 7 or the second picture 8th as a transformation rule in a pixel-by-pixel overlay of the obtained images with each other with an assignment 11 assigned image areas 9 . 10 are brought to cover. Thus, image areas 9 . 10 with corresponding image content brought to coincidence.

In Spezialfällen wird die Überführungsfunktion eine globale Transformation, beispielsweise eine Verschiebung und/oder eine Rotation und/oder eine Streckung oder Stauchung, beschreiben. Im Allgemeinen wird die Überführungsfunktion jedoch eine lokale, nicht-starre Transformation beschreiben.In special cases, the transfer function will describe a global transformation, such as a displacement and / or a rotation and / or an extension or a compression. In general, however, the transfer function will describe a local, non-rigid transformation.

5 und 6 zeigen beispielhaft den Effekt der Anwendung einer solchen nicht-starren Überführungsfunktion auf ein Bild 7, 8. 5 and 6 exemplify the effect of applying such a non-rigid transfer function to an image 7 . 8th ,

Zur Verdeutlichung soll das Bild lediglich ein Gitternetz 12 darstellen.For clarity, the picture is merely a grid 12 represent.

5 zeigt hierbei das Gitternetz 12 vor Anwendung der Überführungsfunktion, während 6 das transformierte Gitternetz 13 nach Anwendung der Überführungsfunktion darstellt. 5 shows the grid here 12 before using the transfer function while 6 the transformed grid 13 after applying the transfer function.

Es ist ersichtlich, dass bei dem gezeigten Beispiel der Randbereich des transformierten Bildes 14 unverändert geblieben ist, während die Bildmitte einer nicht-starren Transformation unterworfen wurde.It can be seen that in the example shown, the edge region of the transformed image 14 remained unchanged while the center of the image was subjected to a non-rigid transformation.

Die Überführungsfunktion wurde hierbei in einem Interpolationsverfahren berechnet, wobei die gemäß den Zuordnungen 11 zur Deckung zu bringenden Bildbereiche 9, 10 als Stützstellen für die Interpolation verwendet wurden.The transfer function was calculated here in an interpolation method, according to the assignments 11 to be covered image areas 9 . 10 were used as interpolation nodes.

Zur Ermittlung der Zuordnungen 11 kann vorgesehen sein, dass die Bildbereiche 9, 10 jeweils Umgebungen mit mehreren Bildpixeln umfassen, und dass die ausgewählten Bildbereiche 9, 10 mit affinen Transformationen so gegeneinander verschoben, rotiert und/oder skaliert werden, bis eine Gütefunktion einen optimalen Wert annimmt. Durch die Transformationen werden daher eine Vielzahl von Bildbereichen 9, 10 ausgewählt, und die Zuordnungen 11 beschreiben diejenigen Parameter der Transformationen, für welche die Gütefunktion den optimalen Wert angenommen hat.To determine the assignments 11 can be provided that the image areas 9 . 10 each encompass environments with multiple image pixels, and that the selected image areas 9 . 10 with affine transformations are shifted against each other, rotated and / or scaled until a quality function assumes an optimal value. Due to the transformations, therefore, a plurality of image areas 9 . 10 selected, and the assignments 11 describe those parameters of the transformations for which the quality function has assumed the optimum value.

Hierbei kann die durch das Gitternetz 12 gegebene Unterteilung gemäß 5 in rechteckige Bildbereiche 9 beziehungsweise 10 als Ausgangspunkt verwendet werden, wobei weitere Bildbereiche dadurch ausgewählt werden, dass die Bildbereiche 9, 10 mit affinen Transformationen verschoben werden.Here, the through the grid 12 Given subdivision according to 5 in rectangular image areas 9 respectively 10 be used as a starting point, with more image areas are selected by the image areas 9 . 10 be moved with affine transformations.

Dadurch, dass für jeden Bildbereich 9, 10 dieser gitterförmigen Unterteilung jeweils ein Parametersatz zu einem optimalen Wert einer Gütefunktion bestimmt wird, ergibt sich eine Vielzahl von Stützstellen 16 in den Bildbereichen 9, 10 des Gitternetzes 12, die für die Berechnung der Überführungsfunktion im Interpolationsverfahren verwendet werden können.By doing that for every image area 9 . 10 This lattice-shaped subdivision is determined in each case a parameter set to an optimum value of a quality function, resulting in a plurality of nodes 16 in the image areas 9 . 10 of the grid 12 that can be used to calculate the transfer function in the interpolation procedure.

Die Bildaufnahmevorrichtung 1 weist ferner Bedienelemente 15 auf, mit welchen die Art der Darstellung, insbesondere der alpha-Wert der Überlagerung oder die Farbskala einer Falschfarbendarstellung variiert werden können, um unterschiedlichen Anforderungen gerecht zu werden.The image pickup device 1 also has controls 15 on, with which the type of representation, in particular the alpha value of the overlay or the color gamut of a false color representation can be varied to meet different requirements.

Mit den Bedienelementen 15 sind auch Bildbereiche im ersten Bild 7 beziehungsweise im zweiten Bild 8 auswählbar, welche der Berechnung der Überführungsfunktion zugrunde gelegt werden sollen. Es können mit den Bedienelementen 15 auch Pixelwertebereiche vorgegeben werden, wobei zur Berechnung der Überführungsfunktion nur solche Bildbereiche verarbeitet werden, für welche die Pixelwerte innerhalb beziehungsweise außerhalb des eingestellten Pixelwertebereichs liegen.With the controls 15 are also image areas in the first image 7 or in the second picture 8th selectable which of the calculation of the transfer function should be used. It can with the controls 15 Also pixel value ranges are given, wherein only those image areas are processed for calculating the transfer function, for which the pixel values are within or outside the set pixel value range.

Bei dem Verfahren zur überlagerten Darstellung korrespondierender, in unterschiedlichen Spektralbereichen von einer Szene aufgenommenen Bilder 7, 8 ist vorgesehen, in den aufgenommenen Bildern lokale Merkmale zu extrahieren, die extrahierten Merkmale zu jeweils unterschiedlichen Bildern 7, 8 zu vergleichen und so zuzuordnen, dass eine optimale Übereinstimmung besteht, und aus den ermittelten Zuordnungen 11 eine Überführungsfunktion zu berechnen, durch welche diejenigen Bildbereiche 9, 10 der Bilder 7, 8, für welche die Zuordnungen 11 Paarungen der extrahierten Merkmale beschreiben, zur Deckung gebracht werden.In the method for the superposed representation of corresponding images recorded in different spectral regions of a scene 7 . 8th is intended to extract in the recorded images local features, the extracted features to each different images 7 . 8th to compare and allocate so that there is an optimal match, and from the mappings determined 11 to calculate a transfer function by which those image areas 9 . 10 the pictures 7 . 8th for which the assignments 11 Pairings of the extracted features describe, be brought to coincidence.

Claims (16)

Verfahren zur überlagerten Darstellung korrespondierender Bilder, wobei von einer Szene ein erstes Bild (7) in einem ersten Spektralbereich und ein zweites Bild (8) in einem zweiten Spektralbereich aufgenommen werden, wobei der erste Spektralbereich von dem zweiten Spektralbereich verschieden ist, dadurch gekennzeichnet, dass in dem ersten Bild (7) und dem zweiten Bild (8) jeweils wenigstens ein Bildbereich (9, 10) ausgewählt wird, dass zu den ausgewählten Bildbereichen (9, 10) jeweils wenigstens ein Merkmal extrahiert wird, dass die zu dem ersten Bild (7) extrahierten Merkmale mit den zu dem zweiten Bild (8) extrahierten Merkmalen verglichen werden und Paare von Merkmalen gebildet werden, wobei jedes Paar ein Merkmal zu dem ersten Bild (7) und ein Merkmal zu dem zweiten Bild (8) enthält und wobei die Paare eine Zuordnung (11) von Merkmalen des ersten Bildes (7) zu Merkmalen des zweiten Bildes (8) beschreiben, für welche in dem Merkmalsvergleich eine optimale Übereinstimmung ermittelt wurde, dass eine Überführungsfunktion zwischen dem ersten Bild (7) und dem zweiten Bild (8) berechnet wird, welche Überführungsfunktion für die gebildeten Paare die Bildbereiche (9, 10) des ersten (7) und des zweiten Bildes (8), aus denen jeweils die Merkmale extrahiert wurden, einander zuordnet, und dass die Überführungsfunktion zur überlagerten Darstellung des ersten (7) und des zweiten Bildes (8) auf das erste (7) und/oder das zweite Bild (8) angewendet wird.Method for superimposing corresponding pictures, whereby a first picture of a scene ( 7 ) in a first spectral range and a second image ( 8th ) are recorded in a second spectral range, wherein the first spectral range is different from the second spectral range, characterized in that in the first image ( 7 ) and the second image ( 8th ) at least one image area ( 9 . 10 ) is selected, that to the selected image areas ( 9 . 10 ) in each case at least one feature is extracted, that to the first image ( 7 ) extracted features with the to the second image ( 8th ) are extracted and pairs of features are formed, each pair having a feature to the first image ( 7 ) and a feature to the second image ( 8th ) and where the pairs have an association ( 11 ) of features of the first image ( 7 ) to features of the second image ( 8th ) for which an optimal match has been found in the feature comparison that a transfer function between the first image ( 7 ) and the second image ( 8th ), which transfer function for the formed pairs the image areas ( 9 . 10 ) of the first ( 7 ) and the second image ( 8th ), from each of which the features were extracted, assigned to each other, and that the transfer function for superimposed representation of the first ( 7 ) and the second image ( 8th ) on the first ( 7 ) and / or the second image ( 8th ) is applied. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als erster Spektralbereich ein infraroter Spektralbereich verwendet wird und/oder dass als zweiter Spektralbereich ein sichtbarer Spektralbereich verwendet wird.A method according to claim 1, characterized in that as the first spectral range, an infrared spectral range is used and / or that as the second spectral range, a visible spectral range is used. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für das erste Bild (7) und/oder für das zweite Bild (8) wenigstens ein Pixelwertebereich vorgegeben wird, wobei nur Bildbereiche verarbeitet und/oder in der überlagerten Darstellung überlagert dargestellt werden, für welche die Pixelwerte innerhalb und/oder außerhalb des wenigstens einen Pixelwertebereichs liegen.Method according to claim 1 or 2, characterized in that for the first image ( 7 ) and / or for the second image ( 8th ) at least one pixel value range is predetermined, wherein only image regions are processed and / or displayed superimposed in the superimposed representation for which the pixel values lie within and / or outside the at least one pixel value range. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Bildbereiche (9, 10) mit einem Merkmalsanalysealgorithmus derart ausgewählt werden, dass für die ausgewählten Bildbereiche (9, 10) jeweils wenigstens ein signifikantes Merkmal extrahierbar ist.Method according to one of claims 1 to 3, characterized in that the image areas ( 9 . 10 ) are selected with a feature analysis algorithm such that for the selected image areas ( 9 . 10 ) each at least one significant feature is extractable. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in dem ersten Bild (7) und in dem zweiten Bild (8) jeweils ein erster Bildbereich (9, 10) ausgewählt wird, dass im ersten Bildbereich (9, 10) für die Überlagerung des ersten Bildes (7) mit dem gegenüber dem ersten Bild (7) mit einer Transformation transformierten zweiten Bild (8) der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als ein erster Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass ein zweiter Bildbereich (9, 10) festgelegt wird, der von dem ersten Bildbereich (9, 10) verschieden ist, dass im zweiten Bildbereich (9, 10) für die Überlagerung des ersten Bildes (7) mit dem gegenüber dem ersten Bild (7) mit einer Transformation transformierten zweiten Bild (8) der Wert einer Gütefunktion berechnet wird, dass die Berechnung der Werte der Gütefunktion für verschiedene Parameter der Transformation wiederholt wird, dass derjenige Parameter als zweiter Parameter ausgewählt wird, für welchen die Gütefunktion einen optimalen Wert annimmt, dass in einem Interpolationsverfahren weitere Parameter für zwischen dem ersten und zweiten Bildbereich liegende weitere Bildbereiche ermittelt und diesen weiteren Bildbereichen zugeordnet werden und dass die Überlagerung des ersten Bildes (7) mit dem zweiten Bild (8) erzeugt wird, indem eine Überführungsfunktion mit den ausgewählten bzw. ermittelten, lokalen Parametern berechnet und als lokale Transformation auf das erste Bild (7) und/oder das zweite Bild (8) angewendet wird.Method according to one of claims 1 to 4, characterized in that in the first image ( 7 ) and in the second picture ( 8th ) a first image area ( 9 . 10 ) is selected, that in the first image area ( 9 . 10 ) for the overlay of the first image ( 7 ) with the opposite of the first picture ( 7 ) transformed with a transformation second image ( 8th ) the value of a merit function is calculated such that the calculation of the values of the merit function is repeated for different parameters of the transformation, that the parameter is selected as a first parameter for which the merit function assumes an optimal value that a second image area ( 9 . 10 ) defined by the first image area ( 9 . 10 ) is different, that in the second image area ( 9 . 10 ) for the overlay of the first image ( 7 ) with the opposite of the first picture ( 7 ) transformed with a transformation second image ( 8th ) the value of a merit function is calculated such that the calculation of the values of the merit function is repeated for different parameters of the transformation, that the parameter is selected as a second parameter for which the merit function assumes an optimal value, that in an interpolation method further parameters for between the determined first and second image area lying more image areas and these are assigned to other image areas and that the superposition of the first image ( 7 ) with the second image ( 8th ) is calculated by calculating a transfer function with the selected or determined, local parameters and as a local transformation to the first image ( 7 ) and / or the second image ( 8th ) is applied. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass an Stützstellen des Interpolationsverfahrens als Überführungsfunktion eine Homographie evaluiert wird und/oder dass als Transformationen jeweils lokale Verschiebungstransformationen ausgeführt werden, insbesondere wobei als Parameter jeweils Verschiebungsvektoren verwendet werden.Method according to one of claims 1 to 5, characterized in that at nodes of the interpolation method as a transfer function homography is evaluated and / or that each local displacement transformations are performed as transformations, in particular wherein as parameters each shift vectors are used. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die weiteren Bildbereiche als jeweils ein Bildpunkt (16) ausgewählt werden und/oder dass im ersten Bildbereich (9, 10) und/oder im zweiten Bildbereich (9, 10) weitere Bildbereiche für das Interpolationsverfahren ausgewählt werden.Method according to one of claims 1 to 6, characterized in that the further image areas as each one pixel ( 16 ) and / or that in the first image area ( 9 . 10 ) and / or in the second image area ( 9 . 10 ) further image areas are selected for the interpolation process. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass im Interpolationsverfahren ein Parameter- oder Verschiebungsvektorfeld ermittelt wird.Method according to one of Claims 1 to 7, characterized in that a parameter or displacement vector field is determined in the interpolation method. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das erste Bild (7) und das zweite Bild (8) gleichzeitig aufgenommen werden und/oder dass der erste Bildbereich (9, 10) und/oder der zweite Bildbereich (9, 10) nach Aufnahme des ersten Bildes (7) und/oder des zweiten Bildes (8) festgelegt werden.Method according to one of claims 1 to 8, characterized in that the first image ( 7 ) and the second image ( 8th ) and / or that the first image area ( 9 . 10 ) and / or the second image area ( 9 . 10 ) after taking the first picture ( 7 ) and / or the second image ( 8th ) be determined. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der erste Bildbereich (7) und/oder der zweite Bildbereich (8) mit einem hinterlegten Auswahlalgorithmus automatisch festgelegt werden und/oder dass während der Ausführung des Auswahlalgorithmus ein Merkmalserkennungsalgorithmus an dem ersten Bild (7) und/oder dem zweiten Bild (8) durchgeführt wird.Method according to one of claims 1 to 9, characterized in that the first image area ( 7 ) and / or the second image area ( 8th ) are automatically set with a stored selection algorithm and / or that during the execution of the selection algorithm a feature recognition algorithm on the first image ( 7 ) and / or the second image ( 8th ) is carried out. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass bei der Berechnung der Werte der Gütefunktionen für die Überlagerungen im ersten Bildbereich (9, 10) und die Überlagerungen im zweiten Bildbereich (9, 10) dieselbe Gütefunktion verwendet wird und/oder dass beim Interpolationsverfahren ein Spline-Algorithmus, insbesondere ein thin plate spline-Algorithmus, verwendet wird.Method according to one of claims 1 to 10, characterized in that in the calculation of the values of the quality functions for the overlays in the first image area ( 9 . 10 ) and the overlays in the second image area ( 9 . 10 ) the same quality function is used and / or that in the interpolation method a spline algorithm, in particular a thin plate spline algorithm, is used. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass eine vorzugsweise gitterförmige Unterteilung (12) des ersten (7) und/oder zweiten Bildes (8) in Bildbereiche (9, 10) verwendet wird, wobei für jeden Bildbereich (9, 10) der Unterteilung ein zu einem optimalen Wert einer Gütefunktion zugeordneter Verschiebungsvektor ausgewählt wird.Method according to one of claims 1 to 11, characterized in that a preferably grid-shaped subdivision ( 12 ) of the first ( 7 ) and / or second image ( 8th ) in image areas ( 9 . 10 ) is used, wherein for each image area ( 9 . 10 ) of the subdivision a shift vector associated with an optimum value of a merit function is selected. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass zur Berechnung der Werte der Gütefunktion in einem Bildbereich (9, 10) nur parallel zu einer Vorzugsrichtung, insbesondere parallel zu einer Epipolarlinie, ausgerichtete Verschiebungsvektoren verwendet werden und/oder dass während des Interpolationsverfahrens Verschiebungsvektoren mit beliebiger Ausrichtung zugelassen werden.Method according to one of claims 1 to 12, characterized in that for calculating the values of the quality function in an image area ( 9 . 10 ) only parallel to a preferred direction, in particular parallel to an epipolar line, aligned displacement vectors are used and / or that during the interpolation process shift vectors are allowed with any orientation. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Überlagerung mit einem vorzugsweise variablen alpha-Wert erzeugt wird und/oder dass die Überlagerung mit einer vorzugsweise variablen Falschfarbendarstellung erzeugt wird.Method according to one of claims 1 to 13, characterized in that the overlay is generated with a preferably variable alpha value and / or that the overlay is generated with a preferably variable false color representation. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass für die Berechnung der Werte der Gütefunktion eine Energiefunktion ausgewertet wird.Method according to one of claims 1 to 14, characterized in that an energy function is evaluated for the calculation of the values of the quality function. Bildaufnahmevorrichtung (1) mit einer ersten Aufnahmeeinrichtung (2), die zur Aufnahme eines ersten Bildes (7) in einem ersten Spektralbereich ausgebildet ist, und einer zweiten Aufnahmeeinrichtung (3), die zur Aufnahme eines zweiten Bildes (8) in einem zweiten Spektralbereich ausgebildet ist, wobei der erste Spektralbereich verschieden von dem zweiten Spektralbereich ist, dadurch gekennzeichnet, dass ein Datenverarbeitungsmittel (5) ausgebildet ist, welches zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 15 eingerichtet ist.Image pickup device ( 1 ) with a first receiving device ( 2 ) used to take a first image ( 7 ) is formed in a first spectral range, and a second receiving device ( 3 ) used to take a second image ( 8th ) is formed in a second spectral range, wherein the first spectral range is different from the second spectral range, characterized in that a data processing means ( 5 ), which is set up to carry out a method according to one of claims 1 to 15.
DE102010005265A 2010-01-20 2010-01-20 Method for overlay representing images form e.g. thermal image camera, involves computing transfer function between images and applying transfer function for overlay representing images, and evaluating energy function by computation values Ceased DE102010005265A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010005265A DE102010005265A1 (en) 2010-01-20 2010-01-20 Method for overlay representing images form e.g. thermal image camera, involves computing transfer function between images and applying transfer function for overlay representing images, and evaluating energy function by computation values

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010005265A DE102010005265A1 (en) 2010-01-20 2010-01-20 Method for overlay representing images form e.g. thermal image camera, involves computing transfer function between images and applying transfer function for overlay representing images, and evaluating energy function by computation values

Publications (1)

Publication Number Publication Date
DE102010005265A1 true DE102010005265A1 (en) 2011-07-21

Family

ID=44314014

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010005265A Ceased DE102010005265A1 (en) 2010-01-20 2010-01-20 Method for overlay representing images form e.g. thermal image camera, involves computing transfer function between images and applying transfer function for overlay representing images, and evaluating energy function by computation values

Country Status (1)

Country Link
DE (1) DE102010005265A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013123951A1 (en) * 2012-02-21 2013-08-29 Testo Ag Measuring method and measuring device for producing a 3d spatially resolved measurement result in a nonvisible spectral range
CN113226007A (en) * 2018-12-03 2021-08-06 迈卡赛斯公司 Image sensor and thermal imager device and systems and methods thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111988A (en) * 1994-07-01 2000-08-29 Commonwealth Scientific And Industrial Research Organisation Fractal representation of data
US20020054699A1 (en) * 2000-09-26 2002-05-09 Peter Roesch Device and method of computing a transformation linking two images
US20050238253A1 (en) * 2002-11-29 2005-10-27 Mirada Solutions Limited British Body Corporate Image registration
US20060041375A1 (en) * 2004-08-19 2006-02-23 Geographic Data Technology, Inc. Automated georeferencing of digitized map images
US20070003165A1 (en) * 2005-06-20 2007-01-04 Mitsubishi Denki Kabushiki Kaisha Robust image registration
US20080232715A1 (en) * 2005-06-08 2008-09-25 Fujitsu Limited Image processing apparatus
US20090169102A1 (en) * 2007-11-29 2009-07-02 Chao Zhang Multi-scale multi-camera adaptive fusion with contrast normalization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111988A (en) * 1994-07-01 2000-08-29 Commonwealth Scientific And Industrial Research Organisation Fractal representation of data
US20020054699A1 (en) * 2000-09-26 2002-05-09 Peter Roesch Device and method of computing a transformation linking two images
US20050238253A1 (en) * 2002-11-29 2005-10-27 Mirada Solutions Limited British Body Corporate Image registration
US20060041375A1 (en) * 2004-08-19 2006-02-23 Geographic Data Technology, Inc. Automated georeferencing of digitized map images
US20080232715A1 (en) * 2005-06-08 2008-09-25 Fujitsu Limited Image processing apparatus
US20070003165A1 (en) * 2005-06-20 2007-01-04 Mitsubishi Denki Kabushiki Kaisha Robust image registration
US20090169102A1 (en) * 2007-11-29 2009-07-02 Chao Zhang Multi-scale multi-camera adaptive fusion with contrast normalization

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FLIR Systems: FLIR B365 Infrarotkamera. Firmenschrift, FLIR Systems, T559335{de-DE}_A. Danderyd, Schweden: FLIR, 2009 *
PARK, Changhan, et.al.: Image Fusion in Infrared Image and Visual Image Using Normalized Mutual Information. Proc. of SPIE, Vol.6968 (2008), pp.69681Q-1 - 69681Q-9 *
SHENG,Yunlong, et.al.: Real-World Multisensor Image Alignment using Edge Focusing and Hausdorff Distances. Proc. of SPIE, Vol.3719 (1999), pp.173-184 *
SMITH, Moira I., HEATHER, Jamie P.: Review of Image Fusion Technology in 2005. Proc. of SPIE, Vol.5782 (2005), pp.29-45 *
YANG, Xiangjie, et.al.: Robust Multisensor Image Registration with Partial Distance Merits. 3rd Internat. Conf. on Information Fusion, 2000, FUSION 2000, 10-13 July 2000. Conf. Proc., Vol.1, pp. MoD3-23 - MoD3-29 *
ZHANG, Evan, ZHANG, James S., et.al.: Pixel by Pixel VIS/NIR and LIR Sensor Fusion System. Proc. of SPIE, Vol.4820 (2003), pp. 535-549 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013123951A1 (en) * 2012-02-21 2013-08-29 Testo Ag Measuring method and measuring device for producing a 3d spatially resolved measurement result in a nonvisible spectral range
CN113226007A (en) * 2018-12-03 2021-08-06 迈卡赛斯公司 Image sensor and thermal imager device and systems and methods thereof

Similar Documents

Publication Publication Date Title
DE102006036933B4 (en) Method for generating an overall image from overlapping individual images
DE69531583T2 (en) Image processing method and device
EP2430837A1 (en) Image processing method for determining depth information from at least two input images recorded using a stereo camera system
DE112011103452T5 (en) Method for matching pixels of a distance representation
DE112017006107T5 (en) Digital correction of optical system aberrations
DE102011006272A1 (en) Image processing apparatus and method of controlling the same
DE102016112968B4 (en) Determination of color values for pixels at intermediate positions
DE102010048022A1 (en) Method for the contactless determination of the temperature of an object and corresponding thermal imaging camera
EP2791896B1 (en) Method for generating super-resolution images having improved image resolution and measuring device
DE112010002677T5 (en) METHOD AND DEVICE FOR DETERMINING FORM CONFORMITY IN THREE DIMENSIONS
DE102016123149A1 (en) IMAGE-DATA-BASED RECONSTRUCTION OF THREE-DIMENSIONAL SURFACES
DE102010005265A1 (en) Method for overlay representing images form e.g. thermal image camera, involves computing transfer function between images and applying transfer function for overlay representing images, and evaluating energy function by computation values
DE102018123402A1 (en) IMAGE FOG CORRECTION DEVICE AND CONTROL PROCEDURE
AT520426B1 (en) Method for calibrating an image acquisition unit
EP3089105A1 (en) Method for generating a contrast image of an object quality and related devices
EP3465608B1 (en) Method and device for determining a transfer between two display images, and vehicle
DE102010005266B4 (en) Method for superimposing corresponding images and image recording device
DE112019002126T5 (en) POSITION ESTIMATE DEVICE, POSITION ESTIMATE METHOD AND PROGRAM FOR IT
DE102011106810B4 (en) Thermal imaging camera and method for image analysis and / or image processing of an IR image with a thermal imaging camera
DE102012025463A1 (en) Method for determining e.g. pitch angle change of passenger car to determine proper motion of car in six different degrees of freedom, involves determining parameter based on pair of image features and associated image features of images
EP2942752B1 (en) Method for determining the distance of an imaged object
AT509025B1 (en) METHOD FOR DETERMINING THE POSITIONS OF PASSPORTS
DE112015005753T5 (en) Image processing system and apparatus thereof
DE102021131134A1 (en) Stereoscopic imaging method and stereoscopic imaging device
DE19934904C2 (en) Method and device for image assignment

Legal Events

Date Code Title Description
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final