DE69922129T2

DE69922129T2 - Farbbildverarbeitungssystem

Info

Publication number: DE69922129T2
Application number: DE69922129T
Authority: DE
Inventors: David S. Taubman
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 1998-10-23
Filing date: 1999-09-30
Publication date: 2005-11-24
Anticipated expiration: 2019-10-01
Also published as: US7030917B2; EP0996293B1; EP0996293A3; EP0996293A2; US20030197796A1; JP2000134634A; DE69922129D1; JP4328424B2

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Betreiben eines Datenverarbeitungssystems, z. B. von Digitalkameras, und zum Umwandeln von Daten von einem Kamerasensor zu einem Farbbild.
Ein digitales Farbbild besteht üblicherweise aus einem Array aus Pixelwerten, die die Intensität des Bildes an jedem Punkt eines regelmäßigen Gitters darstellen. Üblicherweise werden drei Farben verwendet, um das Bild zu erzeugen. An jedem Punkt des Gitters wird die Intensität von jeder dieser Farben spezifiziert, wodurch sowohl die Intensität als auch die Farbe des Bildes an diesem Gitterpunkt spezifiziert wird.
Die herkömmliche Farbphotographie zeichnet die relevanten Bilddaten auf, durch Verwenden von drei überlappenden Farberfassungsschichten mit Empfindlichkeiten in unterschiedlichen Regionen des Spektrums (üblicherweise Rot, Grün und Blau). Digitalkameras verwenden im Gegensatz dazu üblicherweise ein Array aus Sensoren in einer einzelnen „Schicht".
Wenn nur ein Sensorarray verwendet wird, um Farbbilder zu erfassen, kann nur eine Farbe an einer gegebenen Sensorposition erfasst werden. Als ein Ergebnis erzeugen diese Sensoren kein Farbbild im herkömmlichen Sinn, sondern eher eine Sammlung von individuellen Farbabtastwerten, die von der Zuordnung von Farbfiltern zu individuellen Sensoren abhängen. Diese Zuordnung wird als das Farbfilterarray (CFA; CFA = color filter array) oder das Farbmosaikmuster bezeichnet. Um ein Echtfarbbild zu erzeugen, mit einem vollen Satz von Farbabtastwerten (üblicherweise Rot, Grün und Blau) an jeder Abtastposition, ist ein wesentlicher Rechenaufwand erforderlich, um die fehlenden Informationen zu schätzen, da nur eine einzelne Farbe ursprünglich an jeder Position in dem Array erfasst wurde. Diese Operation wird üblicherweise als „Mosaikentfernung" bezeichnet.
Um die fehlenden Informationen zu erzeugen, müssen Informationen aus benachbarten Pixeln in dem Bildsensor verwendet werden. Eine Anzahl von Algorithmen wurde bei einem Versuch eingesetzt, die fehlenden Informationen zu liefern, während Minimierungsartefakte aus dem Schätzprozess resultieren. Die einfachsten Algorithmen interpolieren die Sensordaten aus gleichen Farbsensoren, um die fehlenden Informationen zu liefern. Diese Algorithmen behandeln die Rotsensoren unabhängig von den Grünsensoren, usw. Um einen Rotwert an einer gegebenen Position zu liefern, werden die Werte, die durch die Rotsensoren in der Region dieser Position gemessen werden, interpoliert. Dieser Lösungsansatz erfordert, dass das Bild tiefpassgefiltert wird. Ein solches Filtern reduziert die Bildauflösung unter die Pixelauflösung des zugrundeliegenden Sensorarrays. Diese verlorene Auflösung kann nicht wiedergewonnen werden.
Um diesen Verlust bei der Auflösung zu vermeiden, wird ein weniger aggressives optisches Tiefpassfilter bei einigen weiter entwickelten Kameras verwendet. Bei solchen Systemen können die Farbsensoren jedoch nicht mehr als unabhängig behandelt werden. Zum Beispiel beschreiben Wober u. a. (U.S.-Patent 5,475,769) ein Verfahren zum Erzeugen der fehlenden Farbinformationen durch Berechnen eines gewichteten Durchschnitts der Pixelwerte in der Nachbarschaft der Pixel, deren fehlende Farbinformationen berechnet werden. Dieses Verfahren gewichtet Werte aus allen Farbsensoren, nicht nur der Farbe, die wiederhergestellt wird. Sogar dieser Lösungsansatz lässt jedoch viele Wünsche offen, da er einen Satz von Gewichten für alle Bilder verwendet.
Ein einzelnes Pixelarray kann derart betrachtet werden, dass es aus einer Anzahl von separaten Pixelebenen besteht, wobei jede der Ebene Sensoren für dieselbe Farbe aufweist. Da die Pixel sich nicht überlagern, sind die Sensoren in den verschiedenen Ebenen an unterschiedlichen Positionen. Systeme, die gewichtete Mittel über mehr als eine Ebene nehmen, verwenden die statistischen Abhängigkeiten zwischen diesen Abtastpositionen. Tatsächlich ermöglicht das Verwischen eines Bildes durch die Kameraoptik, dass eine Bildkante, die auf eine Farbebene präzise auf die Sensoren dieser Ebene fällt, ebenfalls in den anderen Farbebenen sichtbar wird, da das Bild durch Verwischen auf die Sensoren in der anderen Farbebene ausgebreitet wird. Da die statistischen Abhängigkeiten zwischen den verschiedenen Farbebenen von der Menge des Verweischens abhängt, das durch die Kameraoptik eingebracht wird, muss ein optimaler Algorithmus die physischen Kameraeinstellungen berücksichtigen. Entsprechend liefert ein einzelner Satz von Gewichtungsfunktionen keine optimale Schätzung der fehlenden Informationen.
Die statistischen Abhängigkeiten hängen ebenfalls von der Beleuchtung ab. Unterschiedliche Beleuchtungsquellen weisen unterschiedliche Spektren auf. Die Pixelfilter haben breite Durchlassbänder, die an der roten, grünen und blauen Wellenlänge zentriert sind. In Abwesenheit eines Bildverwischens wird das Ansprechverhalten eines gegebenen Pixels bestimmt durch sein Farbfilter, das Reflexionsvermögen des entsprechenden Punkts in der Szene, der photographiert wird, und das Lichtspektrum, das an diesem Punkt aus der Beleuchtungsquelle einfällt. Das Verwischen, das durch die Kameraoptik geliefert wird, vermischt das Licht zwischen den Pixeln. Somit hängen die statistischen Abhängigkeiten im Allgemeinen sowohl von der Beleuchtungsquelle als auch der Kameraoptik ab. Bekannte Verfahren zum Umwandeln der Pixelarraydaten in ein vollständig abgetastetes digitales Farbbild berücksichtigen die Beleuchtungsquelle nicht.
Die vorliegende Erfindung schafft eine verbesserte Datenverarbeitung.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Betreiben eines Datenverarbeitungssystems gemäß Anspruch 1 geschaffen.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ferner ein Datenverarbeitungssystem gemäß Anspruch 8 geschaffen.
Das bevorzugte Ausführungsbeispiel kann ein verbessertes Bildverarbeitungsverfahren zum Umwandeln von Daten aus einem Pixelarray, das nichtüberlappende Sensoren aufweist, in ein vollständig abgetastetes digitales Bild liefern, und kann ein Umwandlungsverfahren liefern, das das optische System und/oder die Beleuchtungsquelle der Kamera korrigiert.
Das bevorzugte Ausführungsbeispiel schafft ein Verfahren zum Betreiben eines Datenverarbeitungssystems, um ein zweites Bild aus einem ersten Bild zu erzeugen. Das erste Bild umfasst ein zweidimensionales Array aus Pixelwerten, wobei jeder Pixelwert der Lichtintensität in einem einer Mehrzahl von Spektralbändern an einem Ort des ersten Bildes entspricht. Das Verfahren verwendet eine lineare Transformation eines Vektors, der aus Supereingangspixeln hergeleitet wird, um einen Vektor zu erhalten, der zumindest ein Superaungangspixel umfasst. Die Supereingangspixel werden definiert durch Trennen der Pixel des ersten Bildes in eine Mehrzahl von Eingangsbildebenen. Jede Eingangsbildebene weist eine identische Anzahl von Pixeln innerhalb einem normierten horizontalen und vertikalen Abtastintervall auf wie die anderen Eingangsbildebenen. Alle Pixel in einer gegebenen Eingangsbildebene entsprechen demselben Spektralband wie die anderen Pixel in dieser Eingangsbildebene. Jedes Supereingangspixel ist ein Abmessungsvektor P, wobei P die Anzahl der Eingangsbildebenen ist, wobei jede Komponente dieses Vektors ein Eingangspixel aus einer entsprechenden Eingangsbildebene ist. Auf ähnliche Weise ist ein Satz von Aungangsbildebenen definiert, wobei jedes Pixel in einer gegebenen Ausgangsbildebene die Intensität des zweiten Bildes in einem einer Mehrzahl von Spektralbändern an einem entsprechenden Punkt in dem zweiten Bild darstellt. Jedes Superausgangspixel ist ein Abmessungsvektor Q, wobei Q die Anzahl der Ausgangsbildebenen ist, wobei jede Komponente dieses Vektors ein Pixel aus einer entsprechenden Ausgangsbildebene ist. Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung hängt die lineare Transformation von den Eigenschaften des optischen Systems und der Beleuchtungsquelle ab, die verwendet wird, um das erste Bild zu erzeugen. Die lineare Transformation kann ferner variiert werden, um die Inhalte der Szene, die in dem ersten Bild erfasst ist, und das gewünschte Ausgangsformat des zweiten Bildes zu berücksichtigen.
Ein Ausführungsbeispiel der vorliegenden Erfindung wird nachfolgend ausschließlich beispielhaft Bezug nehmend auf die beiliegenden Zeichnungen beschrieben, in denen:
1 die Trennung eines Bildes darstellt, das mit einem Bildsensor gemacht wurde, der ein Wiederholungs-2x2-Muster in die Bildebenen aufweist.
2 einen Abschnitt eines Sensorarrays und die Eingangspixel in dem Sensorarray darstellt, die zu einem bestimmten Zwischeneingangsvektor beitragen.
3 einen Abschnitt eines Ausgangs-RGB- (Rot, Grün, Blau) Bildes und die Pixel in dem RGB-Ausgangsbild darstellt, die dem Zwischenausgangsvektor entsprechen, der in 2 gezeigt ist.
Das bevorzugte Verfahren kann an eine beliebige Farbabtastvorrichtung angewendet werden, die ihre Abtastwerte aus einem Sensorarray erhält, das in eine Mehrzahl von Bildebenen zersetzt werden kann, die zwei Bedingungen erfüllen. Erstens muss jede Bildebene eine identische Anzahl von Abtastwerten in einem normierten horizontalen und vertikalen Abtastintervall aufweisen; die verschiedenen Bildebenen können jedoch beliebig relativ zueinander versetzt sein. Zweitens müssen alle Abtastwerte in einer gegebenen Bildebene identische Farbeigenschaften aufweisen; mehrere Bildebenen können jedoch dieselben Farbeigenschaften aufweisen.
Diese Bedingungen werden durch jeden Bildsensor erfüllt, der ein Sensormuster aufweist, das aufgebaut ist, durch Wiederholen eines Betriebssystemkerns aus Erfassungselementen. Zum Beispiel basiert ein allgemeines Bildsensorarray auf dem Bayer-Muster, das erzeugt wurde durch Wiederholen eines 2x2-Sensorarraybetriebssystemkerns mit zwei grünen Sensoren, einem roten Sensor und einem blauen Sensor. Dieses Muster ist in 1 bei 10 gezeigt. Der Betriebssystemkern ist bei 12 gezeigt. Ein solcher Bildsensor kann derart betrachtet werden, dass er vier Ebenen aufweist, gezeigt bei 14 – 17, zwei Grünebenen 14 und 17, eine Rotebene 16 und eine Blauebene 15. Das Abtastintervall ist der Bereich, der ursprünglich durch den Betriebssystemkern belegt wird. Jede dieser Ebenen ist versetzt im Hinblick auf die anderen Ebenen. Es kann gezeigt werden, dass jedes regelmäßige Abtastgitter in einen Satz von Bildebenen zersetzt werden kann, die die obigen Bedingungen erfüllen.
Um die nachfolgende Erörterung zu vereinfachen, wird eine Vektorschreibweise verwendet. Vektoren und Matrizen werden fettgedruckt gezeigt, um sie von skalaren Größen zu unterscheiden. Die gemessenen Intensitätswerte in jeder Bildebene werden bezeichnet durch x_P[n₁, n₂]. Hier sind n₁ und n₂ Indizes, die die Position des Pixels in der p-ten Bildebene bezeichnen, und x_P ist der Intensitätswert, der für dieses Pixel gemessen wird. Die Größe [n₁, n₂] ist ein zweidimensionaler ganzzahliger Vektor, der durch n bezeichnet wird. Der gesamte Satz von Bildebenen kann dargestellt werden als ein Satz von Vektoren x[n], wobei
Das Ausgangsbild kann auf ähnliche Weise dargestellt werden als ein Satz von Vektoren, definiert auf einem unterschiedlichen Satz von Bildebenen. Üblicherweise ist das Ziel des Mosaikbeseitigungsalgorithmus das Erzeugen eines Satzes von regelmäßig beabstandeten Pixeln in drei Farbebenen (Rot, Grün und Blau). Die Intensität in der i-ten Farbebene sei bezeichnet durch y_i[n₁, n₂]. Dann können die Ausgangspixel ebenfalls durch einen Satz von Vektoren dargestellt sein.
In dem Mosaikbeseitigungsfall ist Q üblicherweise 3; es können jedoch unterschiedliche Q-Werte verwendet werden. Zum Beispiel könnte ein Bild, das auf einem Farbdrucker unter Verwendung von vier Farben gedruckt werden soll, direkt durch das Verfahren der vorliegenden Erfindung erzeugt werden, unter Verwendung einer Darstellung, in der Q = 4.
Im Allgemeinen weist das Ausgangsbild eine räumliche Auflösung auf, die sich von dem Eingangsbild unterscheidet. Das Eingangsbild kann derart betrachtet werden, dass es aus einem Satz von „Superpixeln" besteht, x[n]. Auf ähnliche Weise ist das Ausgangsbild ein Satz aus Pixeln y[m]. Die Anzahl von Ausgangspixeln in der vertikalen und horizontalen Richtung, die jedem Eingangspixel entsprechen, werden durch λ₁ bzw. λ₂ bezeichnet. In dem Fall des Bayer-Musters, das oben erörtert wurde, wird die Mosaikbeseitigungsaufgabe üblicherweise derart betrachtet, dass λ₁ = λ₂ = 2. Das heißt, man versucht, ein Ausgangs- (RGB-) Pixel für jeden physischen Sensor in dem Eingangsarray aufzubauen.
Die Ausgangspixel beziehen sich auf die Eingangspixel durch einen linearen Operator, der an den Vektoren operiert, die aus x[n] und y[m] hergeleitet werden. Diese Zwischenvektoren berücksichtigen die Auflösungsdifferenz und die Tatsache, dass jedes Ausgangspixel von mehr als einem Eingangssuperpixel abhängt. Der Zwischenvektor, der y[m] entspricht, wird bezeichnet durch ζ[n] und weist dieselbe Abtastdichte auf wie x[n]:
Hier ist die Matrix Λ definiert durch
In dem Fall des Bayer-Musters gilt δ₁ = [0, 0], δ₁ = [½, 0], δ₁ = [0, ½] und δ₁ = [½, ½]. Die Vektoren ζ[n] werden in der nachfolgenden Erörterung als die Ausgangsmehrphasenkomponenten bezeichnet.
Bei dem bevorzugten Verfahren sei angenommen, dass jeder Mehrphasenausgangsvektor von einer finiten Anzahl von Eingangssuperpixeln abhängt. Im Allgemeinen sind die Eingangssuperpixel, die zu einem bestimmten Mehrphasenausgangsvektor ζ[n] beitragen, in einer Nachbarschaft um [n] positioniert. Wie nachfolgend detaillierter erklärt wird, hängen die präzisen Pixel von dem Wesen der Kamera und der Bilderzeugungsoptik ab. Die Eingangssuperpixel, die zu dem Mehrphasenausgangsvektor bei n beitragen, können durch einen Satz von Verschiebungsvektoren k₁, k₂, ..., k_K identifiziert werden. Das heißt, ζ[n] hängt ab von x[n + k₁], x[n + k₂], ..., x[n + k_K]. Bei dem bevorzugten Verfahren sei angenommen, dass ζ[n] linear abhängig von den Eingangssuperpixeln ist. Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist der Satz von Verschiebungsvektoren k₁, k₂, ..., k_K unabhängig von n und ist in einem rechteckigen Gitter k₁ × k₂ angeordnet.
Die lineare Beziehung kann ohne weiteres im Hinblick auf einen Vektor ξ[n] definiert werden, der alle Superpixel umfasst, von denen der Ausgangsmehrphasenvektor ζ[n] abhängt, d. h.
Im Hinblick auf diesen Vektor kann die Beziehung zwischen ζ[n] und ξ[n] als eine Matrixmultiplikation geschrieben werden: ζ [n] = Tξ[n] (6)wobei T eine Matrix (Qλ₁λ₂) × (PK₁K₂) ist.
Es wird nun Bezug auf 2 und 3 genommen, die die Beziehungen zwischen den Ausgangspixeln Y_j[N, M], den Eingangspixeln x_i[N, M] und den zwei Zwischenvektoren bestimmen, die oben für das Bayer-Sensormuster definiert sind. 2 stellt einen Abschnitt des Sensorarrays und der Eingangspixel in dem Sensorarray dar, die zu ξ[N, M] beitragen. 3 stellt einen Abschnitt eines Ausgangs-RGB-Bildes und die Pixel in dem RGB-Ausgangsbild dar, die ζ[N, M] entsprechen, und die aus den Pixel berechnet werden, gezeigt in 2, durch die Matrixmultiplikationsoperation, gezeigt in Gleichung (6).
Die Matrix, T, hängt von einer Anzahl von Faktoren ab. Einige derselben sind für eine bestimmte Bilderzeugungsvorrichtung fest und einige hängen von der bestimmten Art und Weise ab, auf die die Bilderzeugungsvorrichtung verwendet wird. Zum Beispiel variieren die physischen Eigenschaften des Erfassungsarrays, wie z. B. die spektrale Empfindlichkeit der Pixel, das Mosaikmuster und die Anzahl von Pixeln, üblicherweise nicht von Bild zu Bild. Im Gegensatz dazu können die optischen Eigenschaften der Bilderzeugungsvorrichtung, wie z. B. die Linseneinstellungen an einer Kamera (Blendenwert und Zoom) von Bild zu Bild variieren. Zusätzlich dazu können die spektralen Eigenschaften der Beleuchtungsquelle von Bild zu Bild variieren (Tageslicht, Blitz, weißes Licht etc.).
Zusätzlich dazu kann die Statistiken des Bildes, das erfasst wird, durch T berücksichtigt werden. Zum Beispiel können Bilder oder Abschnitte von Bildern mit einem hohen Gehalt von vertikalen und horizontalen Kanten mit einer unterschiedlichen Matrix verarbeitet werden als Bilder, denen solche Merkmale fehlen, und dadurch kann die Ausgangsbildqualität verbessert werden.
Bei Kameras, die ein variables Ausgangsformat aufweisen, kann die Auflösung des Endbildes unter Verwendung einer unterschiedlichen T-Matrix eingestellt werden. Alternativ kann eine einzelne T-Matrix für alle Auflösungen verwendet werden, und dann kann das gewünschte Ausgangsbild durch erneutes Abtasten des Festauflösungsbildes bestimmt werden. Auf ähnliche Weise kann die Anzahl von Ausgangsfarbebenen durch Verwenden unterschiedlicher T-Matrizen geändert werden, oder durch erneutes Abtasten eines einzelnen Farbformats, um eine alternative Farbdarstellung zu erzeugen. Im Allgemeinen werden die Eigenschaften, die die Abmessung der T-Matrix ändern, vorzugsweise unter Verwendung einer festen T-Matrix und dann erneutes Abtasten des abschließenden Bildes in kostengünstigen Bilderzeugungsvorrichtungen gehandhabt.
Wenn die Anzahl von unterschiedlichen T-Matrizen relativ gering ist, können die Koeffizienten der T-Matrix bestimmt werden, durch Trainieren des Systems an bekannten Bildern. Für jede mögliche T-Matrix werden Bilder einer Anzahl von bekannten Szenen gemacht, unter Verwendung der Bilderzeugungsvorrichtung. Die Koeffizienten der T-Matrix werden dann berechnet, um die Differenz zwischen dem Bild, das aus der Sensoreingabe berechnet wird, und den Bildern bekannter Szenen zu minimieren. Solche Optimierungsberechnungen sind Fachleuten auf dem Gebiet bekannt und werden somit hierin nicht detailliert erörtert.
Wenn die Abweichung bei einem Parameter, wie z. B. dem Blendenwert, relativ glatt ist, müssen die T-Matrizen nur für eine bestimmte Anzahl von Werten des Parameters berechnet werden. Die korrekte T-Matrix für die nichtberechneten variablen Parameterwerte kann dann durch Interpolation der berechneten T-Matrizen berechnet werden.
Modellbasierte Berechnung von T
Wie vorangehend erwähnt wurde, kann es in manchen Umständen möglich sein, geeignete Matrizen, T, aus Trainingsbildern zu berechnen. Leider ist dieser Lösungsansatz beschränkt auf Anwendungen, in denen die Anzahl von unterschiedlichen Bilderzeugungsbedingungen und somit die Anzahl von unterschiedlichen T-Matrizen, die erforderlich sein könnten, relativ gering ist. Der Zweck des hierin vorgelegten Materials ist das Beschreiben eines Verfahrens zum direkten Berechnen von T für eine beliebige Bilderzeugungsvorrichtung (d. h. beliebige Farbempfindlichkeiten, Sensorpositionen und optische Charakteristika) und unter beliebiger Beleuchtung, gemäß einem bestimmten statistischen Modell für das zugrundeliegende Bild, das offensichtlich eine besonders gute rekonstruierte Bildqualität ergibt. Wie ersichtlich ist, wird das statistische Bildmodell nur durch wenige Parameter bestimmt. Bei fortschrittlicheren Anwendungen können diese Parameter eingestellt werden, entweder lokal oder global, um mit den statistischen Eigenschaften des Bildes übereinzustimmen, wie z. B. der Kantenausrichtung, die durch verschiedene Verfahren geschätzt werden kann.
Bilderzeugungsmodell
Dieser Abschnitt beschreibt die Parameter des Bilderzeugungsprozesses, der die Originalszene in die Quellbild-Superpixel, x[n], abbildet. Das Bilderzeugungsmodell hängt von deterministischen Beträgen ab, die zumindest in der Theorie gemessen werden können. Diese Beträge sind

– die Szenenbeleuchtungs-Spektralleistungsdichte, l(λ);
– die Farbspektral-Ansprechfunktionen, r_P(λ), für jede Eingangsbildebene, p;
– die Punktverwaschungsfunktion, h_P(λ,s), die den kombinierten Wirkungen der optischen Übertragungsfunktion und dem Sensorintegrationsverhalten für die Eingangsbildebene p zugeordnet ist. Hier ist s = [s₁, s₂] das räumlich kontinuierliche Argument der Punktverwaschungsfunktion (PSF; PSF = Point Spread Function) bei jeder Wellenlänge, λ. Es wird darauf hingewiesen, dass die PSFs implizit die Wirkung der relativen Verschiebungen zwischen den unterschiedlichen Eingangsbildebenen umfassen. Nachfolgend wird die PSF nur durch ihre Fourier-Transformation bezeichnet, h ^_P(λω), wobei der räumliche Frequenzvektor, ω = [ω₁, ω₂], derart normiert ist, dass ω₁ = ω₂ = π bei der Nyquist-Frequenz der Eingangssuperpixel. Somit entspricht die Nyquist-Frequenz des Originalsensorarrays ω = [λ₁π,λ₂π].

Anstatt den Bilderzeugungsprozess direkt im Hinblick auf die gewünschten Ausgangsbildsuperpixel zu modellieren ist es hilfreich, eine Zwischendarstellung im Hinblick auf Oberflächenspektralreflexionsvermögen auszuwählen, da sich dies bekannterweise von einer statistischen Perspektive besser verhält als die Szenenstrahlung selbst und somit für die statistische Modellierung besser zugänglich ist, die im nächsten Abschnitt beschrieben wird. Genauer gesagt ist es hilfreich anzunehmen, dass das Spektralreflexionsvermögen der Originalszene perfekt als eine lineare Kombination einer begrenzten Anzahl von festen Basisfunktionen dargestellt werden kann, b₁(λ), b₂(λ), ..., b_s(λ), wobei S üblicherweise als 3 oder 4 ausgewählt ist, aber nach Wunsch größer sein kann. Die tatsächlichen Ausgangsvektoren, y[m], können im Hinblick auf die Zwischenspektralreflexionsvermögensvektoren, z[m], ausgedrückt werden als
wobei d_q(λ) die Spektralantwort der q-ten Anzeige-Spektralantwort-Funktion ist. Zum Beispiel, wenn das Ziel ist, ein XYZ-Bild wiederzugewinnen, dann sollte Q auf 3 eingestellt sein und d₁(λ) bis d₃(λ) sollten auf die standardmäßigen 1931-CIE-Tristimulusfunktionen eingestellt sein. Als ein anderes Beispiel, wenn das Ziel ist, ein Bild mit denselben Farbcharakteristika wiederzugewinnen wie die unterschiedlichen Farbfilter auf dem physischen Sensorar ray, dann sollte Q auf die Anzahl von eindeutigen Eingangsantwortfunktionen eingestellt sein, r_p(λ), und es sollte eine Eins-zu-Eins-Entsprechung zwischen diesem eindeutigen r_p(λ) und dem d_q(λ) vorliegen. In diesem Rahmen ist es das Hauptziel, die Rekonstruktionsmatrix (Sλ₁λ₂) × (PK₁K₂) zu berechnen, T_ref, die die Nachbarschaft von Eingangssuperpixeln, ξ[n], auf das entsprechende Spektralreflexionsvermögenssuperpixel abbildet.
Diese abschließende (Qλ₁λ₂) × (PK₁K₂)-Rekonstruktionsmatrix wird dann gebildet durch eine einfache Matrixmultiplikation:
Das lineare Bilderzeugungsmodell kann jetzt kompakt ausgedrückt werden als
wobei

– x ^(ω) die diskrete Raum-Fourier-Transformation des Eingangsbildes, x[n], ist;
– vv ^((ω) die diskrete Raum-Fourier-Transformation der Abtastrauschvektorsequenz ist;
– z ^(ω) die diskrete Raum-Fourier-Transformation des Spektral-Reflexionsvermögen-Vektors ist, z[m];
– Ω_a(ω) der Satz ist, der alle λ₁λ₂-Aliasing-Frequenzen enthält, die dem Abtasten des Hochauflösungsausgangsbildes an dem Gitter [m] auf das Eingangssuperpixelgitter [N] zugeordnet sind, für jedes ω ∊ [–π, π]²; und
– H(ω) die PxS-Bilderzeugungsmatrix ist,

Statistisches Modell
Um eine geeignete Lösung für das Bildwiederherstellungsproblem zu berechnen, ist es notwendig, ein statistisches Modell für das Abtastrauschen, v ^(ω), und das Spektralreflexionsvermögen, z ^(ω) einzubringen. Bei dieser Erörterung werden Breit-Erfassungs-Stationär-Gauss-Modelle angenommen, die vollständig gekennzeichnet sind durch die Kovarianzmatrizen, Cv(ω) = E[v^(ω)·v^(ω)*]und Cz(ω) = E[v^(ω)·v^(ω)*]
Die Rausch-Kovarianzmatrix ist üblicherweise eine Konstante, C_v(ω) = σ²I, für alle ω, die Weißrauschen entspricht, aber falls zutreffend können andere Modelle verwendet werden.
Das nachfolgende Parametermodell wird für die Reflexionsvermögens-Kovarianzmatrix verwendet,
wobei C 0 / z eine konstante SxS-Kovarianzmatrix ist, ρ ein Frequenzabfallparameter ist, der üblicherweise in dem Bereich von 20 – 30 dB/Dekade ausgewählt ist, und Γ eine 2x2-„Formmatrix" ist. Die Terme in dem obigen Ausdruck, die der konstanten Kovarianzmatrix folgen, C 0 / z, beschreiben eine skalare Hüllkurvenfunktion, deren Konturen Ellipsen in dem Frequenzbereich sind. Die Orientierung und das Aspektverhältnis dieser elliptischen Konturen können explizit mit Hilfe der Γ-Matrix gesteuert werden. Für einen kreisförmigen Querschnitt kann die Identitätsmatrix, Γ = I, verwendet werden.
Das statistische Modell, dargestellt durch C_z, spielt eine äußerst wichtige Rolle beim Bestimmen der Qualität der abschließenden rekonstruierten Bilder. Das parametrische Modell, das oben beschrieben wurde, kann auf einer Reihe von Gründen gerechtfertigt werden; am wichtigsten ist, dass das Modell maßstabs-invariant ist, was bedeutet, dass im Durchschnitt die Szenenstatistiken nicht davon abhängen sollten, wie weit die Kamera von der Szene entfernt angeordnet ist. Diese Maßstabsinvarianzeigenschaft ist wichtig, da bei praktischen Bilderzeugungsanwendungen Informationen über den absoluten Maßstab von Objekten in der Szene kaum verfügbar sind. Ferner besteht ein bedeutender empirischer Beweis für diese Maßstabsinvarianzeigenschaft bei natürlichen Szenen, mit einem Frequenzabfallfaktor, ρ, von ungefähr 20 dB/Dekade.
Effiziente Berechnung von T
Wie oben erwähnt wurde, ist es das Hauptziel, die Matrix (Sλ₁λ₂) × (PK₁K₂) zu berechnen, T_ref, aus der T ohne weiteres über Gleichung (7) wiedergewonnen wird. Die sich ergebende Erörterung betrifft die Herleitung eines optimalen LMMSE-Schätzers (LMMSE = Linear Minimum Mean Squared Error), T_ref, der den Modellen unterliegt, die in den vorangehenden zwei Abschnitten beschrieben wurden. Die Formel für einen solchen Schätzer ist bekannt. Genauer gesagt gilt, Tref = Z·X–1 (9)wobei Z die Kreuz-Kovarianzmatrix (Sλ₁λ₂) × (PK₁K₂) ist, Z = E[ζ[n]·ξn]t]und X die Dimensions-Autokovarianzmatrix (PK₁K₂) × (PK₁K₂) ist, X = E[ξ[n]·ξ[n]t]
Tatsächlich hat X die nachfolgende Toeplitz-Block-Toeplitz-Struktur,
wobei jeder Block, X[l₂], die Toeplitz-Form aufweist
und jeder Teilblock X[l₁, l₂] eine PxP-Quellsuperpixel-Kovarianzmatrix ist, gegeben durch X[l] = E[x[n]·x[n + 1]t]
Die Matrix (Sλ₁λ₂) × (PK₁K₂), Z, weist ebenfalls eine doppelt geschachtelte Blockstruktur auf. Genauer gesagt,
wobei
und die (Sλ₁λ₂) × P-Teilblockmatrizen, Z[l], gegeben sind durch Z[1] = E[ζ[n]·ξ[n + 1]t].
Um T_ref zu berechnen, ist es dann ausreichend, die Matrizen X[l] für [l] = [l₁, l₂] im Bereich von –K_i < l_i < K_i zu berechnen und die Matrizen Z[l] für [l] = [l₁, l₂] in dem Bereich
, wonach die Inhalte von X und Z eingefüllt werden können und verwendet werden können, um die Gleichung (9) zu bewerten. Der Schlüssel zur effizienten Berechnung von T_ref liegt im effizienten Berechnen der Matrizen X[l] und Z[l].
Es stellt sich heraus, dass diese Matrizen effizient berechnet werden können, durch Ausnutzen der Parseval-Beziehung.
Genauer gesagt,
und
wobei die Frequenz-Auto- und Kreuz-Kovarianz-Matrizen, C_x(ω) und Cζ(ω) erhalten werden aus
Hier ist Φ(ω) die Matrix (Sλ₁λ₂) × S der Phasenverschiebungen
entsprechend den relativen Verschiebungen von jeder der Ausgangsmehrphasenkomponenten.
Um diese Matrizen zu berechnen, werden X[l] und Z[l], C_ζ,x(ω) und C_ζ,x(ω) bei einer finiten Anzahl von Frequenzen bewertet, ω ∊ [–π, π]² und dann werden die Integrale der inversen Fourier-Transformation (IFT) der Gleichungen (10) und (11) numerisch genähert. Es gibt verschiedene Lösungsansätze zum Bestimmen des besten Satzes von Frequenzpunkten, an denen X[l] und Z[l] bewertet werden soll und zum Interpolieren zwischen diesen Punkten während des numerischen Integrationsverfahrens, aber diese liegen über dem Umfang dieser kurzen Erörterung.
Nach der detaillierten Beschreibung des Verfahrens ist der fachmännische Leser ohne weiteres in der Lage, die Vorrichtungselemente zu bestimmen, die erforderlich sind, um das Verfahren zu implementieren.

Claims

Ein Verfahren zum Betreiben eines Datenverarbeitungssystems, um ein zweites Bild aus einem ersten Bild zu erzeugen, das von einer Bilderfassungsvorrichtung erhalten wird, wobei das erste Bild ein zweidimensionales Array aus Pixelwerten aufweist, wobei jeder der Pixelwerte der Lichtintensität in einem einer Mehrzahl von Spektralbändern an einem Ort in dem ersten Bild entspricht, wobei das Verfahren folgende Schritte aufweist: Trennen der Pixel des ersten Bildes in eine Mehrzahl von Eingangsbildebenen (12), wobei jede Eingangsbildebene eine identische Anzahl von Pixeln innerhalb eines wiederholten Array-Kerns von Erfassungselementen aufweist, die verwendet werden, um das Eingangsbild zu erfassen, und wobei alle Pixel in einer gegebenen Eingangsbildebene dasselbe Spektralband aufweisen wie die anderen Pixel in dieser Eingangsbildebene; Darstellen des ersten Bildes als einen Satz von Super-Eingangspixeln, wobei jedes der Super-Eingangspixel ein Vektor der Dimension P ist, wobei P die Anzahl der Eingangsbildebenen ist, wobei jede Komponente dieses Vektors ein Eingangspixel aus einer entsprechenden Eingangsbildebene ist; Definieren eines Satzes von Ausgangsbildebenen (14 – 17), wobei jedes Pixel in einer gegebenen Ausgangsbildebene die Intensität des zweiten Bildes in einem einer Mehrzahl von Spektralbändern an einem entsprechenden Punkt in dem zweiten Bild darstellt; Darstellen des zweiten Bildes als einen Satz von Super-Ausgangspixeln, wobei jedes der Super-Ausgangspixel ein Vektor der Dimension Q ist, wobei Q die Anzahl der Ausgangsbildebenen ist, wobei jede Komponente dieses Vektors ein Pixel aus einer entsprechenden Ausgangsbildebene ist; und Anwenden einer linearen Transformation basierend auf optischen Eigenschaften der Bilderfassungsvorrichtung und den Spektraleigenschaften einer Beleuchtungsquelle, die zu einem Vektor geliefert werden, der aus den Super-Eingangspixeln abgeleitet wird, um einen Vektor zu erhalten, der zumindest eines der Super-Ausgangspixel aufweist, wobei die Vektoren die Differenz der Auflösung zwischen dem Eingangsbild und dem Ausgangsbild und die Tatsache berücksichtigen, dass jedes Ausgangspixel von mehr als einem Eingangssuperpixel abhängt.
Das Verfahren gemäß Anspruch 1, bei dem das erste Bild durch eine optische Vorrichtung erzeugt wird, die ein Linsensystem aufweist, zum Abbilden einer Szene auf ein Array aus photoempfindlichen Detektoren, und bei dem die lineare Transformation von einer Eigenschaft des Linsensystems abhängt.
Das Verfahren gemäß Anspruch 2, bei dem die Eigenschaft die Brennweite des Linsensystems ist.
Das Verfahren gemäß Anspruch 2, bei dem die Eigenschaft die f-Zahl des Linsensystems ist.
Das Verfahren gemäß Anspruch 1, bei dem die lineare Transformation von der Beleuchtungsquelle abhängt, die verwendet wird, um das erste Bild zu erzeugen.
Das Verfahren gemäß Anspruch 1, bei dem die lineare Transformation von dem Typ der Szene abhängt, die in dem ersten Bild erfasst wird.
Das Verfahren gemäß Anspruch 1, bei dem die lineare Transformation von dem Ausgangsformat des zweiten Bilds abhängt.
Ein Datenverarbeitungssystem, das wirksam ist, um ein zweites Bild aus einem ersten Bild zu erzeugen, das von einer Bilderfassungsvorrichtung erhalten wird, wobei das erste Bild ein zweidimensionales Array aus Pixelwerten aufweist, wobei jeder der Pixelwerte der Lichtintensität in einem einer Mehrzahl von Spektralbändern an einem Ort in dem ersten Bild entspricht, wobei das System folgende Merkmale aufweist: eine Einrichtung zum Trennen der Pixel des ersten Bildes in eine Mehrzahl von Eingangsbildebenen (12), wobei jede Eingangsbildebene eine identische Anzahl von Pixeln in einem wiederholten Array-Kern von Erfassungselementen aufweist, die verwendet werden, um das Eingangsbild zu erfassen, und wobei alle Pixel in einer gegebenen Eingangsbildebene dasselbe Spektralband aufweisen wie die anderen Pixel in dieser Eingangsbildebene; eine Einrichtung zum Darstellen des ersten Bildes als einen Satz von Super-Eingangspixeln, wobei jedes der Super-Eingangspixel ein Vektor der Dimension P ist, wobei P die Anzahl der Eingangsbildebenen ist, wobei jede Komponente dieses Vektors ein Eingangspixel aus einer entsprechenden Eingangsbildebene ist; eine Einrichtung zum Definieren eines Satzes von Ausgangsbildebenen (14 – 17), wobei jedes Pixel in einer gegebenen Ausgangsbildebene die Intensität des zweiten Bildes in einem einer Mehrzahl von Spektralbändern an einem entsprechenden Punkt in dem zweiten Bild darstellt; eine Einrichtung zum Darstellen des zweiten Bildes als einen Satz von Super-Ausgangspixeln, wobei jedes der Super-Ausgangspixel ein Vektor der Dimension Q ist, wobei Q die Anzahl der Ausgangsbildebenen ist, wobei jede Komponente dieses Vektors ein Pixel aus einer entsprechenden Ausgangsbildebene ist; und eine Einrichtung zum Anwenden einer linearen Transformation basierend auf optischen Eigenschaften der Bilderfassungsvorrichtung und den Spektraleigenschaften einer Beleuchtungsquelle, die zu einem Vektor geliefert werden, der aus den Super-Eingangspixeln hergeleitet wird, um einen Vektor zu erhalten, der zumindest eines der Super-Ausgangspixel aufweist, wobei die Vektoren die Differenz der Auflösung zwischen dem Eingangsbild und dem Ausgangsbild und die Tatsache berücksichtigen, dass jedes Ausgangspixel von mehr als einem Eingangssuperpixel abhängt.