-
Die vorliegende Erfindung betrifft ein Verfahren zum Steuern der Verschlußgeschwindigkeit einer stereoskopischen Abbildungsvorichtung, insbesondere bei einem System zur Abstandserkennung für einen sich bewegenden Körper, wie z. B. ein Automobil. Insbesondere ist die vorliegende Erfindung auf ein Automobil-Abstandserkennungssystem ausgerichtet, das einen Abstand zu einem Hindernis durch das Steuern einer Empfindlichkeit des Abbildungssystems und das Verarbeiten einer Bildabbildung zu einem geeigneten Bildsignal genauer erkennen kann.
-
Automobile sind aufgrund ihrer Nützlichkeit und ihres Komforts zu einem unverzichtbaren Bestandteil der modernen Gesellschaft geworden. Andererseits ist die von Automobilen verursachte Anzahl von Unfällen Jahr für Jahr angestiegen und der Verringerung dieser Unfälle wird eine große Aufmerksamkeit geschenkt. Ein Aspekt diese zu reduzieren wird von den Automobilen selbst verlangt, das heißt, die Entwicklung von Automobilen, die Unfälle durch eigene autonome Entscheidungen der Automobile vermeiden können. Zum autonomen Vermeiden von Kollisionen ist es zu allererst von größter Bedeutung, ein Objekt zu erkennen, um die Fahrt eines Automobiles zu verlangsamen, und andererseits ist es erforderlich, die Position zu erkennen, wo sich das erkannte Hindernis auf der Straße befindet. Als vielversprechendes Mittel zur Erreichung dieser Ziele wurde in letzter Zeit eine Technik, wie z. B. das Abbilden einer Szene außerhalb eines Fahrzeugs mittels einer am Fahrzeug montierten Videokamera, die ein Halbleiterbauteil, wie ein CCD (Charge Coupled Device, ladungsgekoppeltes Schaltelement) verwendet, und das Messen eines Abstands von dem Fahrzeug zu dem Objekt durch Ausführen einer Abbildungsverarbeitung am abgebildetem Bild eingeführt. Beispielsweise offenbart die
JP 59-197816 A (1984) eine Technologie, bei der eine dreidimensionale Lage eines Hindernisses auf der Basis von Abbildungen berechnet wird, die von zwei auf einem Vorderteil des Fahrzeugs befestigten Videokameras aufgenommen werden. Diese Technik verwendet ein sogenanntes stereoskopisches Verfahren, das auf dem Prinzip der Triangulation beruht, und insbesondere beinhaltet das Verfahren eine Technik zum Messen eines Abstands zu einem Hindernis durch die Extraktion des Hindernisses aus einem zweidimensionalen Helligkeitsverteilungsmuster und dann durch den Erhalt eines Lageunterschiedes der Hindernisabbildungen auf den zwei Abbildungsbildern. Bei diesem Verfahren wird jedoch die Genauigkeit der Abstandsmessung aufgrund des Helligkeitsunterschiedes zwischen der rechten und der linken Abbildung verschlechtert, wenn ein Empfindlichkeitsunterschied zwischen zwei Kameras besteht. Zur Beseitigung des vorgenannten Nachteils wird gemäß Darstellung in
26 eine herkömmliche Technik, die eine CCD-Kamera
101 verwendet, mit einer automatischen Objektivblende
100 ausgerüstet, welche ihre Blendenöffnung einer Amplitude eines Blendensignals von der CCD-Kamera
101 entsprechend (z.B. nach einer größeren Amplitude, wenn es hell ist und nach einer kleineren Amplitude, wenn es dunkel ist) einstellt. Daher ist leicht einzusehen, daß diese automatische Objektivblende in dem vorgenannten stereoskopischen Verfahren angewendet wird. Jedoch besteht sogar mit dieser verbesserten Vorrichtung immer noch ein Problem in der Abstandserkennungsgenauigkeit, da sowohl die rechte als auch die linke automatische Objektivblende eine inhärente Charakteristik aufweist, die Unterschiede in der Öffungseinstellung oder in der Öffnungsbetriebszeit zwischen den zwei Linsen bewirkt, wodurch ein kleiner Unterschied in der Helligkeit zwischen der rechten und linken Abbildung entsteht. Ebenso besteht ein weiteres Problem darin, daß die Vorrichtung aufgrund der Zeitverzögerung der automatischen Objektivblende nicht in der Lage ist, einem solchen Zustand einer schnellen Beleuchtungsstärkenänderung zu folgen, wie es beispielsweise der Fall ist, wenn ein Fahrzeug in Tunnels einfährt oder daraus ausfährt.
-
Ferner schlägt die
JP 01-188178 A (1989) eine Abbildungs- anzeigevorrichtung für ein Fahrzeug vor, welche ein nachfolgendes Fahrzeug sicher erfassen kann. Insbesondere stellt die Vorrichtung sicher, daß der Fahrer des Fahrzeugs das nachfolgende Fahrzeug (ein hinterherfahrendes Fahrzeug) sogar während einer Nachtfahrt erkennen kann, ohne von den Frontscheinwerfern nachfolgender Fahrzeuge geblendet zu werden, indem eine Helligkeit in einer Zone hoher Helligkeit korrigiert wird, wenn eine Vergleichseinrichtung ein größeres Abbildungssignal als einen vorgegebenen Standardwert während der Abbildungsverarbeitung von Straßen und umgebenden Fahrzeugen erkennt.
-
Die
US 4 916 302 A beschreibt ein Verfahren und eine Vorrichtung zur Abstandsmessung mittels eines stereoskopischen CCD-Abbildungssystems, bei denen die Bilder eines Objektes in mehrere Zonen (blocks) unterteilt, und die Helligkeitswerte in den verschiedenen Zonen ermittelt werden.
-
Aus der
EP 05 28 433 A2 ist ein Verschlussgeschwindigkeits steuerungsverfahren und eine Belichtungssteuerung/Verschlussgeschwindigkeitssteuerungsvorrichtung für ein CCD-Abbildungssystem bekannt, bei dem die Helligkeit jeder Zone gemittelt wird, um einen mittleren Helligkeitspegel für die Zonen zu erzeugen und ein Helligkeitshistogramm zur Ermittlung der Frequenzbereiche oberhalb eines vorgegebenen Wertes berechnet wird, um die Verschlußgeschwindigkeit, die Blendenöffnung und die Verstärkung aufgrund der detektierten Bereiche zu steuern.
-
Es ist eine Aufgabe der Erfindung ein Abstandserkennungssystem für ein Fahrzeug bereitzustellen, das in der Lage ist, ein korrektes Abbildungsbild zu erzielen und eine Abstandserkennungsgenauigkeit unter der Bedingung sich schnell ändernder Beleuchtungsstärke zu verbessern. Diese Aufgabe wird mit den Merkmalen der Patentansprüche gelöst.
-
Ferner weist ein Abstandserkennungssystem für ein Fahrzeug gemäß einem zweiten Aspekt der vorliegenden Erfindung die Empfindlichkeitsanpassungseinrichtung nach dem ersten Aspekt auf, in welcher das in dem Pufferspeicher gespeicherte Abbildungsbild in mehrere Zonen unterteilt wird und eine mittlere Zonenhelligkeit für jede Zone berechnet und ein (nachstehend beschriebener) geeigneter Verschlußgeschwindigkeitspegel für jede Zone aus einer Zuordnungstabelle, die eine Helligkeit und eine Verschlußgeschwindigkeit auf der Basis dieser mittleren Helligkeit parametrisiert, bestimmt wird und die momentane Verschlußgeschwindigkeit und die Verschlußgeschwindigkeit für die nächste Abbildung durch die Summierung der vorstehenden bestimmten Verschlußgeschwindigkeitspegel bestimmt wird.
-
Ferner weist ein Abstandserkennungssystem für ein Fahrzeug gemäß einem dritten Aspekt der vorliegenden Erfindung eine Empfindlichkeitseinstellungseinrichtung gemäß dem ersten Aspekt der vorliegenden Erfindung auf, bei der eine spezielle Zone aus den vorgenannten Zonen ausgewählt wird und eine Verschlußgeschwindigkeit für die nächste Abbildung durch Berechnen eines Korrekturbetrages des Verschlußgeschwindigkeitspegels bezüglich des momentanen Verschlußgeschwindigkeitspegels aus einem Helligkeitshistogramm für diese spezielle Zone bestimmt wird.
-
Die vorliegende Erfindung wird nachstehend in Verbindung mit den beigefügten Zeichnungen beschrieben. Es stellen dar:
-
1 bis 25 eine bevorzugte Ausführungsform der vorliegenden Erfindung, wovon 1 eine Schaltungsansicht des erfindungsgemäßen Abstandserkennungssystems zeigt;
-
2 eine schematische Seitenansicht eines Fahrzeugs, welches das erfindungsgemäße Abstandserkennungssystem enthält;
-
3 ein schematische Vorderansicht eines Fahrzeugs, welches das erfindungsgemäße Abstandserkennungssystem enthält;
-
4 eine erläuternde Zeichnung, welche die Beziehung zwischen einer Kamera und einem Objekt zeigt;
-
5 eine schematische Zeichnung für die Anzeige unterteilter Zonen;
-
6 eine schematische Zeichnung für die Anzeige einer speziellen Zone;
-
7 ein Beispiel einer Tabelle, die eine gemittelte Helligkeit einer Zone zeigt;
-
8 eine Geschwindigkeitspegeltabelle für die Zone I;
-
9 eine Geschwindigkeitspegeltabelle für die Zone II;
-
10 eine Geschwindigkeitspegeltabelle für die Zone III;
-
11 eine Geschwindigkeitspegeltabelle für die Zone IV und V;
-
12 eine Geschwindigkeitspegeltabelle für die Zone VI und VII;
-
13 eine erläuternde Ansicht, welche eine Abstandsfunktionswert-Berechnungsschaltung zeigt;
-
14 ein Blockschaltbild, das eine Minimumwert-Erkennungsschaltung zeigt;
-
15 ein Flußdiagramm, das eine Steuerprozedur für die Verschlußgeschwindigkeit zeigt;
-
16 ein Flußdiagramm, das eine Mittelungsprozedur zeigt;
-
17 ein Flußdiagramm, das eine Abstandserkennungsprozedur zeigt;
-
18 eine erläuternde Ansicht, die eine Speicherungsreihenfolge in einem Schieberegister zeigt;
-
19 ein Zeitdiagramm, das die Betriebsweise einer Abstandsfunktionswert-Berechnungsschaltung zeigt;
-
20 ein Zeitdiagramm, das die Betriebsweise eines Abweichungsbetrag-Bestimmungsabschnitts zeigt;
-
21 ein Zeitdiagramm; das die Betriebsweise des Gesamtsystems zeigt;
-
22 eine erläuternde Ansicht, die ein Beispiel einer Abbildung zeigt, die von einer auf dem Fahrzeug montierten. CCD-Kamera aufgenommenen wurde;
-
23 eine Zeichnung, die einen Objektabstand auf einer Abbildungsebene zeigt.
-
24 ein Helligkeitshistogramm innerhalb einer speziellen Zone;
-
25 ein Flußdiagramm, das die Datenverarbeitung auf der Basis des Helligkeitsdiagramms darstellt; und
-
26 eine CCD-Kamera mit einer automatischen Objektivblende nach dem Stand der Technik
-
In 2 bezeichnet das Bezugszeichen 1 ein Fahrzeug, wie z. B. ein Automobil, auf dem ein Abstandserkennungssystem 2 zum Erkennen eines Abstands mittels Abbildung eines Objekts montiert ist. Das Abstandserkennungssystem ist mit einer Vorrichtung für die Erkennung eines Hindernisses auf einer (nicht dargestellten) Straße verbunden, um ein Hindernis-Überwachungssystem für die Warnung eines Fahrzeugfahrers bereitzustellen oder autonom eine Kollision mit dem Hindernis zu vermeiden.
-
Das Abstandserkennungssystem 2 weist ein stereoskopisches optisches System 10 als Abbildungsvorrichtung für die Erfassung der optischen Abbildung innerhalb eines vorgegebenen Bereichs außerhalb des Fahrzeugs, eine Verschlußgeschwindigkeits-Steuervorrichtung 15 zum Steuern einer Verschlußgeschwindigkeit, um ein geeignetes Abbildungsbild durch Anpassen einer Empfindlichkeit (Verschlußgeschwindigkeit) des stereoskopischen optischen Systems 10 zu erhalten, und eine stereoskopische Abbildungsverarbeitungsvorrichtung 20 auf, um ein von dem stereoskopischen optischen System 10 abgebildetes Bild zu verarbeiten und eine Abstandsverteilung eines gesamten Abbildungsbildes zu berechnen. Die von der stereoskopischen Abbildungsverarbeitungseinrichtung 20 verarbeiteten dreidimensionalen Abstandsdaten werden in die Hinderniserkennungsvorrichtung eingegeben, in welcher eine Straßenform und ein Hindernis erkannt werden.
-
Das stereoskopische optische System 10 besteht aus einer Kamera, die ein Halbleiterabbildungselement wie z. B. ein ladungsgekoppeltes Element (CCD) verwendet. Gemäß Darstellung von 3 weist das System 10 zwei CCD-Kameras 11a und 11b (die falls erforderlich mit 11 bezeichnet werden) für linksseitige und rechtsseitige Winkel bei großem Abstand, und zwei CCD-Kameras 12a und 12b (die falls erforderlich mit 12 bezeichnet werden) für linksseitige und rechtsseitige Winkel bei kleinem Abstand auf. Diese Kameras 11 und 12 sind an der vorderen Dachverkleidung im Passagierraum des Fahrzeugs 1 untergebracht. Insbesondere die Kameras 12a und 12b für einen kurzen Abstand sind mit einem vorgegebenem Abstand zwischen den Kameras 11a und 11b für einen großen Abstand angeordnet.
-
Es reicht für das stereoskopische optische System 10 aus, wenn es die Lage von Objekten von 2 bis 100 Metern vor dem Fahrzeug 1 messen kann, vorausgesetzt, daß die Position, an der die CCD-Kameras 11 und 12 im Passagierraum montiert sind zwei Meter von der Vorderkante der Kühlerhaube des Fahrzeugs 1 entfernt ist.
-
Das heißt, nach Darstellung in 4 wird eine Abbildung eines Punktes P auf eine Projektionsebene abgebildet, die von den Kameras 11a und 11b (genauer gesagt, von einem optischen Zentrum des Objektivs jeder Kamera) um den Betrag f entfernt ist, und ein Abstand D ist gegeben durch: D = r·f/x (1) wobei r ein Abstand zwischen den zwei CCD-Kameras 11a und 11b für den großen Abstand (genauer gesagt, ein Abstand zwischen den optischen Achsen der Kameras 11a und 11b) ist, D ein Abstand des Punktes P von der Position der Kameras 11a und 11b (genauer gesagt, ein Abstand von dem optischen Mittelpunkt des Objektivs jeder Kamera) ist, f eine Brennweite der Objektive für die Kameras 11a und 11b ist und x ein Abweichungsbetrag des von der Kamera für den linksseitigen Winkel erzeugten Abbildungsobjekts von dem Objekt ist, das von der Kamera für den rechtsseitigen Winkel erzeugt wird.
-
Um den Betrag der Abweichung ”x” erkennen zu können, ist es erforderlich, die Abbildungen desselben Objekts auf dem linken und auf dem rechten Bild herauszufinden.
-
Bei der stereoskopischen Abbildungsverarbeitungsvorrichtung 10 wird ein Abbildungsbild in Kleinbereiche unterteilt, dann wird ein Helligkeitsmuster (oder falls erforderlich Farbenmuster) zwischen den rechten und linken Abbildungsbildern für jeden Kleinbereich verglichen, um Koinzidenzbereiche in dem Helligkeits- oder Farbenmuster darin zu finden, und von dem Gesamtbild wird eine Abstandsverteilung erhalten.
-
Dieses Verfahren, die Helligkeit des Abbildungsbildes zu nutzen, ist wegen des Überflusses an Informationsmenge im Vergleich zum Stand der Technik überlegen, bei dem einige Merkmale von Kanten, Linien, speziellen Konfigurationen oder dergleichen für jeden Bereich extrahiert und Koinzidenzbereiche zwischen den rechten und linken Bildern gefunden werden.
-
Wenn die ”i”-ten Abbildungselemente des linken und rechten Bildes als Ai bzw. Bi bezeichnet werden, kann die Koinzidenz zwischen den linken und rechten Bildern beispielsweise durch einen Abstandsfunktionswert H (im Englischen ist dafür auch der Ausdruck ”City-block distance” gebräuchlich) gemäß nachstehender Formel (2) ausgedrückt werden. H = Σ|Ai – Bi| (2)
-
Bezüglich der Größe des vorgenannten Bereichs birgt ein zu großer Bereich eine hohe Wahrscheinlichkeit in sich, daß ein Objekt in großen Abstand und ein Objekt in kurzem Abstand gleichzeitig in dem Bereich vorhanden sind, was eine zweideutige Abstandserkennung ergibt. Andererseits erzeugt ein zu kleiner Bereich einen Mangel an Information für das Herausfinden der Koinzidenz. Somit gibt es eine optimale Bereichsgröße, um eine besten Anpassung zu erzielen.
-
Als Ergebnis von Experimenten zur Ermittlung einer optimalen Anzahl von Bildelementen durch Unterteilen auf eine derartige Größe, daß ein Fahrzeug mit einer Breite von 1,7 Meter, welches 100 m vor der Kamera fährt, und ein Fahrzeug, welches auf einer benachbarten Spur fährt, nicht im selben Bereich vorhanden ist, hat man herausgefunden, daß die optimale Anzahl von Bildelementen gleich vier sowohl für die laterale als auch die longitudinale Breite, also 16 Bildelemente ist.
-
Dementsprechend gilt die nachstehende Beschreibung für das Herausfinden der Koinzidenz des linken und rechten Bildes, wenn ein Bild in einen aus 4 × 4 Bildelementen bestehenden Kleinbereich unterteilt ist, und die CCD-Kameras 11a und 11b auf einen großen Abstand eingerichtet sind.
-
Nach Darstellung von 1 ist die stereoskopische Abbildungsverarbeitungsvorrichtung 20 mit einem Abbildungswandlerteil 30 zum Umwandeln analoger von dem stereoskopischen optischen System 10 abgebildeter Bilder in digitale Bilder, einem Abstandsfunktionswert-Berechnungsteil 40, welcher als Koinzidenzberechnungsabschnitt dient, welcher den Abstandsfunktionswert H berechnet, indem er ein Bildelement nach dem anderen verschiebt und sukzessiv den Abstandsfunktionswert H berechnet, einem Minimum/Maximum-Wert-Erkennungsabschnitt 50 für die Erkennung des Minimumwertes HMIN und des Maximumwertes HMAX und einem Abweichungsbetrag-Erkennungsteil 60 zum Bestimmen des Abweichungsbetrages ”x” ausgerüstet, indem geprüft wird, ob der von dem Minimum/Maximum-Wert-Erkennungsabschnitt 50 erhaltene Minimumwert HMIN sich mit dem linken und dem rechten Kleinbereich in Koinzidenz befindet.
-
In dem vorstehend beschriebenen Abbildungswandlerteil 30 sind den CCD-Kameras 11a und 11b für das rechte und das linke Bild entsprechende A/D-Wandler 31a und 31b zugeordnet und analoge Signale von den CCD-Kameras 11a und 11b werden jeweils von den A/D-Wandlern 31a und 31b in digitale Signale umgewandelt. Ferner werden die Ausgangssignale der A/D-Wandler 31a und 31b in die Nachschlagetabellen (LUT, look-up tables) 32a und 32b eingegeben.
-
Die A/D-Wandler 31a und 31b weisen z. B. eine Helligkeitsauflösung von 8 Bit auf, und die analogen Abbildungsdaten von der CCD-Kamera 11 werden in digitale Abbildungsdaten mit einer erforderlichen Helligkeitsabstufung umgewandelt. Insbesondere wird, da bei der Umsetzung einer Abbildungshelligkeit zur Beschleunigung der Bearbeitung in eine binäre Form ein großer Verlust in der Informationsmenge für die Berechnung der Koinzidenz zwischen dem rechten und dem linken Bild auftritt, die Helligkeit jedes Bildelements in eine Grauskala mit z. B. 256 Abstufungen umgewandelt.
-
Ferner werden die vorgenannte LUT 32a und 32b in einem Nur-Lese-Speicher (ROM) ausgebildet. Die LUT 32a und 32b haben jeweils Adressen, die aus derselben Anzahl von Bits wie die der Daten der von dem A/D-Wandler 31a und 31b umgewandelten Abbildung entsprechen. Ebenso werden die Daten, die einer Helligkeitskorrektur oder einer Korrektur der Eigenverstärkung im CCD-Verstärker unterzogen werden, ebenfalls in diese LUT 32a und 32b eingeschrieben. Die 8-Bit-Abbildungsdaten werden beispielsweise durch die in die LUT 32a und 32b eingeschriebenen Daten korrigiert, um auf diese Weise einen Kontrast in einem Bereich niedriger Helligkeit zu erhöhen oder einen Unterschied in der Charakteristik der linken und der rechten CCD-Kamera zu korrigieren.
-
Die durch die LUT's 32a und 32b korrigierten digitalen Abbildungsdaten werden in den Abbildungsspeichern 33a und 33b (die, falls erforderlich mit Abbildungsspeicher 33 bezeichnet werden) abgespeichert, nachdem entsprechende Adressen von einer nachstehend beschriebenen 1#-Adressensteuerung 86 zugeordnet wurden, und andererseits werden sie ebenfalls in dem Dual-Port-Speicher 16 der Steuervorrichtung 15 für die Verschlußgeschwindigkeit als Musterabbildung gespeichert. Wie nachstehend beschrieben, besteht der Abbildungsspeicher 33 aus einem relativ langsamen (und damit kostengünstigen) Speicher, da das Datenholen in den Abstandsfunktionswert-Berechnungsabschnitt 40 in Teilen und wiederholt ausgeführt wird.
-
Als nächstes wird die Steuervorrichtung 15 für die Verschlußgeschwindigkeit beschrieben.
-
Die Steuervorrichtung 15 für die Verschlußgeschwindigkeit weist einen Dual-Port-Speicher 16, in welchen die Adressen durch die #1-Adressensteuerung zugeordnet werden, und eine CCD-Steuerung 17 als Empfindlichkeitseinstelleinrichtung auf, um ein korrektes Bild durch die Steuerung der Verschlußgeschwindigkeit der CCD-Kamera 11a und 11b entsprechend der Beleuchtungsstärkenänderung außerhalb des Fahrzeuges abbilden zu können. In der CCD-Steuerung wird auf der Basis der in dem Dual-Port-Speicher 16 gespeicherten Musterabbildung beurteilt, ob die augenblickliche Verschlußgeschwindigkeit für beide CCD-Kameras 11a und 11b angemessen ist oder nicht, und wenn sie für nicht angemessen beurteilt wird, wird die Verschlußgeschwindigkeit der CCD-Kameras 11a und 11b jeweils in der Weise geändert, daß ein Unterschied in der Empfindlichkeit (nachstehend als Verschlußgeschwindigkeit bezeichnet) zwischen der rechten und linken Kamera beseitigt wird.
-
Um zu beurteilen, ob die augenblickliche Verschlußgeschwindigkeit auf der Basis der Musterabbildung angemessen ist oder nicht, ist es erforderlich zu bestimmen, welcher Raum (Zone) und welche Daten in der Musterabbildung zu verarbeiten sind. Detaillierter beschrieben wird, wie nachstehend gezeigt, das Verarbeitungsverfahren durch die Kombination der Punkte, welche den Raum (Zone) betreffen, und der Punkte, welche die Datenverarbeitung betreffen, bestimmt. [1] Zone
(1) Gesamtzone | ... alle Abbildungsdaten werden abgetastet |
(2) Zonenaufteilung | ... die abgetasteten Abbildungsdaten werden in verschiedene Zonen (z. B. Zonen I bis VII gemäß Figur 5 unterteilt) |
(3) Spezielle Zone | ... eine spezielle Zone der Abbildung wird abgetastet |
[2] Datenverarbeitung
(1) Arithmetische Mittelung | ... Alle Daten innerhalb einer betroffenen Zone werden arithmetisch gemittelt |
(2) Minimum/Maximum-Verfahren | ... ein Minimum- und ein Maximum-Wert wird innerhalb der betroffenen Zone erkannt |
(3) Histogramm-Verfahren | ... ein Histogramm wird für eine gesamte betroffene Zone berechnet |
-
In der bevorzugten Ausführungsform wird ein Fall, bei dem bezüglich [1] Zone eine Zonenaufteilung (2) und bezüglich [2] Datenverarbeitung eine arithmetische Mittelung eingeführt werden, erläutert. Gemäß
5 haben die aufgeteilten Zonen die Bedeutung:
Zone I | ... praktisch Himmelszone; |
Zone II | ... Zone relativ großen Abstands auf der Straßenoberfläche; |
Zone III | ... Zone relativ kleinen Abstands auf der Straßenoberfläche; |
Zone IV | ... eine Spur zur Linken des Fahrzeugs; |
Zone V | ... eine Spur zur Rechten des Fahrzeugs; |
Zone VI | ... ein linksseitiger Bereich, wobei eine weiße Markierung auf der augenblicklich benutzten Spur vorhanden ist; |
Zone VII | ... ein rechtsseitiger Bereich, wobei eine weiße Markierung auf der augenblicklich benutzten Spur vorhanden ist: |
Für jede der vorstehend definierten Zonen wurde im Voraus eine Tabelle zur Veränderung der Verschlußgeschwindigkeit anhand von Experimenten und dergleichen nach dem nachstehend beschriebenen Verfahren ermittelt.
-
Zuerst werden Abbildungsbilder unter verschiedenen Beleuchtungsbedingungen durch Veränderung der Verschlußgeschwindigkeit aufgenommen. Als nächstes wird auf der Basis dieser Abbildungsbilder ein Verschlußgeschwindigkeitspegel, nämlich eine Tabelle, die einen Korrekturpegel der Verschlußgeschwindigkeit (wobei beispielsweise 0 keine Korrektur und 1 eine Erhöhung einer Verschlußgeschwindigkeit und eine Stufe bedeutet) angibt, gemäß Darstellung in 8 bis 12 erhalten. Der Verschlußgeschwindigkeitspegel ist insbesondere eine Zahlenangabe um anzugeben, wieviele Änderungsschritte an der augenblicklichen Verschlußgeschwindigkeit durchgeführt werden sollten, damit aus einem Abbildungsbild mit gegebener Helligkeit eines mit praktisch zulässiger Helligkeit wird. Somit wird eine Reihe von Verschlußgeschwindigkeitspegeln in einer Tabelle angeordnet, welche die Verschlußgeschwindigkeit und Helligkeit für jede Zone parametrisiert.
-
Wenn demzufolge eine augenblickliche Verschlußgeschwindigkeit und ein arithmetisch gemittelter Wert der Helligkeitsdaten für jede Zone der Musterabbildung bekannt sind, kann ein geeigneter Verschlußgeschwindigkeitspegel durch Bezugnahme auf die vorstehenden Veränderungstabellen für die Verschlußgeschwindigkeit erhalten werden.
-
Auf diese Weise können die Verschlußgeschwindigkeitspegel der rechten und der linken CCD-Kamera 11a und 11b geeignet gesteuert werden, wodurch nicht nur eine Echtzeiteinstellung der Helligkeit sogar während einer plötzlichen Veränderung der Beleuchtungsstärke, wie beim Einfahren eines Fahrzeugs in einen Tunnel, erreicht werden kann, sondern auch ein Helligkeitsunterschied zwischen der linken und der rechten CCD-Kamera verhindert werden kann, da es dabei keinen Öffnungsmechanismus gibt. Ferner wird das Abstandserkennungssystem auch während einer Nachtfahrt eingesetzt.
-
Wenn beispielsweise die augenblickliche Verschlußgeschwindigkeit unter der Annahme eines gemittelten Helligkeitswertes gemäß Darstellung in 7 gleich 1/1000 s ist, dann sind die erforderlichen Verschlußgeschwindigkeitspegel SSL (I) bis SSL (VII) jeweils wie folgt:
SSL (I) = +1
SSL (II) = –1
SSL (III) = 0
SSL (IV) = –1
SSL (V) = –1
SSL (VI) = 0
SSL (VII) = 0
-
Eine Summe der SSL (I) bis SSL (VII), Σ SSL ist gleich –2 und demzufolge wird eine geeignete Verschlußgeschwindigkeit um zwei Stufen auf 1/250 s erniedrigt.
-
Andererseits ist der Abstandsfunktionswert-Berechnunsteil 40 der stereoskopischen Abbildungsverarbeitungsvorrichtung 20 sowohl mit zwei Sätzen der Eingangspufferspeicher 41a und 41b über einen gemeinsamen Bus 80 als auch mit den zwei Sätzen der Eingangspufferspeicher 42a und 42b über den gemeinsamen Bus 80 verbunden.
-
Diese Eingangspufferspeicher 41a, 41b, 42a, und 42b sind sehr schnelle der Geschwindigkeit der Abstandsfunktionswert-Berechnung entsprechende Speichertypen, da sie eine relativ kleine Speicherkapazität aufweisen und ferner jeder von ihnen die Eingangs/Ausgangs-Steuerung unabhängig durchführen kann. Ferner wird auf der Basis des von der #1-Adressensteuerung 86 gemäß einem von der Takterzeugungsschaltung 85 gelieferten Taktsignal erzeugten Adressensignals dieselbe Adresse diesen Eingangspufferspeichern 41a, 41b, 42a und 42b, den Abbildungsspeichern 33a und 33b und dem Dual-Port-Speicher 16 zugeordnet.
-
Die Eingangspufferspeicher 41a und 41b für das linke Abbildungsbild sind mit den zwei Schieberegistersätzen 43a und 43b (die beispielsweise aus 8 Stufen bestehen) verbunden und in ähnlicher Weise sind die Eingangspufferspeicher 42a und 42b für das rechte Abbildungsbild mit den zwei Schieberegistersätzen 44a und 44b (die beispielsweise aus 8 Stufen bestehen) verbunden.
-
Ferner sind diese 4 Schieberegistersätze 43a, 43b, 44a und 44b mit der Abstandsfunktionswert-Berechnungsschaltung 45 für die Berechnung eines Abstandsfunktionswertes verbunden. Die Datenübertragung zwischen diesen 4 Schieberegistersätzen und den vorstehenden Eingangspufferspeichern wird durch eine #2-Adressensteuerung 87 gesteuert.
-
Darüber hinaus sind die Schieberegister für das rechte Abbildungsbild 44a und 44b mit zwei aus 10 Stufen bestehenden Schieberegistersätzen 64a und 64b in dem nachstehend beschriebenen Abweichungsbetrag-Bestimmungsabschnitt 60 verbunden. Wenn mit der Übertragung der Daten für den nächsten Kleinbereich begonnen wird, werden die vorherigen Daten, welche für die Berechnung der Abstandsfunktionswerte H verwendet wurden, zu diesen Schieberegistern 64a und 64b übertragen und für die Bestimmung des Abweichungsbetrages ”x” verwendet.
-
Ferner ist die Abstandsfunktionswert-Berechnungsschaltung 45 mit einem sehr schnellen CMOS-Rechner 46 kombiniert, welcher in einem Einzelchip durch Kombination mehrerer Addierer mit Eingangs/Ausgangs-Zwischenspeichern angeordnet ist. Gemäß Darstellung in 13 weist die Abstandsfunktionswert-Berechnungsschaltung 45 eine Pipeline-Aufbau auf, der 16 Stück des Rechners 46 in einer Pyramidenform verbindet. Die erste Stufe dieses Pyramidenaufbaus dient der Berechnung absoluter Werte, die zweite Stufe bis vierte Stufe bilden einen ersten Addierer, einen zweiten Addierer bzw. einen dritten Addierer, und die letzte Stufe ist ein Addierer zum Berechnen eines Gesamtergebnisses. Aufgrund dieses Aufbaus kann der Rechner so viele Daten eines Abschnitts mit 8 Bildelementen gleichzeitig verarbeiten. Es sei angemerkt, daß ein rechter Abschnitt der ersten und zweiten Stufen in 13 weggelassen ist.
-
Der vorgenannte Erkennungsabschnitt 50 für Minimum/Maximum-Werte weist eine Minimumwert-Erkennungsschaltung 51 für das Erkennen eines Minimumwertes HMIN der Abstandsfunktionswerte H und eine Maximumwert-Erkennungsschaltung 52 für das Erkennen eines maximalen Wertes H der Abstandsfunktionswerte H auf und besitzt einen Aufbau, der zwei Stück des vorgenannten Rechners 46 verwendet, wovon einer zum Erkennen eines Minimumwertes und der andere zum Erkennen eines Maximumwertes dient. Ferner wird der Erkennungsabschnitt 50 für die Minimum/Maximum-Werte synchron zu einer Ausgabe des Abstandsfunktionwertes H betrieben.
-
Gemäß Darstellung in 14 besteht die Minimumwert-Erkennungsschaltung 51 aus dem Rechner 46 mit einem darin enthaltenem Register A 46a, einem Register B 46b und einer arithmetischen und logischen Einheit (ALU) 46c, einem Zwischenspeicher C 53, einem Zwischenspeicher 54 und einem Zwischenspeicher D 55, die mit dem Rechner 46 verbunden sind. Ein Ausgangssignal von der Abstandsfunktionswert-Berechnungsschaltung 45 wird über das Register A 46a und den Zwischenspeicher C 53 in das Register B 46b eingegeben und ein höchstwertiges Bit (MSB) des Ausgangssignals aus der ALU 46 wird an den Zwischenspeicher 54 ausgegeben. Ein Ausgangssignal aus dem Zwischenspeicher 54 wird in das Register B 46b und den Zwischenspeicher D 55 eingegeben. Es wird nämlich ein Halb-Resultat der Minimumwertberechnug in dem Rechner 46 in dem Register B 46b gespeichert und andererseits wird der momentane Abweichungsbetrag ”x” in dem Zwischenspeicher D 55 gespeichert.
-
Was die Maximumwert-Erkennungsschaltung 52 betrifft, ist der Aufbau derselbe wie der für die Minimumwert-Erkennungsschaltung mit der Ausnahme daß die Logik umgekehrt ist und ein Abweichungsbetrag ”x” nicht gespeichert wird.
-
Wie vorstehend beschrieben, wird eine Abstandsfunktionswert H jedesmal berechnet wenn ein Bildelement des linken Bildes um ein Element verschoben wird, während ein gegebener Kleinbereich des rechten Bildes auf einer festen Position verbleibt. Jedesmal wenn dieser berechnete Abstandsfunktionswert H ausgegeben wird, wird er mit einem bisher erhaltenen Maximumwert HMAX und einem Minimumwert HMIN verglichen und diese Maximum- oder Minimumwerte werden falls erforderlich aktualisiert. Wenn die Berechnung für den letzten Abstandsfunktionswert für einen Kleinbereich des rechten Bildes abgeschlossen ist, wurden die Maximum- und Minimumwerte des Abstandsfunktionswertes H, HMAX und HMIN bezüglich des gegebenen Kleinbereichs des rechten Bildes erhalten.
-
Der vorgenannte Abweichungsbestimmungsteil 60 ist ein relativ kleiner Anteil des RISC-Prozessors, welcher einen Rechner 61 als Haupteinrichtung, zwei Datenbusse mit einer Breite von 16 Bit, 62a und 62b, einen Zwischenspeicher 63a zum Halten eines Abweichungsbetrages ”x”, einen Zwischenspeicher 63b zum Halten eines Schwellenwertes HA als erster spezifizierter Wert, einen Zwischenspeicher 63c zum Halten eines Schwellenwertes HB als zweiter spezifizierter Wert, einen Zwischenspeicher 63d zum Halten eines Schwellenwertes HC als dritter spezifizierter Wert, zwei Schieberegistersätze 64a und 64b zum Halten der Abbildungsdaten des rechten Bildes, eine Umschaltschaltung 65 zum Ausgeben eines Abweichungsbetrages ”x” oder ”0” als Antwort auf das Ausgangssignal aus dem Rechner 61, Ausgangspufferspeicher 66a und 66b zum kurzzeitigen Speichern der ausgegebenen Daten, und ein ROM 67 mit 16 Bit Breite aufweist, in das Betriebszeitendaten für die Schaltung und ein Steuerprogramm zum Betrieb des Rechners 61 eingeschrieben sind.
-
Ferner weist der vorstehend beschriebene Rechner 61 eine ALU 71, welche seine Haupteinrichtung ist, ein Register 71, ein Register 72, ein Register 73 und eine Auswahleinrichtung 74 auf. Der vorgenannte Datenbus 62a (nachstehend als Bus A 62a bezeichnet) ist mit dem Register A 71 verbunden und der Datenbus 62b (nachstehend als Datenbus B 62b bezeichnet) ist ebenfalls mit dem Register B 72 verbunden. Darüber hinaus wird die vorgenannte Umschaltschaltung 65 entsprechend dem Ergebnis der Berechnung der ALU 70 betrieben, um den Abweichungsbetrag ”x” oder ”0” in den Pufferspeichern 66a und 66b zu speichern.
-
Der vorgenannte Bus A 62a ist mit den Zwischenspeichern 63b, 63c und 63d zum Halten der Schwellenwerte HA, HB bzw. HC, und mit der Maximumwert-Erkennungsschaltung 52 verbunden. Ferner ist der Bus B 62b mit der Minimumwert-Erkennungsschaltung 51 verbunden und die vorgenannten Schieberegister 64a und 64b sind mit dem Bus A bzw. Bus B verbunden.
-
Die vorgenannte Umschaltschaltung 65 ist mit dem Rechner 61 und der Minimumwert-Erkennungsschaltung 51 über den Zwischenspeicher 63a verbunden. Die Umschaltschaltung 65 stellt eine Umschaltfunktion bereit, um ein Ausgangssignal auf die Ausgangspufferspeicher 66a und 66b entsprechend einem Beurteilungsergebnis zu schalten, wenn der Rechner 61 nach drei nachstehend beschriebenen Bedingungen unterscheidet.
-
In dem Abweichungsbetrag-Erkennungsteil
60 wird geprüft, ob der Minimumwert H
MIN des Abstandsfunktionswertes H tatsächlich eine Koinzidenz zwischen dem rechten und linken Kleinbereich anzeigt, und nur dann, wenn die drei Bedingungen erfüllt werden, wird der Abweichungsbetrag ”x” zwischen zwei entsprechenden Bildelementen ausgegeben. Das heißt, ein erforderlicher Abweichungsbetrag ”x” ist ein Abweichungsbetrag in dem Moment, wenn der Abstandsfunktionswert H zu einem Minimum wird und dementsprechend wird der Abweichungsbetrag ”x” ausgegeben, wenn die folgenden drei Bedingungen erfüllt werden, und es wird der Wert ”0” ausgeben, was bedeutet, daß keine Daten ausgegeben werden, wenn diese nicht erfüllt werden.
Bedingung 1: | HMIN ≤ HA (wenn HMIN > HA, ist keine Abstandserkennung möglich) |
Bedingung 2: | HMAX – HMIN ≥ HB (eine Bedingung, um zu prüfen ob ein erhaltener Minimumwert ein von Flackern oder Rauschen vorgetäuschter Wert ist; diese Bedingung gilt auch in dem Fall, bei dem ein Objekt eine gekrümmte Oberfläche aufweist, deren Helligkeit sich allmählich verändert) |
Bedingung 3: | Helligkeitsunterschied zwischen zwei benachbarten Bildelementen in lateraler Richtung innerhalb eines Kleinbereichs des rechten Bildes > HC (wobei, wenn HC auf eine hohen Wert gebracht wird, eine Kantenerkennung erhaltbar sein kann.) In dieser Bedingung ist jedoch HC bei einem viel niedrigeren Pegel als einem üblicherweise zur Kantenerkennung verwendeten Pegel festgelegt; Diese Bedingung basiert auf dem Prinzip, daß eine Abstandserkennung an einem Abschnitt nicht durchgeführt werden kann, der keine Helligkeitsänderung aufweist. |
-
Die von dem Abweichungsbestimmungsteil 60 ausgegebene Abstandsverteilungsinformation wird über einen gemeinsamen Bus 80 in den Dual-Port-Speicher 90 geschrieben, welcher eine Schnittstelle für eine externe Einrichtung, wie z. B. eine Straßen/Hindernis-Erkennungsvorrichtung ist.
-
Als nächstes wird eine Betriebsweise der Abstandserkennungsvorrichtung 2 beschrieben.
-
17 ist ein Flußdiagramm, das eine Abstandserkennungsprozedur in der stereoskopischen Abbildungsverarbeitungsvorrichtung 20 darstellt. Zuerst werden, wenn in einem Schritt S301 die von der linken und rechten CCD-Kamera 11a und 11b aufgenommenen Abbildungsbilder eingegeben sind, im nächsten Schritt S302 die eingegeben analogen Abbildungen durch die A/D-Wandler 31a und 31b in digitale Signale umgewandelt. Als nächstes werden in den LUT's 32a und 32b diese digitalisierten Abbildungsdaten verschiedenen Prozeduren wie z. B. einer Kontrasterhöhung eines Bereichs mit niedriger Helligkeit, einer Kompensation der Charakteristik der linken und rechten CCD-Kamera oder dergleichen unterzogen und dann werden sie in den Abbildungsspeichern 33a und 33b aufgezeichnet. Andererseits werden sie auch als eine Musterabbildung in dem Dual-Port-Speicher 16 der Steuervorrichtung 15 für die Verschlußgeschwindigkeit aufgezeichnet.
-
Es ist nicht erforderlich, daß das in den Abbildungsspeichern 33a und 33b gespeicherte Abbildungsbild ein Gesamtbild sein sollte. Die Größe des Abbildungsbildes, nämlich die Anzahl der Zeilen des CCD-Elementes, die zu einem Zeitpunkt gespeichert werden, kann so groß sein, wie es für die folgende Prozedur erforderlich ist. Welcher Zeilenbereich gespeichert wird, hängt ferner von den Aufgaben eines Abstandserkennungssystem ab. In dieser Ausführungsform ist das aufgezeichnete Abbildungsbild ein mittlerer Bereich von 200 Zeilen innerhalb von insgesamt 485 Zeilen. Darüber hinaus kann die Aktualisierungsgeschwindigkeit des gespeicherten Abbildungsbildes so weit wie möglich verringert werden, wie es einer Aufgabe oder Leistung der Vorrichtung entspricht. In dieser Ausführungsform ist die Aktualisierungsgeschwindigkeit beispielsweise ein Bild pro 0,1 s (ein Bild für jedes dritte Bild in einen Fernsehgerät).
-
Das in dem Dual-Port-Speicher 16 der Steuervorrichtung 15 für die Verschlußgeschwindigkeit aufgezeichnete Abbildungsbild wird daraufhin überprüft, ob die Verschlußgeschwindigkeit der linken und der rechten CCD-Kamera 11a und 11b angemessen sind oder nicht, und wenn diese nicht angemessen ist, wird sie auf einen angemessen Wert korrigiert. Das heißt, daß sogar dann, wenn sich eine äußere Beleuchtungsstärke stark ändert, die Verschlußgeschwindigkeit beider Kameras angemessen eingestellt wird, wodurch die Abbildungsbilder ohne jeden Helligkeitsunterschied zwischen der linken und der rechten CCD-Kamera in den Abbildungsspeichern 33a bzw. 33b aufgezeichnet werden.
-
Als nächstes wird auf der Basis der Flußdiagramme in 15 und 16 eine von der Steuervorrichtung 15 für die Verschlußgeschwindigkeit ausgeführte Steuerprozedur der Verschlußgeschwindigkeit beschrieben.
-
15 zeigt ein Flußdiagramm, das eine Hauptroutine in der CCD-Steuerung 17 darstellt. Nach einer Initialisierung im Schritt S101 wird im Schritt S102 eine Musterabbildung aus dem Dual-Port-Speicher 16 eingegeben. Im nächsten Schritt S103 wird eine Subroutine für die Datenverarbeitung ausgeführt. In dieser Subroutine werden eine Mittelung der Abbildungsdaten und eine Berechnung der angemessenen Verschlußgeschwindigkeit ausgeführt. Als nächstes geht der Vorgang zum Schritt S104 über, bei dem die berechnete Verschlußzeit ausgegeben wird und dann springt der Vorgang auf den Schritt S102 zurück, von dem aus der Vorgang wiederholt wird.
-
Gemäß einer detaillierteren Beschreibung des Vorgangs in der Datenverarbeitungs-Subroutine nach 16 wird zuerst die Helligkeit der Abbildung für jede Zone des Abbildungsbildes, nämlich die Zonen I, II, III, IV, V, VI und VII gemäß Darstellung in 5 gemittelt. Dann wird auf der Basis dieser gemittelten Helligkeitsdaten und der augenblicklichen Verschlußgeschwindigkeit ein jeder Zone entsprechender Verschlußgeschwindigkeitspegel SSL (I), SSL (II), SSL (III), SSL (IV), SSL (V), SSL (VI) und SSL (VII) von einer jeweils entsprechenden in den 8 bis 12 dargestellten Tabelle ausgelesen. Dann geht der Vorgang auf den Schritt S208 über, bei dem das Gesamtergebnis Σ SSL der so erhaltenen Verschlußgeschwindigkeitspegel berechnet wird und kehrt dann zur Hauptroutine zurück.
-
Wenn die Abbildungsbilder der linken und rechten CCD-Kamera 11a und 11b, nachdem sie der vorgenannten Verschlußgeschwindigkeitssteuerung und Helligkeitssteuerung unterworfen wurden, in den Abbildungsspeichern 33a bzw. 33b aufgezeichnet sind, werden im Schritt S303 die linken und rechten Abbildungsdaten in die Eingangspufferspeicher 41a, 41b, 42a und 42b aus dem linken und dem rechten Abbildungsspeicher 33a und 33b über die Busleitung 80 eingeschrieben und es wird ein Abgleich, nämlich eine Überprüfung auf Koinzidenz zwischen dem linken und dem rechten darin eingeschriebenen Bild ausgeführt. Die Abbildungsdaten werden jeweils in einige Zeilen zusammengefaßt in die Eingangspufferspeicher eingelesen, beispielsweise mit 4 Zeilen für jedes Bild.
-
Das Dateneinschreiben in die Pufferspeicher aus den Abbildungsspeichern und das Dateneinschreiben in die Schieberegister aus den Pufferspeichern wird abwechselnd zwischen den zwei Pufferspeichern für das linke und das rechte Bild durchgeführt. Beispielsweise werden in dem linken Bild, während die momentanen Daten aus dem Abbildungsspeicher 33a in den Pufferspeicher 41a eingeschrieben werden, die vorherigen Daten aus dem Pufferspeicher 41b in das Schieberegister 43b eingeschrieben und zum nächsten Zeitpunkt werden, während die nächsten Daten aus dem Abbildungsspeicher 33b in den Pufferspeicher 41b eingeschrieben werden, die zum vorherigen Zeitpunkt eingeschriebenen Daten aus dem Pufferspeicher 41a in das Schieberegister 43a eingeschrieben. In ähnlicher Weise werden am rechten Bild dieselben Operationen durchgeführt.
-
Ferner werden nach Darstellung in 18 die Abbildungsdaten eines aus 4 × 4 Bildelementen bestehenden Kleinbereichs des linken (rechten) Bildes in der Art (1, 1) ... (4, 4) angeordnet. Diese Abbildungsdaten treten nacheinander in das Schieberegister 43a (44a) für die Zeilen 1, 2 des Kleinbereichs und in das Schieberegister 43b (44b) für die Zeilen 3, 4 in der Reihenfolge einer ungeradzahligen Zeile nach einer geradzahligen Zeile gemäß Darstellung in 18 ein.
-
Die Schieberegister 43a, 43b, 44a und 44b besitzen jeweils eine unabhängige Datenübertragungsleitung. Daher werden die Daten des 4 × 4 Bildelements z. B. in acht Taktzyklen übertragen. Dann geben diese Schieberegister 43a, 43b, 44a und 44b gleichzeitig den Inhalt der geradzahligen Schritte von den 8 Schritten an die Abstandsfunktionswert-Berechnungsschaltung 45 aus, und bei Beginn der Berechnung des Abstandsfunktionswertes H werden die Daten des rechten Bildes in den Schieberegistern 44a und 44b gehalten und die Daten der ungeradzahligen Zeilen und der geradzahligen Zeilen werden abwechselnd pro Taktsignal ausgegeben. Andererseits werden die Daten des linken Bildes weiter zu den Schieberegistern 43a und 43b übertragen, und während der abwechselnden Ausgabe der Daten der ungeradzahligen Zeilen und der geradzahligen Zeilen werden die Daten, welche in der Richtung eines Bildelements nach rechts verschoben werden, mit jedem zweiten Takt zurückgeschrieben. Dieses wird wiederholt, bis ein Abschnitt von 100 Bildelementen (z. B. mit 200 Taktimpulsen) verschoben wurde.
-
Wenn die Übertragung aller einen Kleinbereich betreffenden Daten abgeschlossen ist, wird der Inhalt des rechten Bildadressenzählers (die Hauptadresse des Kleinbereichs der nächsten 4 × 4 Bildelemente) in dem linken Bildadressenzähler in der #2-Adressensteuerung 87 gesetzt und die Verarbeitung des nächsten Kleinbereichs begonnen.
-
In der Abstandsfunktionswert-Berechnungsschaltung 45 werden gemäß einem Zeitdiagramm von 19 die Daten eines 8-Bildelementeabschnitts zuerst in den Absolutwertrechner der Eingangsstufe der Pyramidenstruktur eingegeben und der Absolutwert der Helligkeitsdifferenz zwischen dem linken und dem rechten Bild berechnet. Insbesondere wird dann, wenn die Helligkeit des entsprechenden rechten Bildelements von der Helligkeit des linken Bildelements subtrahiert wird und das Ergebnis dieser Subtraktion negativ ist, durch Änderung des Berechnungsbefehls und nochmaliger Ausführung der Subtraktion mit vertauschten Subtrahenden und Minuenden der Absolutwert berechnet. Demzufolge wird im Anfangsstadium in einigen Fällen die Subtraktion zweimal ausgeführt.
-
Als nächstes addieren nach dem Ablauf des Initialisierungsschrittes die ersten bis dritten Addierer aus den zweiten bis vierten Stufen die gleichzeitig eingegebenen Eingangsdaten und geben das Ergebnis aus. Ferner werden die zwei nachfolgenden Daten in dem Gesamtergebnisrechner der letzten Stufe, in der das Gesamtergebnis gebildet wird, addiert und ein erforderlicher Abstandsfunktionswert H für einen Abschnitt mit 16 Bildelementen wird mit jedem zweiten Takt an den Abschnitt 50 zur Erkennung der Minimum/Maximum-Werte ausgegeben.
-
Dann geht der Vorgang zum Schritt S304 über, bei dem ein Maximumwert HMAX und ein Minimumwert HMIN bezüglich des im Schritt S303 berechneten Abstandsfunktionswertes H erkannt werden. Wie vorstehend beschrieben, ist der Erkennungsvorgang für den Maximumwert HMAX und den Minimumwert HMIN genau derselbe, außer daß eine wechselseitig vertauschte Logik verwendet wird und der Abweichungswert ”x” nicht zurückbehalten wird, weshalb eine nachstehende Beschreibung nur für die Erkennung des Minimumwertes HMIN erfolgt.
-
Zuerst wird der anfangs ausgegebene Abstandsfunktionswert H (H bei dem Abweichungsbetrag x = 0) in das Register B 46b der ALU 46 über den Zwischenspeicher C 53 der Minimumwert-Erkennungsschaltung 51 gemäß Darstellung in 14 eingegeben. Der beim nächsten Takt ausgegebene Abstandsfunktionswert H (H bei dem Abweichungsbetrag x = 1) wird in das Register A 46a der ALU 46 und in den Zwischenspeicher C 53 eingegeben und zum selben Zeitpunkt wird die Vergleichsberechnung mit dem Register B 46b in der ALU 46 gestartet.
-
Wenn das Ergebnis der Vergleichsberechnung in der ALU 46 anzeigt, daß der Inhalt des Register A 46a kleiner als der des Registers B 46b ist, wird der Inhalt des Zwischenspeichers C 53 (nämlich der Inhalt des Registers A 46a) zu dem Register B 46b gesendet, und der Abweichungsbetrag ”x” dieses Zeitpunkts wird in dem Zwischenspeicher D 55 zurückgehalten. Ferner wird mit diesem Takt der Abstandsfunktionswert H (H bei dem Abweichungsbetrag X = 2) in das Register A 46a und in den Zwischenspeicher C 53 gleichzeitig eingegeben, und dann wird die Vergleichsberechnung noch einmal gestartet.
-
Somit wird der Minimumwert während der Berechnung immer in dem Register B 46b gespeichert und der Abweichungsbetrag ”X” dieses Zeitpunkts wird immer in dem Zwischenspeicher D 55 zurückgehalten, während die Berechnung fortgesetzt wird, bis der Abweichungsbetrag ”x” zu 100 wird. Wenn die Berechnung abgeschlossen ist (d. h. ein Takt nach der Ausgabe des letzten Abstandsfunktionswertes H) wird der Inhalt des Registers B 46b und des Zwischenspeichers D 55 in den Abschnitt 60 für die Bestimmung des Abweichungsbetrages geschrieben.
-
Während dieser Zeit wird der Anfangswert des nächsten Kleinbereichs in die Abstandsfunktionswert-Berechnungsschaltung 45 eingelesen, so daß ein Zeitverlust vermieden wird, da mit jedem zweiten Takt ein neues Berechnungsergebnis dank der Pipeline-Struktur erhalten wird, während anderenfalls vier Takte zur Berechnung eines Abstandsfunktionswertes H erforderlich wären.
-
In einem Schritt S305 werden der Minimumwert HMIN und der Maximumwert HMAX des Abstandsfunktionswertes H bestimmt, der Abschnitt 60 für die Erkennung des Abweichungsbetrags überprüft die drei vorgenannten Bedingungen und der Abweichungsbetrag ”x” wird bestimmt. Insbesondere wird gemäß Darstellung in dem Zeitdiagramm von 20 der Minimumwert HMIN in das Register B 72 des Rechners 61 über den Bus B 62b zwischengespeichert und andererseits wird der Schwellenwert HA, welcher mit dem Wert in dem Register B 72 verglichen wird über den Bus A 62a in das Register A 71 zwischengespeichert. Dann werden in der ALU 70 der Minimumwert HMIN und der Schwellenwert HA verglichen und wenn der Minimumwert HMIN größer als der Schwellenwert ist, wird die Umschaltschaltung 65 zurückgesetzt und ”0” wird unabhängig von den Ergebnissen der späteren Prüfungen ausgegeben.
-
Der Maximumwert HMAX wird dann in das Register A 71 zwischengespeichert, und der Unterschied zwischen dem Maximumwert HMAX und dem in dem Register B 72 zurückgehaltenen Minimumwert HMIN wird berechnet, und dieses Ergebnis wird an das Register F 73 ausgegeben. Mit dem nächsten Takt wird die Umschaltschaltung 65 zurückgesetzt, wenn der Inhalt des Registers F 73 kleiner als der im Register A 71 zwischengespeicherte Schwellenwert HB ist.
-
Die Berechnung des Helligkeitsunterschieds zwischen benachbarten Bildelementen wird mit dem nächsten Takt gestartet. Die zwei Schieberegisterpaare 64a und 64b, welche die Helligkeitsdaten enthalten, weisen einen zehnstufigen Aufbau auf und sind mit der letzten Stufe des Schieberegisters 44a für die erste und zweite Zeile des Abstandsfunktionswert-Berechnungsabschnitts 40 und dem Schieberegister 44b für die dritte und vierte Zeile des Abstandsfunktionswert-Berechnungsabschnitts 40 verbunden. Das Ausgangssignal dieser Schieberegister wird von der letzten Stufe und von der Stufe, die zwei Stufen vorher kommt, entnommen und an den Bus A 62a bzw. den Bus B 62b ausgegeben.
-
Wenn die Berechnung des Helligkeitsunterschiedes gestartet ist, werden die Helligkeitsdaten jedes Bildelements im Kleinbereich in jeder Stufe des Schieberegisters 64a und 64b zurückgehalten, und zuerst werden die Helligkeitsdaten der ersten Zeile der vierten Spalte des vorherigen Kleinbereichs und die der ersten Zeile der ersten Spalte des momentanen Kleinbereichs in das Register A 71 und das Register B 72 des Rechners 61 zwischengespeichert.
-
Dann wird der Absolutwert des Unterschiedes zwischen dem Inhalt des Registers A 71 und dem des Registers B 71 berechnet und das Ergebnis in dem Register F 73 gespeichert. Ferner wird mit dem nächsten Takt der Schwellenwert HC in das Register A 71 zwischengespeichert und mit dem Wert des Registers F 73 verglichen.
-
Wenn der Inhalt des Registers F 73 (der Absolutwert des Helligkeitsunterschiedes) als Ergebnis des Vergleichs im Rechner 61 größer als der Inhalt des Registers A 71 (der Schwellenwert HC) ist, dann gibt die Umschaltschaltung 65 entweder den Abweichungsbetrag ”x” oder ”0” aus, und wenn der Inhalt des Registers F 73 kleiner als der des Registers A 71 ist, dann gibt die Umschaltschaltung 65 ”0” aus. Diese ausgegebenen Werte werden in eine Adresse geschrieben, welche die erste Spalte der ersten Zeile des Kleinbereichs der Ausgangspufferspeicher 66a und 66b darstellt.
-
Während der Vergleich zwischen dem Schwellenwert HC und dem Helligkeitsunterschied zwischen benachbarten Bildelementen in dem Rechner 61 ausgeführt wird, werden die Schieberegister 64a und 64b um eine Stufe weitergetaktet. Dann wird die Berechnung bezüglich der Helligkeitsdaten der zweiten Zeile der vierten Spalte des vorherigen Kleinbereichs und der der zweiten Zeile der ersten Spalte des momentanen Kleinbereichs gestartet. Somit wird die Berechnung bezüglich der dritten und vierten Zeile in ähnlicher Weise ausgeführt, nachdem die Berechnung abwechselnd bezüglich der ersten Zeile und der zweiten Zeile des Kleinbereichs ausgeführt wurde.
-
Während der Berechnung sind die letzte Stufe und die erste Stufe der Schieberegister 64a und 64b in einer ringartigen Schieberegisterform miteinander verbunden. Wenn daher der Verschiebetakt nach einem Abschluß der Berechnung des gesamten Kleinbereichs zweimal hinzuaddiert worden ist, ist der Inhalt der Register auf den Zustand vor der Berechnung zurückgebracht, und wenn die Übertragung der Helligkeitsdaten des nächsten Kleinbereichs beendet ist, werden die Daten der vierten Spalte des momentanen Kleinbereichs in der letzten Stufe und in der vorletzten Stufe gespeichert.
-
Auf diese Weise werden, während die Berechnung zum Bestimmen des Abweichungsbetrags ausgeführt wird, die nächsten zu verarbeitenden Daten auf den Bussen A 62a und 62b bereitgestellt und das Ergebnis geschrieben, so daß ein Datensatz mit nur zwei für die Ausführung der Berechnung erforderlichen Takten verarbeitet werden kann. Dementsprechend können sämtliche Berechnungen z. B. innerhalb von 43 Takten, sogar unter Einschluß der Prüfungen des Minimumwertes HMIN und des Maximumwertes HMAX, welche am Anfang ausgeführt werden, abgeschlossen werden. Das heißt, es gibt eine ausreichende Toleranz für die erforderliche Zeit zur Bestimmung des Minimumwertes HMIN und des Maximumwertes HMAX des Abstandsfunktionswertes H hinsichtlich eines gegebenen Kleinbereichs, so daß es möglich ist, noch einige zusätzliche Funktionen zu haben.
-
Wenn dann der Abweichungsbetrag ”x” bestimmt ist, wird er im Schritt S306 als Abstandsverteilungsinformation von den Pufferspeichern 66a und 66b an den Dual-Port-Speicher 90 ausgegeben, und damit ist die Verarbeitung in der stereoskopischen Bildverarbeitungsvorrichtung 20 abgeschlossen. Diese Ausgangspufferspeicher 66a und 66b weisen beispielsweise eine Kapazität für einen vierzeiligen Abschnitt auf, welche dieselbe wie für die Eingangspufferspeicher 41a, 41b, 42a und 42b ist. Ferner wird die Abstandsverteilungsinformation von einem Ausgangspufferspeicher (entweder 66a oder 66b) an den Dual-Port-Speicher 90 übertragen, während ein Schreiben ausgeführt wird.
-
Als nächstes wird der zeitliche Ablauf des Gesamtsystems anhand der Darstellung des Zeitdiagramms in 21 beschrieben.
-
Als erstes wird ein Feldsignal von der linken und der rechten CCD-Kamera, die synchron betrieben werden, alle 0,1 s in die Abbildungsspeicher 33a und 33b eingegeben.
-
Als nächstes wird nach dem Abschluß des Signals für die Abbildungsübernahme die sukzessive Übertragung für jeden 4-Zeilen-Abschnitt gestartet. Diese Übertragung wird bezüglich der drei Blöcke, des rechten Bilds, des linken Bilds und des Abstandverteilungsbildes in dieser Reihenfolge ausgeführt.
-
Andererseits wird während dieser Zeit der Abweichungsbetrag ”x” bezüglich eines Eingangs/Ausgangs-Pufferspeichers berechnet und die Datenübertragung zu dem anderen Eingangs/Ausgangs-Pufferspeicher nach einer vorgegebenen Wartezeit unter Berücksichtigung der Berechnungszeit für den Abweichungsbetrag ”x” ausgeführt.
-
Wie vorstehend beschrieben, wird die Berechnung des Abstandsfunktionswertes H 100 Mal, nämlich für 100 Bildabschnitte bezogen auf einen Kleinbereich von 4 × 4 Bildelementen des rechten Bildes durchgeführt. Während der Abstandsfunktionswert H für einen einzelnen Kleinbereich berechnet wird, wird der Abweichungsbetrag ”x” des vorherigen Kleinbereichs als Abstandsverteilungsinformation nach verschiedenen Überprüfungen ausgegeben.
-
In dem Falle, bei dem beispielsweise 200 Zeilen in dem Abbildungsbild zu verarbeiten sind, wird die Verarbeitung für Vierzeilen-Bereiche 50 Mal wiederholt. Ferner gibt es die Verarbeitungszeit des Vierzeilen-Bereichs für die Übertragung der Anfangsdaten zu Beginn der Berechnung und die Verarbeitungszeit des Vierzeilen-Bereichs für die Übertragung des letzten Ergebnisses zum Abschnitt für die Bilderkennung nach dem Abschluß der Berechnung, weshalb die zusätzliche Verarbeitungszeit des Achtzeilen-Bereichs insgesamt benötigt wird. Dem Ergebnis einer tatsächlichen Operation entsprechend beträgt die gesamte Verarbeitungszeit vom Beginn der Datenübertragung des anfänglichen Abbildungsbildes bis zum Abschluß der Datenübertragung der letzten Abstandsverteilungsinformation 0,076 s.
-
Die von der vorgenannten stereoskopischen Abbildungsverarbeitungsvorrichtung 20 ausgegebene Abstandsverteilungsinformation weist einen Aufbau (Abstandabbildungsbild) wie ein Bild auf. Beispielsweise wird das von der rechten und der linken CCD-Kamera 11a und 11b aufgenommene Bild nach Darstellung in 22 zu einem Bild, wie es in 23 dargestellt ist, wenn es durch die stereoskopische Abbildungsverarbeitungsvorrichtung 20 verarbeitet wurde. Das Beispiel des Bildes in 23 weist eine Bildgröße auf, die aus 400 (lateralen) × 200 (longitudinalen) Bildelementen besteht, und schwarze Punkte darin bezeichnen Bereiche, die einen ziemlich hohen Helligkeitsunterschied zwischen benachbarten Bildelementen in der Richtung von links und rechts innerhalb des Bildes von 22 aufweisen. Die Abstandsdaten sind in diesen schwarzen Punkten enthalten. Das Koordinatensystem in dem Abstandsbild weist gemäß Darstellung in 23 den Roordinatenursprung an der oberen linken Ecke, die laterale Koordinatenachse ”i” und die longitudinale Koordinatenachse ”j” mit der Einheit eines Bildelements gemäß 23 auf.
-
Da das Bild in 22 ein Bild ist, das von der linken und der rechten CCD-Kamera 11a und 11b mit einer geeigneten Verschlußgeschwindigkeit unter der Steuerung der Vorrichtung 15 für die Verschlußsteuerung erhalten wurde, ist das Abstandsbild in 23, welches durch die Verarbeitung der Daten des das Bild aufzeichnenden Abbildungsspeichers 33 erhalten wurde, eine genaue Abstandsverteilung, auch wenn sich die Beleuchtungsstärke außerhalb des Fahrzeugs plötzlich geändert hat.
-
Somit kann aus dem Abstandsbild die dreidimensionale Lage des jedem Bildelement in dem XYZ-Raum entsprechenden Objekts auf der Basis der Kameraposition, der Brennweite der Kamera und weiterer Parameter berechnet werden, wodurch ein genauer Abstand zu dem Objekt außerhalb des Fahrzeugs ohne Verlust an Informationsmenge erkannt werden kann.
-
Die vorstehende Berechnung der dreidimensionalen Lage kann innerhalb der stereoskopischen Abbildungsverarbeitungsvorrichtung 20 ausgeführt werden und die von der stereoskopischen Abbildungsverarbeitungsvorrichtung 20 ausgegebenen Daten können über die damit verbundene Schnittstelle außerhalb bestimmt werden.
-
24 und 25 dienen der Darstellung einer zweiten Ausführungsform der vorliegenden Erfindung. 24 ist ein schematisches Diagramm, das ein Helligkeitshistogramm innerhalb einer speziellen Zone darstellt und 25 ist ein Flußdiagramm, das die Datenverarbeitung auf der Basis des Helligkeitsdiagramms darstellt.
-
Diese zweite erfindungsgemäße Ausführungsform stellt ein anderes Verfahren für die Verarbeitung der Daten im Schritt S103 bereit.
-
In der ersten erfindungsgemäßen Ausführungsform wird eine geeignete Verschlußgeschwindigkeit auf der Basis mehrerer Teilzonen bestimmt, in dieser zweiten erfindungsgemäßen Ausführungsform wird jedoch die geeignete Verschlußgeschwindigkeit auf der Basis der Helligkeitsdaten einer speziellen Zone bestimmt.
-
Das heißt, daß in diesem Falle die wichtigste Zone für die Erkennung einer Spurmarkierung, die sein oder ihr Fahrzeug führt, und eines Hindernisses vor dem Fahrzeug als spezielle Zone gewählt wird. Unter Bezugnahme auf die ausgewählte spezielle Zone wird beurteilt, ob die augenblickliche Verschlußgeschwindigkeit geeignet ist oder nicht, indem ein Helligkeitshistogramm in dieser speziellen Zone gemäß Darstellung in 24 erzeugt wird.
-
Die Beschreibung der Datenverarbeitung in dieser Ausführungsform erfolgt in den nachstehenden Kapiteln nach dem Flußdiagramm in 25.
-
Zuerst wird, wobei die Abtastanzahl n ist, die Helligkeitsbandbreite für die Klassifizierung der Abstufungsdaten für jedes Bildelement c ist, die Zeit t ist und der Verchlußgeschwindigkeitspegel L ist, ein Helligkeitshistogramm nach Darstellung in 24 durch Absuchen der speziellen Zone erzeugt. Als nächstes wird die Häufigkeitsfrequenz Fi(t) der minimalen Helligkeit in diesem Helligkeitsdiagramm im Schritt S301 und die Häufigkeitsfrequenz Fj(t) der maximalen Helligkeit im Schritt S302 berechnet. Dann geht der Vorgang auf den Schritt S303 über, bei dem der Unterschied von Fi(t) und Fj(t), nämlich Fi(t) – Fj(t) berechnet wird, um die Helligkeitsverteilung der speziellen Zone zu erfassen und diese wird als Ermittlungsfunktion Fi-j(t) bezeichnet, welche angibt, ob die momentane Verschlußgeschwindigkeit geeignet ist oder nicht.
-
Ferner wird im nächsten Schritt S304 der Steuerbetrag des Verschlußgeschwindigkeitspegel ΔSSL(t) anhand der im Schritt S303 erhaltenen Ermittlungsfunktion F
i-j(t) berechnet. Der Steuerbetrag des Verschlußgeschwindigkeitspegels ΔSSL(t) wird als ein Verhältnis zu dem Verschlußgeschwindigkeitspegel L gemäß den folgenden Gleichungen erhalten, welche experimentell ermittelt wurden.
-
Somit wird, wenn der Abweichungsbetrag ΔSSL(t) bestimmt ist, die geeignete für die Aufnahme des nächsten Bildes zu verwendende Verschlußgeschwindigkeit SSL(t + 1) im Schritt S305 durch die folgende Formel ermittelt: SSL(t + 1) = SSL(t) + ΔSSL(t) (3) wobei SSL(t + 1) eine geeignete Verschlußgeschwindigkeit für das nächste Bild und SSL(t) eine Verschlußgeschwindigkeit für das momentane Bild ist.
-
In der vorstehenden zweiten Ausführungsform wird das Helligkeitsdiagramm erzeugt, um daraus die Häufigkeitsfrequenz Fi(t) bei der minimalen Helligkeit und die Häufigkeitsfrequenz Fj(t) bei der maximalen Helligkeit in der speziellen Zone zu entnehmen, obwohl es nicht erforderlich ist, das Helligkeitshistogramm für diesen Zweck zu erstellen. Beispielsweise ist es möglich die Häufigkeitsfrequenz Fi(t) bei der minimalen Helligkeit und die Häufigkeitsfrequenz Fj(t) bei der maximalen Helligkeit unabhängig direkt aus den Helligkeitsdaten der speziellen Zone ohne Verwendung des Helligkeitshistogramms zu erhalten. Darüber hinaus müssen in der zweiten Ausführungsform die Häufigkeitsfrequenz Fi(t) und die Häufigkeitsfrequenz Fj(t) nicht jeweils ein Einzelwert sein, sondern es ist auch möglich eine Vielzahl von Häufigkeitsfrequenzen nahe bei der minimalen Helligkeit und maximalen Helligkeit aus dem Helligkeitshistogramm zu entnehmen oder diese Häufigkeitsfrequenzen direkt aus den Helligkeitsdaten der einzelnen Zone zu entnehmen.
-
Da nun die vorliegende bevorzugte Ausführungsform der vorliegenden Erfindung insoweit dargestellt und beschrieben wurde, dürfte es selbstverständlich sein, daß diese Offenbarung nur dem Zwecke der Darstellung dient und daß verschiedene Änderungen und Modifikationen ausgeführt werden können ohne von den Umfang der Erfindung, wie er in den beigefügten Patentansprüchen definiert ist, abzuweichen.