-
Hintergrund der Erfindung
-
1. Gebiet der Erfindung
-
Die
Erfindung betrifft ein Objekterfassungssystem und ein Verfahren
zum Erfassen eines Objekts, welches ein Objekt mit Hilfe von Radar
und Bildern erfasst.
-
In
letzter Zeit wurde ein Betriebsunterstützungssystem, wie zum Beispiel
ein Kollisionsvermeidungssteuersystem, ein adaptives Geschwindigkeitsregelungssystem,
ein Spurnachführungssteuersystem
und dergleichen verstärkt
entwickelt. Die Erfassung eines Objekts (Hindernisses), wie zum
Beispiel eines vorausfahrenden Fahrzeugs, ist für das Betriebsunterstützungssystem
entscheidend. Ein Objekterfassungssystem, welches in den Veröffentlichungen
JP 2003-84064 A und JP 07-125567 A offenbart ist, enthält wie nachfolgend
zwei Erfassungseinheiten, zum Beispiel ein Laserradar und eine Stereokamera,
welche ein Bild schießt.
Das Objekterfassungssystem führt
eine Zuordnung von den Erfassungsergebnissen des Radars und dem
erfassten Bild durch. Das vorausfahrende bzw. vorausbefindliche
Objekt wird auf der Basis der zuvor genannten Zuordnungsergebnisse
erfasst.
-
In
dem üblicherweise
angewandten Objekterfassungssystem erfasst jedes von zwei Arten von
Erfassungseinheiten ein Objekt, das als existent erachtet wird.
In anderen Worten, das Objekterfassungssystem kann gelegentlich
eine Vielzahl von Objekten als das vorangehende bzw. -befindliche
Objekt erfassen. Bei diesem Typ des Objekterfassungssystems wird
die Zuordnung der Erfassungsergebnisse in einem Einwegverfahren
durchgeführt,
das heißt, das
Erfassungsergebnis der einen Erfassungseinheit wird dem Erfassungsergebnis
der anderen Erfassungseinheit zugeordnet, um das Objekt zu identifizieren.
Die Zuordnung in einem umgekehrten Verfahren wird jedoch nicht durchgeführt. Dies
kann dazu führen,
dass das Objekterfassungssystem irrtümlicherweise eine Vielzahl
von Objekten identifiziert. Die so idenfizierte Vielzahl von Objekten
muss einem weiteren Verfahren unterzogen werden, um diese auf ein
einzelnes Objekt einzugrenzen, indem komplizierte Abläufe durchgeführt werden.
Auch wenn der Ablauf durchgeführt
wird, können
die identifizierten Objekte nicht auf ein einzelnes Objekt begrenzt
werden.
-
Ein
weiteres System des Standes der Technik ist in WO 02/103385 A offenbart.
-
Zusammenfassung
der Erfindung
-
Aufgabe
der vorliegenden Erfindung ist es, ein Objekterfassungssystem und
ein Verfahren zum Erfassen eines Objekts zu schaffen, welche in
der Lage sind, durch einen einfachen Prozess mit hoher Genauigkeit
ein Objekt zu erfassen.
-
Ein
Objekterfassungssystem gemäß der Erfindung
ist mit einer Radarerfassungseinrichtung versehen, die ein Objekt
mit Hilfe eines Radars erfasst, einer Bilderfassungseinrichtung,
die ein Objekt mit Hilfe eines Bildes erfasst, und einer Zuordnungseinheit,
die eine Zuordnung von einem Erfassungsergebnis der Radarerfassungseinrichtung
und einem Erfassungsergebnis der Bilderfassungseinrichtung durchführt. Die
Zuordnungseinrichtung erfasst eine Kombination aus einem durch die
Radarerfassungseinrichtung erfassten Objekt und einem aus denen der
durch die Bilderfassungseinrichtung erfassten Objekte ausgewählten Objekt,
welches dem durch die Radarerfassungseinrichtung erfassten Objekt
am nächsten
ist, erfasst eine Kombination aus einem durch die Bilderfassungseinrichtung
erfassten Objekt und einem aus denen der durch die Radarerfassungseinrichtung
erfassten Objekte ausgewählten Objekt,
welches dem durch die Bilderfassungseinrichtung erfassten Objekt
am nächsten
ist, bestimmt, ob eine Übereinstimmung
zwischen der Kombination des durch die Radarerfassungseinrichtung
erfassten Objekts und des dazu als nächstes ausgewählten und
durch die Bilderfassungseinrichtung erfassten Objekts und der Kombination
des durch die Bilderfassungseinrichtung erfassten Objekts und des
dazu als nächstes
ausgewählten
und durch die Radarerfassungseinrichtung erfassten Objekts besteht,
und bestimmt, wenn eine Übereinstimmung
besteht, dass das durch die Radarerfassungseinrichtung erfasste Objekt
das gleiche ist wie das durch die Bilderfassungseinrichtung erfasste
Objekt.
-
Ein
Verfahren zum Erfassen eines Objekts in einem System gemäß der Erfindung
ist mit einer Radarerfassungseinrichtung versehen, die ein Objekt mit
Hilfe eines Radars erfasst, einer Bilderfassungseinrichtung, die
ein Objekt mit Hilfe eines Bildes erfasst, und einer Zuordnungseinrichtung,
die eine Zuordnung von einem Erfassungsergebnis der Radarerfassungseinrichtung
und einem Erfassungsergebnis in der Bilderfassungseinrichtung durchführt. Das Verfahren
weist folgende Schritte auf: Erfassen einer Kombination eines durch
die Radarerfassungseinrichtung erfassten Objekts und eines aus denen
der durch die Bilderfassungseinrichtung erfassten Objekte ausgewählten Objekts,
welches dem durch die Radarerfassungseinrichtung erfassten Objekt
am nächsten
ist, Erfassen einer Kombination eines durch die Bilderfassungseinrichtung
erfassten Objekts und eines aus denen der durch die Radarerfassungseinrichtung
erfassten Objekte ausgewählten
Objekts, welches dem durch die Bilderfassungseinrichtung erfassten
Objekt am nächsten
ist, Bestimmen, ob eine Übereinstimmung
zwischen der Kombination aus dem durch die Radarerfassungseinrichtung
erfassten Objekt und dem dazu als nächstes ausgewählten und durch
die Bilderfassungseinrichtung erfassten Objekt und der Kombination
aus dem durch die Bilderfassungseinrichtung erfassten Objekt und
dem dazu als nächstes
ausgewählten
und durch die Radarerfassungseinrichtung erfassten Objekt besteht,
und Bestimmen, wenn eine Übereinstimmung
besteht, dass das durch die Radarerfassungseinrichtung erfasste Objekt
das gleiche ist wie das durch die Bilderfassungseinrichtung erfasste
Objekt.
-
In
dem wie oben aufgebauten Objekterfassungssystem und -verfahren wird
das Objekt sowohl durch die Radarerfassungseinrichtung als auch durch
die Bilderfassungseinrichtung erfasst. Alle Erfassungsergebnisse
werden durch die Zuordnungseinrichtung den jeweiligen Objekten zugeordnet,
die durch die Radarerfassungseinrichtung erfasst worden sind. Die
Zuordnungseinrichtung wählt
unter den durch die Bilderfassungseinrichtung erfassten Objekte
dasjenige Objekt aus, welches dem Objekt, das durch die Radarerfassungseinrichtung
erfasst wird, am nächsten
ist. Dasjenige unter den durch die Radarerfassungseinrichtung erfassten
Objekte wird mit dem ausgewählten
Objekt, das dazu am nächsten
ist, kombiniert. Alle Erfassungsergebnisse der Radarerfassungseinrichtung
werden durch die Zuordnungseinrichtung den jeweiligen Objekten zugeordnet,
die durch die Bilderfassungseinrichtung erfasst wurden. Die Zuordnungseinrichtung
wählt dann
dasjenige unter den durch die Radarerfassungseinrichtung erfassten
Objekte aus, welches dem durch die Bilderfassungseinrichtung erfassten
Objekt am nächsten ist.
Dasjenige unter den durch die Bilderfassungseinrichtung erfassten
Objekte wird mit dem ausgewählten
Objekt, das dazu am nächsten
ist, kombiniert. Es wird bestimmt, ob es eine Übereinstimmung zwischen der
Kombination des durch die Radarerfassungseinrichtung erfassten Objekts
und des dazu als nächstes
ausgewählten
und durch die Bilderfassungseinrichtung erfassten Objekts und der
Kombination des durch die Bilderfassungseinrichtung erfassten Objekts
und des dazu als nächstes
ausgewählten
und durch die Radarerfassungseinrichtung erfassten Objekts besteht.
Entsprechend wird das Objekt, welches in den übereinstimmenden Kombinationen
enthalten ist, als dasjenige beurteilt, welches durch das Objekterfassungssystem
erfasst werden soll. In dem Objekterfassungssystem werden die Erfassungsergebnisse
zweier Arten von Erfassungseinrichtungen beidseitig zugeordnet,
um nur ein Objekt unter denen auszuwählen, die durch die eine Erfassungseinrichtung
erfasst, und in den jeweiligen Zuordnungsprozessen dem durch die
andere Erfassungseinrichtung erfassten Objekt zugeordnet worden
sind. Ferner wird das Objekt, welches die Bedingung zwischen den
zuvor genannten Kombinationen erfüllt, als dasjenige durch das
Objekterfassungssystem zu erfassende Objekt festgelegt, was zu einer hohen
Erfassungsgenauigkeit führt.
In dem Objekterfassungssystem wird dasjenige unter den durch eine Erfassungseinrichtung
erfasste Objekt, welches dem durch die andere Erfassungseinrichtung
erfassten Objekt am nächsten
ist, ausgewählt,
um die jeweiligen Kombinationen zu bilden. Es wird dann bestimmt,
ob es eine Übereinstimmung
zwischen den Kombinationen gibt. Entsprechend kann das durch das
Objekterfassungssystem zu erfassende Objekt auf einfache Weise auf
der Basis der Erfassungsergebnisse der zuvor genannten zwei Arten
von Erfassungseinrichtungen durch den wie oben beschriebenen einfachen
Prozess identifiziert werden, während der
Verarbeitungsaufwand reduziert wird.
-
Als
Radarerfassungseinrichtung können
ein Millimeterwellenradar, ein Laserradar und dergleichen verwendet
werden. Als Bilderfassungseinrichtung kann eine Stereokamera verwendet
werden.
-
Gemäß dem Aspekt
der Erfindung kann unter Verwendung eines einfachen Zuordnungsprozesses
mit hoher Genauigkeit bestimmt werden, ob jedes Erfassungsergebnis
in der Radarerfassungseinrichtung und der Bilderfassungseinrichtung
das identische Objekt anzeigt, welches durch das Objekterfassungssystem
zu erfassen ist.
-
Kurze Beschreibung
der Zeichnungen
-
Die
vorangehenden und weitere Aufgaben, Merkmale und Vorteile der Erfindung
werden aus der folgenden Beschreibung der bevorzugten Ausführungsformen
mit Bezug auf die beigefügten
Zeichnungen ersichtlich, wobei gleiche Bezugszeichen für die Darstellung
gleicher Elemente verwendet werden. Es zeigen:
-
1 eine
Ansicht, welche einen Aufbau eines Hinderniserfassungssystems nach
einer Ausführungsform
gemäß der Erfindung
zeigt;
-
2 eine
beispielhafte Ansicht, welche den Zuordnungsprozess von den durch
eine Radarerfassungseinheit, wie ein Millimeterwellenradar, erfassten
Objekte und den durch eine Bilderfassungseinrichtung, wie eine Stereokamera,
erfassten Objekte darstellt, welche in einem wie in 1 gezeigten
Hinderniserfassungssystem vorgesehen ist; und
-
3 ein
Flussdiagramm, welches einen Zuordnungsprozess darstellt, welcher
durch das in 1 gezeigte Hinderniserfassungssystem
ausgeführt
wird.
-
Beschreibung
der bevorzugten Ausführunqsformen
-
Eine
Ausführungsform
des Objekterfassungssystems gemäß der Erfindung
wird mit Bezug auf die Zeichnungen beschrieben.
-
In
dieser Ausführungsform
wird das Objekterfassungssystem gemäß der Erfindung bei einem Hinderniserfassungssystem
eingesetzt, welches in einem Fahrzeug vorgesehen ist, um ein Hindernis,
welches dem Fahrzeug vorausgeht bzw. -fährt, zu erfassen. Das Hinderniserfassungssystem gemäß dieser
Ausführungsform
ist mit zwei Erfassungseinheiten, d.h. einem Millimeterwellenradar und
einer Stereokamera, versehen.
-
Bezug
nehmend auf 1 wird ein Hinderniserfassungssystem 1 beschrieben. 1 zeigt
einen Aufbau des Hinderniserfassungssystems gemäß dieser Ausführungsform.
-
Das
Hinderniserfassungssystem 1 ist in einem Fahrzeug vorgesehen
und erfasst ein Hindernis, d.h. ein Fahrzeug oder dergleichen, welches
vor dem Fahrzeug fährt
bzw. sich vor diesem befindet. Das Hinderniserfassungssystem 1 funktioniert
so, dass es dem Betriebsunterstützungssystem,
wie zum Beispiel einem Kollisionsvermeidungssteuerungssystem, einem
adaptiven Geschwindigkeitssteuerungssystem, einem Streckennachführungssteuerungssystem
und dergleichen, eine Hindernisinformation zur Verfügung stellt,
welches die Information bezüglich
des sich vorausbefindlichen Hindernisses benötigt. In dem Hinderniserfassungssystem 1 wird
jedes Erfassungsergebnis der zwei Erfassungseinheiten durch einen
einfachen Prozess zugeordnet, so dass das Hindernis, welches sich
vor dem Fahrzeug befindet, mit hoher Genauigkeit identifiziert wird.
Das Hinderniserfassungssystem ist somit mit einem Millimeterwellenradar 2,
einer Stereokamera 3 und einer ECU 4 (Elektronische
Steuereinheit) versehen. Das Hinderniserfassungssystem 1 kann
unabhängig
von dem Betriebsunterstützungssystem
vorgesehen sein. Das heißt,
es kann so aufgebaut sein, dass es die erfasste Hindernisinformation
zum Betriebsunterstützungssystem überträgt. Alternativ
kann das Hinderniserfassungssystem mit dem Betriebsunterstützungssystem
zusammengebaut sein.
-
In
dieser Ausführungsform
entsprechen das Millimeterwellenradar 2 der Radarerfassungseinheit, die
Stereokamera 3 der Bilderfassungseinheit und die ECU 4 der
Zuordnungseinheit.
-
In
dieser Ausführungsform
bezieht sich ein Millimeterwellenobjekt auf ein Objekt, welches
durch das Millimeterwellenradar 2 erfasst wird, und ein
Bildobjekt auf ein Objekt, welches durch die Stereokamera 3 erfasst
wird. Ein Verschmelzungsobjekt bezieht sich auf ein Objekt, welches
durch die Zuordnung zwischen dem Millimeterwellenobjekt und dem Bildobjekt
als dasjenige identifiziert wird, das durch das Millimeterwellenradar 2 und
die Stereokammer 3 erfasst worden ist. Es dient als die
Hindernisinformation, welche durch das Hinderniserfassungssystem 1 zur
Verfügung
gestellt wird. Das unabhängige
Millimeterwellenobjekt stellt dasjenige Objekt dar, welches nur
durch das Millimeterwellenradar 2 erfasst wird. In anderen
Worten, das unabhängige
Millimeterwellenobjekt erhält
man, indem das Verschmelzungsobjekt von den Millimeterwellenobjekten
ausgeschlossen wird. Das unabhängige
Bildobjekt stellt dasjenige Objekt dar, welches nur durch die Stereokamera 3 erfasst
wird. In anderen Worten, das unabhängige Bildobjekt erhält man,
indem das Verschmelzungsobjekt von den Bildobjekten ausgeschlossen wird.
Die jeweiligen Objekte zeigen die Information hinsichtlich der Entfernung
zwischen dem Fahrzeug und dem davor befindlichen Hindernis, der
relativen Geschwindigkeit des Hindernisses bezüglich des Fahrzeugs, den durch
das Hindernis und die Fahrtrichtung des Fahrzeugs definierten Winkel
(Information der Seitenposition), um die Position des Hindernisses
bezüglich
des Fahrzeugs zu bestimmen.
-
Das
Millimeterwellenradar 2, ein Radar zum Erfassen eines Objekts
mit Hilfe einer Millimeterwelle, ist in der Mitte einer Frontoberfläche des
Fahrzeugs angebracht. Das Millimeterwellenradar 2 gibt die
Millimeterwelle auf einer horizontalen Ebene ab, um vom Fahrzeug
nach vorne hin ausgesandt zu werden, und empfängt die reflektierte Millimeterwelle.
Das Millimeterwellenradar 2 misst die Zeitdauer, welche
von der Aussendung bis zum Empfang der Millimeterwelle verstrichen
ist, so dass die Entfernung vom vorderen Ende des Fahrzeugs zum
davor befindlichen Objekt berechnet wird. Das Millimeterwellenradar 2 berechnet
ferner eine Relativgeschwindigkeit des Fahrzeugs bezüglich des
davor befindlichen Objekts mit Hilfe des Dopplereffekts. Das Millimeterwellenradar 2 erfasst
die Richtung der Millimeterwelle, welche am intensivsten reflektiert, auf
deren Basis ein Winkel berechnet wird, welcher durch die Fahrrichtung
des Fahrzeugs und der des davor befindlichen Objekts definiert wird.
Das Millimeterwellenradar 2 kann nach Empfang der reflektierenden
Millimeterwelle das Objekt erfassen. Bei jedem Empfang der reflektierenden
Millimeterwelle wird daher ein Millimeterobjekt erhalten. Das Millimeterradar 2 dient
dazu, den Abstand, die Relativgeschwindigkeit und den Winkel zu
berechnen. Jedoch kann die ECU 4 so aufgebaut sein, dass
sie diese Werte auf der Basis der Erfassungsergebnisse des Millimeterradars 2 berechnet.
-
Das
Millimeterwellenradar 2 kann die Distanz und die Relativgeschwindigkeit
mit einer vergleichsweise höheren
Genauigkeit erfassen, aber den Winkel mit einer vergleichsweise
niedrigeren Genauigkeit. Da das Millimeterwellenradar 2 den
Abstand auf der Basis der Zeit berechnet, welche von der Aussendung
der Millimeterwelle bis zu deren Reflexion verstreicht, ist die
Genauigkeit der berechneten Entfernung verhältnismäßig höher. Da die Relativgeschwindigkeit
mit Hilfe des Dopplereffekts berechnet wird, zeigt der resultierende
Wert der Relativgeschwindigkeit eine hohe Genauigkeit. Das Millimeterwellenradar 2 identifiziert
nicht den Punkt, an welchem die Millimeterwelle in Breitenrichtung
des Objekts am intensivsten reflektiert wird. Infolgedessen ist
es wahrscheinlich, dass die Position in Breitenrichtung (seitliche
Position) schwankt, wodurch die Winkelgenauigkeit abnimmt.
-
Die
Stereokamera 3 enthält
zwei Sätze
von CCD-Kameras (nicht gezeigt), welche in einem Abstand von ca.
mehreren 10 Zentimetern in horizontaler Richtung beabstandet sind.
Die Stereokamera 3 ist ebenfalls in der Mitte der Frontoberfläche des Fahrzeugs
angebracht. Die Stereokamera 3 überträgt die jeweiligen Bilddaten,
welche durch diese zwei CCD-Kameras geschossen werden, zu einem Bildverarbeitungsabschnitt
(nicht gezeigt).
-
Der
Bildverarbeitungsabschnitt kann mit der Stereokamera 3 zusammengebaut
oder innerhalb der ECU 4 ausgebildet sein. Der Bildverarbeitungsabschnitt
identifiziert das Objekt auf der Basis der jeweiligen Bilddaten
und erzielt die Positionsinformation bezüglich des Objekts. Die Stereokamera 3 ist
in der Lage, das Objekt zu erfassen, wenn das Objekt auf der Basis
von zwei Bilddaten identifiziert wird. Bei jeder Identifizierung
eines Objekts wird ein Bildobjekt erhalten.
-
Der
Bildverarbeitungsabschnitt berechnet die Entfernung vom vorderen
Ende des Fahrzeugs zum davor befindlichen Objekt mittels Triangulation, indem
es den Unterschied der Objektansichten zwischen zwei Bilddaten verwendet.
Der Bildverarbeitungsabschnitt berechnet die Relativgeschwindigkeit auf
der Basis der Änderung
in der berechneten Entfernung über
die Zeit. Der Bildverarbeitungsabschnitt erfasst beide Enden des
erfassten Objekts in der Breitenrichtung, so dass jeder Winkel berechnet
wird, der durch die Fahrrichtung des Fahrzeugs und die jeweiligen
Enden des Objekts definiert wird. Entsprechend enthält die Seitenpositionsinformation
des Bildobjekts zwei Arten von Winkelinformationen bezüglich beiden
Enden des Objekts in Breitenrichtung.
-
Jedes
Erfassungsergebnis der Entfernung und der Relativgeschwindigkeit
der Stereokamera 3 zeigt verhältnismäßig eine geringere Genauigkeit, aber
das Erfassungsergebnis des Winkels eine verhältnismäßig höhere Genauigkeit. Da beide
Enden des Objekts in Breitenrichtung mit einer hohen Genauigkeit
auf der Basis der linken und rechten Bilddaten erfasst werden können, kann
das Erfassungsergebnis bezüglich
des Winkels eine hohe Genauigkeit aufweisen. Da jedoch die Bilddaten
von der linken und rechten CCD-Kamera bereitgestellt werden, die einige
10 Zentimeter beabstandet sind, wird für die Berechnung der Entfernung
die Triangulation bei einem im Wesentlichen spitzen Winkel durchgeführt. Entsprechend
verringert sich die Genauigkeit der Entfernung und der Relativgeschwindigkeit.
-
Die
ECU 4, d.h. die elektronische Steuereinheit, enthält eine
CPU (Prozessor), ein ROM (Festwertspeicher), ein RAM (Arbeitsspeicher)
und dergleichen. Die ECU 4 ist mit einem Millimeterwellenradar 2 und
einer Stereokamera 3 verbunden. Die ECU 4 erhält das Millimeterwellenobjekt
von dem Millimeterwellenradar 2 und das Bildobjekt von
der Stereokamera 3. Dann führt die ECU 4 eine
Zuordnung von dem Millimeterwellenobjekt und dem Bildobjekt durch,
um eine Hindernisinformation zu erhalten, zum Beispiel ein Verschmelzungsobjekt,
ein unabhängiges
Millimeterwellenobjekt oder ein unabhängiges Bildobjekt. Die ECU 4 erhält die Bilddaten
von der Stereokamera 3, auf deren Basis das Bildobjekt erzielt
wird.
-
Bezug
nehmend auf 2 wird der durch die ECU 4 durchgeführte Zuordnungsprozess
beschrieben. 2 ist eine Ansicht, welche den
Prozess zum Durchführen
der Zuordnung von den Millimeterwellenobjekten und den Bildobjekten
darstellt. Das in 2 gezeigte Beispiel deutet fünf Millimeterwellenobjekte
M1 bis M5, welche durch das Millimeterwellenradar 2 erfasst
werden, und sechs Bildobjekte I1 bis 16, welche durch die
Stereokamera erfasst werden, an.
-
Wenn
die Millimeterwellenobjekte mit einer Anzahl von n_m durch das Millimeterwellenradar 2 erfasst
werden, holt die ECU 4 jedes der Millimeterwellenobjekte
eines nach dem anderen. Die ECU 4 ordnet dann jedes der
Bildobjekte mit einer Anzahl von n_i der Reihe nach dem geholten
Millimeterwellenobjekt zu, so dass das Bildobjekt, welches dem geholten
Millimeterwellenobjekt am nächsten
ist, ausgewählt
wird. In diesem Fall werden der Abstand zwischen dem Fahrzeug und
dem Objekt und der durch das Fahrzeug und das Objekt definierte
Winkel zugeordnet, und, wenn notwendig, kann auch die Relativgeschwindigkeit
des Objekts bezüglich
des Fahrzeugs zugeordnet werden. In diesem Fall wird die Differenz
zwischen dem Abstand von dem geholten Millimeterwellenobjekt zum
Fahrzeug und dem Abstand vom nächsten
Bildobjekt zum Fahrzeug als ein Schwellenwert (mehrere Meter) gemäß der Genauigkeit
des Millimeterwellenradars 2 festgelegt, um die Abstandszuordnung
durchzuführen.
Wenn der zuvor genannte Unterschied in der Distanz gleich oder größer als
der Schwellenwert ist, kann das nächste Bildobjekt nicht ausgewählt werden.
In diesem Beispiel wird der Unterschied zwischen dem Winkel, der durch
das geholte Millimeterobjekt und der Fahrrichtung des Fahrzeugs
definiert wird, und dem Winkel, der durch das nächste Bildobjekt und der Fahrrichtung
des Fahrzeugs definiert wird, als ein Schwellenwert (mehrere Grad)
gemäß dem Millimeterwellenradar 2 festgesetzt,
um die Winkelzuordnung durchzuführen.
Wenn der zuvor genannte Unterschied im Winkel gleich oder größer als
der Schwellenwert ist, kann das nächste Bildobjekt nicht ausgewählt werden.
Wenn das nächste
Bildobjekt ausgewählt
wird, speichert die ECU 4 ein Paar aus dem geholten Millimeterwellenobjekt
und dem ausgewählten
nächsten Bildobjekt
als ein Millimeterwellenbasispaar. Die ECU 4 wiederholt
die zuvor genannte Zuordnung bezüglich
der Millimeterwellenobjekte n_m-mal
-
In
dem in 2 gezeigten Beispiel wird, wenn ein Millimeterwellenobjekt
M1 als Referenz geholt wird, ein Bildobjekt I1 ausgewählt, so
dass ein Millimeterwellenbasispaar MP1 bestimmt wird. Wenn ein Millimeterwellenobjekt
M2 als Referenz geholt wird, wird ein Bildobjekt I2 ausgewählt, so
dass ein Millimeterwellenbasispaar MP2 bestimmt wird. Wenn ein Millimeterwellenobjekt
M3 als Referenz geholt wird, wird ein Bildobjekt I2 ausgewählt, so
dass ein Millimeterwellenbasispaar MP3 bestimmt wird. Wenn ein Millimeterwellenobjekt
M4 als Referenz geholt wird, kann keines der Bildobjekte I1 bis
I6 ausgewählt werden,
um ein Millimeterwellenbasispaar zu bilden, da jeder Abstand zwischen
den jeweiligen Bildobjekten I1 bis I6 und dem Millimeterwellenobjekt
M4 den Schwellenwert übersteigt.
Wenn ein Millimeterwellenobjekt M5 als Referenz geholt wird, wird
ein Bildobjekt I3 ausgewählt,
so dass ein Millimeterwellenbasispaar MP4 bestimmt wird.
-
Wenn
die Bildobjekte in der Anzahl von n_i durch die Stereokamera 3 erfasst
werden, holt die ECU 4 jedes der Bildobjekte nacheinander.
Die ECU 4 ordnet dann jedes der Millimeterwellenobjekte
in der Anzahl n_m nacheinander dem geholten Bildobjekt zu, so dass
das Millimeterwellenobjekt, welches dem geholten Bildobjekt am nächsten ist,
ausgewählt wird. Ähnlich der
Zuordnung des Bildobjekts dem Millimeterewellenobjekt werden der
Abstand zwischen dem Fahrzeug und dem Objekt und der durch das Fahrzeug
und das Objekt definierte Winkel zugeordnet. In diesem Beispiel
wird die Differenz zwischen der Entfernung vom geholten Bildobjekt
zu dem Fahrzeug und die Entfernung von dem nächsten Millimeterwellenobjekt
zu dem Fahrzeug als ein Schwellenwert gemäß der Genauigkeit der Stereokamera 3 festgelegt.
Ebenso wird die Differenz zwischen dem Winkel, der durch das geholte
Bildobjekt und der Fahrrichtung des Fahrzeugs definiert wird, und
dem Winkel, der durch das nächste
Millimeterwellenobjekt und der Fahrrichtung des Fahrzeugs definiert
wird, als ein Schwellenwert gemäß der Genauigkeit
der Stereokamera 3 festgelegt. Wenn der zuvor genannte
Unterschied in der Distanz oder in dem Winkel gleich oder größer als
der jeweilige Schwellenwert ist, kann das nächste Millimeterwellenobjekt
nicht ausgewählt
werden. Wenn das nächste
Millimeterwellenobjekt ausgewählt
wird, speichert die ECU 4 ein Paar aus dem gewählten Bildobjekt
und dem ausgewählten
Millimeterwellenobjekt als ein Bildbasispaar. Die ECU 4 wiederholt
die zuvor genannte Zuordnung bezüglich
der Bildobjekte n_i-mal.
-
In
dem in 2 gezeigten Beispiel wird, wenn das Bildobjekt
I1 als Referenz geholt wird, das Millimeterwellenobjekt M1 ausgewählt, so
dass ein Bildbasispaar IP1 bestimmt wird. Wenn das Bildobjekt I2
als Referenz geholt wird, wird das Millimeterwellenobjekt M2 ausgewählt, so
dass ein Bildbasispaar IP2 bestimmt wird. Wenn das Bildobjekt I3
als Referenz geholt wird, wird das Millimeterwellenobjekt M5 ausgewählt, so
dass ein Bildbasispaar IP4 bestimmt wird. Wenn das Bildobjekt I4
als Referenz geholt wird, wird das Millimeterwellenobjekt M5 ausgewählt, so
dass ein Bildbasispaar IP4 bestimmt wird. Wenn das Bildobjekt I5
als Referenz geholt wird, kann keines der Millimeterwellenobjekte
M1 bis M5 ausgewählt
werden, um das Bildbasispaar zu bilden, da jede Differenz des Abstands
zwischen den jeweiligen Millimeterwellenobjekten M1 bis M5 und dem Bildobjekt
I5 den Schwellenwert übersteigt.
Wenn das Bildobjekt I6 als Referenz geholt wird, kann keines der
Millimeterwellenobjekte M1 bis M5 ausgewählt werden, um das Bildbasispaar
zu bilden, da jede Differenz im Abstand zwischen den jeweiligen Millimeterwellenobjekten
M1 bis M5 und dem Bildobjekt I6 den Schwellenwert übersteigt.
-
Die
ECU 4 führt
einen Vergleich zwischen den Millimeterwellenbasispaaren und den
Bildbasispaaren nacheinander durch, um dasjenige Millimeterwellenbasispaar
und dasjenige Bildbasispaar auszuwählen, von welchen jedes das
identische Millimeterwellenobjekt und das identische Bildobjekt
enthält. Die
ECU 4 setzt ferner die ausgewählte Kombination von Millimeterbasispaar
und Bildbasispaar, von welchen jedes das identische Millimeterwellenobjekt
und das identische Bildobjekt enthält, als ein Verschmelzungspaar
(Verschmelzungsobjekt) fest. Dann wird die Information bezüglich der
Entfernung und der Relativgeschwindigkeit, welche von den Millimeterwellenobjektdaten
abgeleitet werden, und die Information bezüglich des Winkels, welcher
aus den Bildobjektdaten abgeleitet wird, als die Verschmelzungsobjektinformation
festgelegt. In der ECU 4 werden die Millimeterwellenobjekte,
die nicht als das Verschmelzungsobjekt ausgewählt worden sind, als unabhängige Millimeterwellenobjekte
festgelegt, und werden die Bildobjekte, welche nicht als Verschmelzungsobjekt
ausgewählt
worden sind, als unabhängige
Bildobjekte festgelegt.
-
In
dem in 2 gezeigten Beispiel enthält jedes aus dem Millimeterwellenbasispaar
MP1 und dem Bildbasispaar IP1 das identische Millimeterwellenobjekt
M1 und das identische Bildobjekt I1, so dass diese ein Verschmelzungspaar
FP1 bilden. Jedes aus dem Millimeterwellenbasispaar MP1 und dem
Bildbasispaar IP2 enthält
das identische Millimeterwellenobjekt M2 und das identische Bildobjekt I2,
so dass diese das Verschmelzungspaar FP2 bilden. Jedes aus dem Millimeterwellenbasispaar
MP1 und dem Bildbasispaar IP3 enthält das identische Millimeterwellenobjekt
M5 und das identische Bildobjekt I3, so dass diese das Verschmelzungspaar
FP3 bilden. Das Millimeterwellenbasispaar MP3 hat kein Bildbasispaar,
welches das identische Millimeterwellenobjekt und das identische
Bildobjekt enthält.
Das Bildbasispaar IP4 hat kein Millimeterwellenbasispaar, welches
das identische Millimeterwellenobjekt und das identische Bildobjekt
enthält.
-
Der
in dem wie in 1 gezeigten Hinderniserfassungssystem 1 durchgeführte Zuordnungsprozess
wird mit Bezug auf das Flussdiagramm der 3 beschrieben.
-
Das
Flussdiagramm der 3 zeigt den Zuordnungsprozess,
der durch das Hinderniserfassungssystem, wie es in 1 gezeigt
ist, durchgeführt
wird.
-
Das
Hinderniserfassungssystem erfasst Millimeterwellenobjekte (n_m Objekte)
mit Hilfe des Millimeterwellenradars 2 zum Erfassen des
Objekts und erfasst Bildobjekte (n_i Objekte), mit Hilfe der Stereokamera 3 zum
Erfassen des Objekts.
-
In
Schritt S1 wird in dem Hinderniserfassungssystem 1 jedes
der n_i Bildobjekte nacheinander jedem der als Referenz geholten
Millimeterobjekte zugeordnet, und das Bildobjekt, welches dem Referenzmillimeterwellenobjekt
am nächsten
ist, ausgewählt.
In dem Fall, bei dem jede Differenz in Abstand und Winkel bezüglich des
Millimeterwellenobjekts und des ausgewählten Bildobjekts gleich oder
kleiner als jeder der Schwellenwerte ist, wird das Millimeterwellenbasispaar,
welches das geholte Millimeterwellenobjekt und das nächste Bildobjekt
enthält,
bestimmt.
-
Anschließend wird
in Schritt S2 bestimmt, ob die Zuordnung der n_i Bildobjekte den
n_m Millimeterwellenobjekten in dem Hinderniserfassungssystem 1 abgeschlossen
worden ist. Schritt S1 wird bis zur Beendigung des Zuordnungsprozesses
wiederholt durchgefürht.
In dieser Ausführungsform
wird jedes der Erfassungsergebnisse der Stereokamera 3 auf
der Basis der Erfassungsergebnisse des Millimeterradars 2 überprüft, so dass
ein Bildobjekt, welches als das nächste zu dem entsprechende
Millimeterwellenobjekten erachtet wird, identifiziert wird.
-
In
Schritt S3 wird anschließend
jedes der n_m Mlllimeterwellenobjekte nacheinander jedem der als
Referenz geholten Bildobjekte zugeordnet und das Millimeterwellenobjekt,
welches dem Referenzbildobjekt am nächsten ist, ausgewählt. In
dem Fall, bei dem jeder Unterschied in Abstand und Winkel bezüglich des
Bildobjekts und des ausgewählten Millimeterwellenobjekts
gleich oder kleiner als jeder der Schwellenwerte ist, wird das Bildbasispaar,
welches das Referenzbildobjekt und das nächste Millimeterwellenobjekt
enthält,
bestimmt.
-
Der
Ablauf geht über
zu Schritt S4, bei dem bestimmt wird, ob die Zuordnung der n_m Millimeterwellenobjekte
zu den n_i Bildobjekten in dem Hinderniserfassungssystem abgeschlossen
worden ist. Schritt S3 wird bis zur Beendigung des Zuordnungsprozesses
wiederholt durchgeführt.
In dieser Ausführungsform
wird jedes der Erfassungsergebnisse des Millimeterwellenradars 2 auf
der Basis der Erfassungsergebnisse der Stereokamera 3 überprüft, so dass
das Millimeterwellenobjekt, welches als das den jeweiligen Bildobjekten
am nächsten
erachtet wird, identifiziert wird.
-
In
Schritt S5 wird in dem Hinderniserfassungssystem 1 eine
Zuordnung zwischen allen bestimmten Millimeterwellenbasispaaren
und allen bestimmten Bildbasispaaren durchgeführt, um eine Kombination eines
Millimeterwellenbasispaars und eines Bildbasispaars zu suchen, welche
die identischen Millimeter- und Bildobjekte haben. Wenn die zuvor
genannte Kombination aus Millimeterwellenbasispaar und Bildbasispaar
in dem Hinderniserfassungssystem 1 gesucht wird, wird eine
solche Kombination als Verschmelzungspaar bestimmt und die Verschmelzungsobjektinformation,
welche den Abstand, Relativgeschwindigkeit und Winkel angeben, festgelegt.
In dem Hinderniserfassungssystem 1 werden zwei Gruppen
von Zuordnungsergebnissen, d.h. das Millimeterwellenbasispaar und
das Bildbasispaar, welche aus den zweiseitigen Zuordnungen zwischen
den Millimeterwellenobjekten und den Bildobjekten abgeleitet werden,
weiter zugeordnet. Nur wenn jedes dieser Basispaare das identische
Millimeterwellenobjekt und das identische Bildobjekt enthält, werden
diese in Verschmelzungsobjekte umgewandelt.
-
In
Schritt S6 wird in dem Hinderniserfassungssystem 1 nach
Bestimmung der Verschmelzungsobjekte (n3 Objekte) die Anzahl der
unabhängigen
Millimeterwellenobjekte (n1 = n_m – n3) und die Anzahl der unabhängigen Bildobjekte
(n2 = n_i – n3) erzielt.
Auf diese Weise bestimmt das Hinderniserfassungssystem 1 das
Verschmelzungsobjekt, das unabhängige
Millimeterwellenobjekt und das unabhängige Bildobjekt bei jeder
Erfassung des Millimeterwellenobjekts und des Bildobjekts, welche
durch das Millimeterwellenradar 2 beziehungsweise durch die
Stereokamera durchgeführt
wird.
-
In
dem Hinderniserfassungssystem 1 wird eine zweiseitige Zuordnung
zwischen den Millimeterobjekten und den Bildobjekten durchgeführt. In
dem Fall, bei dem zwei Arten solcher Zuordnungsergebnisse miteinander übereinstimmen,
wird das davor befindliche Objekt als das Verschmelzungsobjekt bestimmt.
Die Genauigkeit (Verschmelzungsgenauigkeit) beim Bestimmen der Übereinstimmung
der durch das Bild und die Millimeterwelle erfassten Objekte kann
zu einem im Wesentlichen hohen Grad verbessert werden. In dem Hinderniserfassungssystem 1 kann
eines aus dem Millimeterwellenobjekt und dem Bildobjekt, welches
dem anderen Objekt am nächsten
ist, ausgewählt
werden, und kann eine Kombination des Millimeterwellenbasispaars und
des Bildbasispaars, von welchem jedes die gleichen Objekte enthält, durch
ein einfaches Verfahren gesucht werden, wodurch der Verarbeitungsaufwand
reduziert wird.
-
Das
Hinderniserfassungssystem 1 erlaubt eine Zuordnung von
den Erfassungsergebnissen, welche auf Bildern des vorausfahrenden
Fahrzeugs basieren, und den Erfassungsergebnissen, welche aus der
Verwendung der Millimeterwelle resultieren. So kann die Hindernisinformation
mit hoher Zuverlässigkeit
verschiedenen Arten von Betriebsunterstützungssystemen zugeführt werden,
die auf geeignete Weise den Fahrzeugbetreiber beim Fahren des Fahrzeugs
unterstützen.
-
Selbstverständlich ist
die Erfindung, welche mit Bezug auf die Ausführungsform der Erfindung beschrieben
worden ist, nicht auf die zuvor genannte Ausführungsform begrenzt, sondern
kann in verschiedenen Formen ausgebildet sein.
-
Die
Ausführungsform
der Erfindung wird auf das Hinderniserfassungssystem angewandt,
das in dem Fahrzeug vorgesehen ist. Es kann auf verschiedene Arten
der Objekterfassung, zum Beispiel der berührungslosen Erfassung, angewandt
werden.
-
Die
Ausführungsform
der Erfindung enthält zwei
Arten von Erfassungseinheiten, d.h. das Millimeterwellenradar und
die Stereokamera. Jedoch kann jede andere Erfassungseinheit, wie
zum Beispiel ein Laserradar, eingesetzt werden. Ferner können drei
oder mehr Erfassungseinheiten zum Einsatz kommen.
-
In
der Ausführungsform
der Erfindung wird die Position jedes Objekts auf der Basis der
Entfernung, der Relativgeschwindigkeit und des Winkels identifiziert.
Jedoch können
zur Identifizierung der Position der jeweiligen Objekte andere Informationen,
zum Beispiel ein zweidimensionales Koordinatensystem, verwendet
werden.
-
Während die
Erfindung mit Bezug auf beispielhafte Ausführungsformen beschrieben worden ist,
ist die Erfindung selbstverständlich
nicht auf die beispielhaften Ausführungsformen oder Aufbauten begrenzt.
Im Gegenteil, die Erfindung beabsichtigt verschiedene Änderungen
und äquivalente
Anordnungen abzudecken. Während
die verschiedenen Elemente der beispielhaften Ausführungsformen
in verschiedenen Kombinationen und Zusammenstellungen gezeigt sind,
welche beispielhaft sind, liegen andere Kombinationen und Zusammenstellungen
mit mehr oder weniger oder nur einem einzelnen Element ebenfalls
innerhalb des Schutzbereichs der Erfindung.