DE102012212017A1 - Method for operating motor vehicle, involves providing position signal which is characteristic of position of motor vehicle, and providing image information by stereo camera, which has spatial information of partial area around vehicle - Google Patents

Method for operating motor vehicle, involves providing position signal which is characteristic of position of motor vehicle, and providing image information by stereo camera, which has spatial information of partial area around vehicle Download PDF

Info

Publication number
DE102012212017A1
DE102012212017A1 DE201210212017 DE102012212017A DE102012212017A1 DE 102012212017 A1 DE102012212017 A1 DE 102012212017A1 DE 201210212017 DE201210212017 DE 201210212017 DE 102012212017 A DE102012212017 A DE 102012212017A DE 102012212017 A1 DE102012212017 A1 DE 102012212017A1
Authority
DE
Germany
Prior art keywords
pers
person
image
information
info
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201210212017
Other languages
German (de)
Inventor
Axel Schwab
Wolfgang Rieger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE201210212017 priority Critical patent/DE102012212017A1/en
Publication of DE102012212017A1 publication Critical patent/DE102012212017A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

The method involves providing a position signal which is characteristic of the position of a motor vehicle (1), and providing the image information by a stereo camera, which has the spatial information of a partial area around the motor vehicle. The location of one or multiple image persons in the partial area around the motor vehicle is detected and determined based on the image information. A respective estimated position of the detected image person is determined based on the image information and the position signal of the motor vehicle. An independent claim is included for a device for operating a motor vehicle.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Betreiben eines Fahrzeugs, bei dem eine Position von Bildpersonen mittels einer Kamera und einem Positionssignal eines Fahrzeugs erfasst werden.The invention relates to a method and a device for operating a vehicle, in which a position of image persons are detected by means of a camera and a position signal of a vehicle.

Fahrzeuge werden zunehmend mit einer oder mehreren Kameras ausgestattet, die außen, also an der Peripherie des Fahrzeugs, angebracht sind. So kann eine derartige Kamera beispielsweise an einem Außenspiegel des Fahrzeugs angeordnet sein. Derartige Kameras können Fahrzeugführer unterstützen in der Wahrnehmung des Außenbereichs des Fahrzeugs.Vehicles are increasingly equipped with one or more cameras, which are mounted outside, ie at the periphery of the vehicle. For example, such a camera can be arranged on an exterior mirror of the vehicle. Such cameras can assist drivers in the perception of the exterior of the vehicle.

Die Aufgabe, die der Erfindung zugrunde liegt, ist ein Verfahren und eine Vorrichtung zu schaffen, das beziehungsweise die dazu beiträgt, dass Personen, die in der Umgebung des Fahrzeugs sind, einfach identifiziert werden.The object underlying the invention is to provide a method and a device which contributes to the easy identification of persons who are in the vicinity of the vehicle.

Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.The object is solved by the features of the independent claims. Advantageous embodiments are characterized in the subclaims.

Die Erfindung zeichnet sich aus durch ein Verfahren und eine korrespondierende Vorrichtung zum Betreiben eines Fahrzeugs. Dem Fahrzeug wird ein Positionssignal, das charakteristisch ist für die Position des Fahrzeugs, zur Verfügung gestellt. Das Positionssignal wird beispielsweise über eine Schnittstelle von einer Positionsbestimmungseinheit, die insbesondere im Fahrzeug angeordnet ist, zur Verfügung gestellt. Bei der Schnittstelle kann es sich um einen CAN-Bus oder auch eine drahtlose Schnittstelle wie zum Beispiel WLAN handeln. Die Positionsbestimmungseinheit kann eine satellitenbasierte Messeinheit aufweisen, die zum Beispiel GPS-basiert ist, sie kann auch andere Sensoren, wie zum Beispiel Intertialsensoren oder Fahrzeugsensoren aufweisen, die Betriebsgrößen des Fahrzeugs bereitstellen, wie zum Beispiel die Motordrehzahl, oder die Fahrzeuggeschwindigkeit.The invention is characterized by a method and a corresponding device for operating a vehicle. The vehicle is provided with a position signal that is characteristic of the position of the vehicle. The position signal is provided, for example, via an interface of a position determination unit, which is arranged in particular in the vehicle. The interface may be a CAN bus or a wireless interface such as WLAN. The position determination unit may include a satellite-based measurement unit that is GPS-based, for example, it may also include other sensors, such as inertial sensors or vehicle sensors, that provide operational quantities of the vehicle, such as engine speed, or vehicle speed.

Weiterhin wird eine Bildinformation mittels einer Stereokamera zur Verfügung gestellt. Die Stereokamera kann durch eine einzelne Kamera realisiert sein, oder durch eine Kombination mehrerer Kameras, bei welchen sich die Bilder der Kameras zumindest teilweise überlappen. Insbesondere ist die Stereokamera an dem Fahrzeug angeordnet, um die Umgebung des Fahrzeugs zu erfassen. Die Bildinformation umfasst räumliche Information zumindest eines Teilbereichs der Umgebung des Fahrzeugs.Furthermore, image information is provided by means of a stereo camera. The stereo camera can be realized by a single camera, or by a combination of several cameras, in which the images of the cameras overlap at least partially. In particular, the stereo camera is arranged on the vehicle to detect the surroundings of the vehicle. The image information includes spatial information of at least a portion of the environment of the vehicle.

Abhängig von der Bildinformation wird ermittelt, ob sich eine oder mehrere Bildpersonen in dem Teilbereich der Umgebung des Fahrzeugs befinden. Falls zumindest eine Bildperson in dem Teilbereich der Umgebung des Fahrzeugs erkannt wurde, wird eine jeweilige Schätzposition der erkannten Bildperson ermittelt. Die Schätzposition der erkannten Bildperson wird abhängig von der Bildinformation und dem Positionssignal des Fahrzeugs ermittelt.Depending on the image information, it is determined whether one or more image persons are located in the subarea of the surroundings of the vehicle. If at least one image person has been recognized in the subarea of the surroundings of the vehicle, a respective estimated position of the detected image person is determined. The estimated position of the recognized image person is determined depending on the image information and the position signal of the vehicle.

Außerdem wird eine erwartete Position je einer oder mehrerer Zielpersonen zusammen mit vorgegebenen jeweiligen Personeninformationen bereitgestellt. Die erwartete Position und die Personeninformation werden beispielsweise über eine Schnittstelle, wie zum Beispiel WLAN oder Bluetooth, bereitgestellt.In addition, an expected position is provided per one or more target persons together with predefined respective personal information. The expected position and the person information are provided, for example, via an interface such as WLAN or Bluetooth.

Abhängig von der jeweiligen Schätzposition und der beziehungsweise den erwarteten Positionen wird ermittelt, ob eine Zuordnungscharakteristik zwischen der jeweiligen Bildperson und einer der Zielpersonen gegeben ist. Die Zuordnungscharakteristik kann zum Beispiel eine Wahrscheinlichkeitsberechnung sein. Wenn die Zuordnungscharakteristik gegeben ist, wird die der jeweiligen Zielposition zugeordnete Personeninformation der jeweiligen Bildperson zugeordnet. Außerdem wird ein Bildpersoninformationssignal abhängig von der jeweiligen Personeninformation erzeugt, die der jeweiligen Bildperson zugeordnet ist. Das Bildpersoninformationssignal wird zum Signalisieren zuordenbar zu der jeweiligen Bildperson erzeugt.Depending on the respective estimation position and the expected position (s), it is determined whether an assignment characteristic exists between the respective image person and one of the target persons. The allocation characteristic may be, for example, a probability calculation. If the attribution characteristic is given, the personal information associated with the respective target position is assigned to the respective image person. In addition, an image person information signal is generated depending on the respective person information associated with the respective image person. The image person information signal is generated for signaling to be associated with the respective image person.

Durch dieses Vorgehen ist es möglich, Personen mit der Stereokamera, welche schon für andere Zwecke im Fahrzeug verbaut ist, zu detektieren und zu identifizieren. Die Stereokamera benötigt gegebenenfalls keine hohe Auflösung zum Ermitteln der jeweiligen Schätzposition.This procedure makes it possible to detect and identify persons with the stereo camera, which is already installed in the vehicle for other purposes. The stereo camera may not require high resolution to determine the particular estimation position.

Gemäß einer vorteilhaften Ausgestaltung weist die Personeninformation, die der jeweiligen Zielperson zugeordnet ist, mindestens ein Personenidentifizierungsmerkmal auf. Das Personenidentifizierungsmerkmal kann zum Beispiel die Haarfarbe, Hautfarbe, Geschlecht oder auch die Farbe eines Kleidungsstücks oder dergleichen sein. Abhängig von der jeweiligen Schätzposition und der beziehungsweise den erwarteten Positionen wird zuerst eine Zwischenzuordnungscharakteristik ermittelt zwischen der jeweiligen Bildperson und einer der Zielpersonen. Abhängig von einem Vergleich der Zwischenzuordnungscharakteristik mit einem vorgegebenen Schwellenwert, der repräsentativ ist für eine Wahrscheinlichkeit einer korrekten Zuordnung von Bildperson und Zielperson, wird mindestens ein Personenidentifizierungsmerkmal der Bildperson abhängig von der Bildinformation ermittelt. Insbesondere wenn die Wahrscheinlichkeit sehr hoch ist, dass es sich bei der Zielperson um die Bildperson handelt, wird das Personenidentifizierungsmerkmal der Bildperson ermittelt. Das Personenidentifizierungsmerkmal der Bildperson wird mit mindestens einem Personenidentifizierungsmerkmal der Zielperson verglichen und abhängig davon die Zuordnungscharakteristik ermittelt.According to an advantageous embodiment, the person information that is assigned to the respective target person, at least one person identification feature. The person identification feature may be, for example, the hair color, skin color, gender or even the color of a garment or the like. Depending on the respective estimation position and the expected position (s), first, an intermediate allocation characteristic is determined between the respective image person and one of the target persons. Depending on a comparison of the intermediate allocation characteristic with a predetermined threshold, which is representative of a probability of a correct assignment of image person and target person, at least one person identification feature of the image person is determined depending on the image information. In particular, when the probability is very high that the target person is the image person, the personal identification feature of the Image person determined. The person identification feature of the image person is compared with at least one person identification feature of the target person and determined depending on the assignment characteristic.

Die begrenzt vorhandene Rechenkapazität kann so gezielt genutzt werden, um eine Fehlzuordnung zu vermeiden. Auf diese Weise ist so der Rechenaufwand signifikant reduziert im Vergleich zu einem Vorgehen, bei dem in allen Fällen Personenidentifizierungsmerkmale verglichen werden.The limited available computing capacity can be used in a targeted manner to avoid misallocation. In this way, the computational effort is significantly reduced compared to a procedure in which in all cases person identification features are compared.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird die erwartete Position je einer oder mehrerer Zielpersonen und/oder die zugeordnete Personeninformation, der je einen oder mehreren Zielpersonen, extern zu dem Fahrzeug bereitgestellt. Insbesondere können diese Daten zum Beispiel vom Internet oder anderen Medien über eine Datenschnittstelle bereitgestellt werden.According to a further advantageous embodiment, the expected position of one or more target persons and / or the associated personal information, each one or more target persons, provided externally to the vehicle. In particular, these data may be provided, for example, from the Internet or other media via a data interface.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird die erwartete Position je einer oder mehrerer Zielpersonen und/oder die zugeordnete Personeninformation der je einen oder mehreren Zielpersonen von einem standortbezogenen Dienst, einem so genannten Location Based Service, bereitgestellt.In accordance with a further advantageous embodiment, the expected position of one or more target persons and / or the associated personal information of the respective one or more target persons is provided by a location-based service, a so-called location-based service.

Insbesondere die Location Based Services, wie zum Beispiel Google Latitude oder Facebook Places, eignen sich, um Bilddaten und Personenidentifizierungsmerkmale von Zielpersonen bereitzustellen.In particular, the location-based services, such as Google Latitude or Facebook Places, are suitable for providing image data and personal identification features of target persons.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird die erwartete Position je einer oder mehrerer Zielpersonen und/oder die zugeordnete Personeninformation der je einen oder mehreren Zielpersonen von Kalenderinformationen eines digitalen Kalenders bereitgestellt. Die Kalenderinformation kann zum Beispiel von einem Kalender eines Smartphones über eine WLAN- oder Bluetooth-Schnittstelle bereitgestellt werden. Eine typische Kalenderinformation ist zum Beispiel: ”Hol mich vom Hauptbahnhof ab, ich trage einen roten Pulli”.According to a further advantageous embodiment, the expected position of one or more target persons and / or the associated personal information of each one or more target persons of calendar information of a digital calendar is provided. The calendar information may be provided, for example, from a calendar of a smartphone via a WLAN or Bluetooth interface. A typical calendar information is for example: "Pick me up from the main station, I'm wearing a red sweater".

Gemäß einer weiteren vorteilhaften Ausgestaltung wird eine relative Position der jeweiligen Bildperson bezüglich des Fahrzeugs abhängig von der Bildinformation ermittelt. Abhängig von dem Positionssignal des Fahrzeugs und der relativen Position der jeweiligen Bildperson wird die Schätzposition ermittelt. So kann zum Beispiel zuerst über trigonometrische Funktionen aus der Bildinformation die Position der Bildperson bezüglich der Kameraposition ermittelt werden. Da die Ausrichtung der Kamera und die Position der Kamera im Fahrzeug bekannt sind, kann abhängig davon eine Schätzposition mit dem Positionssignal des Fahrzeugs ermittelt werden. Dadurch lässt sich eine relativ genaue Position der Bildperson ermitteln.According to a further advantageous embodiment, a relative position of the respective image person with respect to the vehicle is determined as a function of the image information. Depending on the position signal of the vehicle and the relative position of the respective image person, the estimated position is determined. Thus, for example, the position of the image person with respect to the camera position can first be determined via trigonometric functions from the image information. Since the orientation of the camera and the position of the camera in the vehicle are known, an estimation position with the position signal of the vehicle can be determined depending thereon. This allows a relatively accurate position of the image person determine.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird das Bildpersoninformationssignal derart erzeugt, dass beim Signalisieren eine kontaktanaloge Anzeige der Personeninformation erfolgen kann. Insbesondere in Fahrzeugen sind häufig Headup-Displays verbaut, hier ist es von Vorteil, wenn die Signalisierung der Personeninformation kontaktanalog zur ermittelten Person erfolgen kann.According to a further advantageous embodiment, the image person information signal is generated such that when signaling a contact analog display of the person information can be done. Especially in vehicles head-up displays are often installed, it is advantageous if the signaling of the person information can be made contact analogous to the identified person.

Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:Embodiments of the invention are explained in more detail below with reference to the schematic drawings. Show it:

1 ein Fahrzeug mit einer Vorrichtung, 1 a vehicle with a device,

2 ein Ablaufdiagramm eines Programms, das in der Vorrichtung abgearbeitet wird, 2 a flow diagram of a program that is executed in the device,

3 Signalisierung eines Bildpersoninformationssignals. 3 Signaling an image person information signal.

Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet.Elements of the same construction or function are identified across the figures with the same reference numerals.

Ein Fahrzeug 1 (1) weist zumindest eine Kamera auf. Die Kamera ist dazu ausgebildet und angeordnet, zumindest einen Teilbereich der Umgebung des Fahrzeugs 1 zu erfassen. Die Kamera kann jeweils einzeln als Stereokamera ausgebildet sein. Es kann aber auch eine Stereokamera mit mehreren Kameras realisiert sein. Eine erste Kamera KAM1 kann beispielsweise an der Front des Fahrzeugs 1 angeordnet sein. Eine zweite und dritte Kamera KAM2, KAM3 kann jeweils an einem der Seitenspiegel angeordnet sein und eine vierte Kamera kann am Heck des Fahrzeugs 1 angeordnet sein. Bei geeigneter Anordnung, insbesondere der ersten bis vierten Kamera KAMI, KAM2, KAM3, KAM4, kann die gesamte Umgebung des Fahrzeugs 1, also insbesondere eine Rundumsicht, erfasst werden.A vehicle 1 ( 1 ) has at least one camera. The camera is designed and arranged to at least a portion of the environment of the vehicle 1 capture. The camera can each be individually designed as a stereo camera. But it can also be realized with a stereo camera with multiple cameras. A first camera KAM1 can, for example, at the front of the vehicle 1 be arranged. A second and third camera KAM2, KAM3 can each be arranged on one of the side mirrors, and a fourth camera can be arranged on the rear of the vehicle 1 be arranged. With a suitable arrangement, in particular the first to fourth camera KAMI, KAM2, KAM3, KAM4, the entire environment of the vehicle 1 , So in particular a panoramic view to be detected.

Das Fahrzeug 1 weist ferner eine Vorrichtung 5 auf, die mit der mindestens einen Stereokamera signaltechnisch derart gekoppelt ist, dass sie Bildinformation B_Info von der Stereokamera empfangen kann. Darüber hinaus kann die Vorrichtung 5 auch noch mit weiteren Sensoren, die dem Fahrzeug 1 zugeordnet sind, signaltechnisch gekoppelt sein.The vehicle 1 also has a device 5 which is signal-technically coupled to the at least one stereo camera in such a way that it can receive image information B_Info from the stereo camera. In addition, the device can 5 even with other sensors that the vehicle 1 are assigned to be signal technically coupled.

Die Vorrichtung 5 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden. Darüber hinaus weist die Vorrichtung 5 bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer optischen Ausgabeeinheit. Außerdem weist sie eine oder mehrere Datenschnittstellen auf, um Daten in den Daten- und Programmspeicher zu übertragen.The device 5 has a data and program memory and further comprises a computing unit, in the programs during operation of the vehicle 1 be processed. In addition, the device has 5 Preferably, an output interface, via which it is signal-technically coupled, for example with an optical Output unit. It also has one or more data interfaces to transfer data to the data and program memory.

Ein Programm, das in der Vorrichtung 5 abgearbeitet wird, wird in einem Schritt S1 gestartet, in dem gegebenenfalls Variablen initialisiert werden können.A program that works in the device 5 is processed is started in a step S1, in which variables can be initialized if necessary.

In einem Schritt S3 wird ein Positionssignal Pos, das charakteristisch ist für die Position des Fahrzeugs 1, zur Verfügung gestellt. Das Positionssignal Pos wird beispielsweise von einer Positionsbestimmungseinheit 3 bereitgestellt. Die Positionsbestimmungseinheit 3 kann in der Vorrichtung 5 oder außerhalb der Vorrichtung 5 im Fahrzeug 1 angeordnet sein. Die Positionsbestimmungseinheit 3 kann eine satellitenbasierte Messeinheit aufweisen, die zum Beispiel GPS-basiert oder Galileo-basiert sein kann, sie kann auch andere Sensoren, wie zum Beispiel Intertialsensoren aufweisen oder Fahrzeugsensoren, die Betriebsgrößen des Fahrzeugs 1 bereitstellen, wie zum Beispiel die Motordrehzahl oder die Geschwindigkeit. Sie kann auch eine Kombination mehrerer Sensoren aufweisen. Außerdem wird eine Bildinformation B_info, welche mittels einer Stereokamera zur Verfügung gestellt wird, bereitgestellt. Die Bildinformation B_info umfasst die räumliche Information zumindest eines Teilbereichs der Umgebung des Fahrzeugs 1. Grundsätzlich kann die Bildinformation B_info von einer Stereokamera oder auch von mehreren Stereokameras zur Verfügung gestellt werden.In a step S3, a position signal Pos, which is characteristic of the position of the vehicle 1 , made available. The position signal Pos is for example from a position determination unit 3 provided. The position determination unit 3 can in the device 5 or outside the device 5 in the vehicle 1 be arranged. The position determination unit 3 may comprise a satellite-based measuring unit, which may for example be GPS-based or Galileo-based, it may also have other sensors, such as intertial sensors or vehicle sensors, the operating variables of the vehicle 1 such as engine speed or speed. It can also have a combination of several sensors. In addition, image information B_info provided by a stereo camera is provided. The image information B_info comprises the spatial information of at least a subarea of the surroundings of the vehicle 1 , Basically, the image information B_info can be provided by a stereo camera or by several stereo cameras.

In einem Schritt S5 wird eine erwartete Position E_pos je einer oder mehreren Zielpersonen Z_pers bereitgestellt. Außerdem wird eine Personeninformation P_info der je einen oder mehreren Zielpersonen Z_pers bereitgestellt. Die Personeninformation P_info und die erwartete Position E_pos können beispielsweise von Location Based Services, wie Google Latitude oder Facebook Places, oder von Kalenderinformationen eines digitalen Kalenders eines Smartphones über eine Schnittstelle, wie zum Beispiel WLAN oder Bluetooth bereitgestellt werden. Die Personeninformation P_info kann zum Beispiel den Namen der Zielperson Z_pers aufweisen. Außerdem kann sie ein Personenidentifizierungsmerkmal, wie zum Beispiel die Haarfarbe, die Hautfarbe, das Geschlecht, die Größe, Farben von Kleidungsstücken, Gesichtsmerkmale, oder andere mögliche Merkmale der Zielperson Z_pers aufweisen.In step S5, an expected position E_pos is provided for each one or more target persons Z_pers. In addition, a person information P_info is provided to the one or more target persons Z_pers. The person information P_info and the expected position E_pos can be provided, for example, by location-based services such as Google Latitude or Facebook Places, or calendar information of a digital calendar of a smartphone via an interface such as WLAN or Bluetooth. The person information P_info may, for example, have the name of the target person Z_pers. In addition, it may include a personal identification feature, such as hair color, skin color, gender, size, colors of garments, facial features, or other potential features of the subject Z_pers.

In einem Schritt S7 wird überprüft, ob eine oder mehrere Bildpersonen B_pers in dem Teilbereich der Umgebung des Fahrzeugs 1 erkannt wurden und zwar abhängig von der Bildinformation B_info. Falls keine Bildperson B_pers erkannt wurde, so wird die Bearbeitung im Schritt S3 gegebenenfalls nach einer bestimmten Wartezeit fortgesetzt.In a step S7, it is checked whether one or more image persons B_pers in the partial area of the surroundings of the vehicle 1 were detected and depending on the image information B_info. If no image person B_pers was recognized, the processing in step S3 is continued after a certain waiting time, if necessary.

Falls eine oder mehrere Bildpersonen B_pers erkannt wurden, wird in einem Schritt S9 die Schätzposition S_pos der jeweiligen Bildperson B_pers ermittelt. Die jeweilige Schätzposition S_pos der erkannten Bildperson B_pers wird abhängig von der Bildinformation B_info und dem Positionssignal Pos des Fahrzeugs 1 ermittelt. Hierbei kann zum Beispiel eine relative Position der jeweiligen Bildperson B_pers bezüglich des Fahrzeugs 1 abhängig von der Bildinformation B_info ermittelt werden. Die relative Position kann mittels trigonometrischer Funktionen aus der Bildinformation B_info ermittelt werden. Das Positionssignal Pos ist insbesondere bezogen auf einen vorgegebenen Bezugspunkt 4 des Fahrzeugs 1, welcher beispielsweise der Ursprung eines Fahrzeugkoordinatensystems ist. Unter Nutzung einer vorgegebenen Position und Ausrichtung der Stereokamera bezogen auf den Bezugspunkt 4 des Fahrzeugs 1 wird ferner abhängig von der relativen Position der jeweiligen Bildperson B_pers und dem Positionssignal Pos des Fahrzeugs 1 die Schätzposition S_pos der jeweiligen Bildperson B_pers ermittelt.If one or more image persons B_pers were recognized, the estimated position S_pos of the respective image person B_pers is determined in a step S9. The respective estimated position S_pos of the recognized image person B_pers becomes dependent on the image information B_info and the position signal Pos of the vehicle 1 determined. In this case, for example, a relative position of the respective image person B_pers with respect to the vehicle 1 be determined depending on the image information B_info. The relative position can be determined by means of trigonometric functions from the image information B_info. The position signal Pos is particularly related to a given reference point 4 of the vehicle 1 which is, for example, the origin of a vehicle coordinate system. Using a given position and orientation of the stereo camera relative to the reference point 4 of the vehicle 1 Further, it depends on the relative position of the respective image person B_pers and the position signal Pos of the vehicle 1 determines the estimated position S_pos of the respective image person B_pers.

Abhängig von der jeweiligen Schätzposition S_pos und der beziehungsweise den erwarteten Positionen E_pos wird in einem Schritt S11 ermittelt, ob eine Zuordnungscharakteristik Zuo zwischen der jeweiligen Bildperson B_pers und einer der Zielpersonen Z_pers gegeben ist. Die Zuordnungscharakteristik Zuo kann zum Beispiel repräsentativ für eine Wahrscheinlichkeit sein, ob es sich bei der Bildperson B_pers um die Zielperson Z_pers handelt. So wird zum Beispiel die Abweichung von der erwarteten Position E_pos und der ermittelten Schätzposition S_pos ermittelt, und abhängig davon die Zuordnungscharakteristik Zuo erzeugt.Depending on the respective estimated position S_pos and the expected position E_pos, it is determined in a step S11 whether an assignment characteristic Zuo is given between the respective image person B_pers and one of the target persons Z_pers. For example, the assignment characteristic Zuo may be representative of a probability as to whether the image person B_pers is the target person Z_pers. For example, the deviation from the expected position E_pos and the determined estimated position S_pos is determined, and the assignment characteristic Zuo is generated as a function thereof.

Insbesondere kann abhängig von der jeweiligen Schätzposition S_pos und der beziehungsweise den erwarteten Positionen E_pos eine Zwischenzuordnungscharakteristik zwischen der jeweiligen Bildperson B_pers und einer der Zielpersonen Z_pers ermittelt werden. Die Zwischenzuordnungscharakteristik ist repräsentativ für eine Wahrscheinlichkeit einer korrekten Zuordnung von der jeweiligen Bildperson B_pers und der jeweiligen Zielperson Z_pers und zwar insbesondere ausgedrückt in Prozent und wird abhängig von einer Abweichung der ermittelten Schätzposition S_pos und der erwarteten Position E_pos ermittelt. Ein Schwellenwert ist vorgegeben, beispielsweise mit einem Wert von 80%. Falls die Zwischenzuordnungscharakteristik größer oder gleich dem Schwellenwert ist, wird mindestens ein Personenidentifizierungsmerkmal der Bildperson B_pers abhängig von der Bildinformation B_info ermittelt. Das Personenidentifizierungsmerkmal kann zum Beispiel die Haarfarbe, die Hautfarbe, das Geschlecht, die Größe, Farben von Kleidungsstücken, Gesichtsmerkmale sein oder jedes andere mögliche Personenidentifizierungsmerkmal welches aus der Bildinformation B_info ermittelt werden kann. Ferner wird in diesem Fall das Personenidentifizierungsmerkmal der Bildperson B_pers mit dem jeweiligen entsprechenden Personenidentifizierungsmerkmal der Zielperson Z_pers verglichen und abhängig davon die Zuordnungscharakteristik Zuo ermittelt. So kann zum Beispiel aus einem Location Based Service bekannt sein, dass die gesuchte Zielperson Z_pers blond ist. Daraufhin wird nun bei der jeweiligen Bildperson B_pers überprüft, ob diese blonde Haare hat. Falls die Zwischenzuordnungscharakteristik kleiner ist als der Schwellenwert, so wird die Zuordnungscharakteristik Zuo auf einen vorgegebenen Wert gesetzt, welcher aussagt, dass keine Zuordnungscharakteristik Zuo gegeben ist, beispielsweise auf null.In particular, depending on the respective estimated position S_pos and the expected position or positions E_pos, an intermediate allocation characteristic can be determined between the respective image person B_pers and one of the target persons Z_pers. The intermediate allocation characteristic is representative of a probability of a correct assignment of the respective image person B_pers and the respective target person Z_pers, in particular expressed in percent, and is determined depending on a deviation of the determined estimation position S_pos and the expected position E_pos. A threshold is given, for example, with a value of 80%. If the intermediate allocation characteristic is greater than or equal to the threshold value, at least one person identifying feature of the image person B_pers is determined depending on the image information B_info. The person identification feature may be, for example, the hair color, skin color, gender, size, colors of garments, facial features, or any other possible personal identification feature that may be determined from the image information B_info. Furthermore, in this case the person identification feature of the image person B_pers is compared with the respective corresponding person identification feature of the target person Z_pers and, depending on this, the assignment characteristic Zuo is determined. For example, it may be known from a location-based service that the searched target person Z_pers is blond. Then it is checked at the respective image person B_pers, if this blonde has hair. If the intermediate allocation characteristic is smaller than the threshold value, the allocation characteristic Zuo is set to a predetermined value, which indicates that no allocation characteristic Zuo is given, for example, zero.

Falls die Zuordnungscharakteristik Zuo ergibt, dass es sich bei der jeweiligen Bildperson B_pers wahrscheinlich nicht um die gesuchte Zielperson Z_pers handelt, so wird die Bearbeitung im Schritt S17 fortgesetzt.If the assignment characteristic Zuo shows that the respective image person B_pers is not likely to be the searched target person Z_pers, the processing in step S17 is continued.

In dem Fall, dass es sich bei der jeweiligen Bildperson B_pers wahrscheinlich um die gesuchte Zielperson Z_pers handelt, wird die Bearbeitung in einem Schritt S13 fortgesetzt. In dem Schritt S13 wird die der jeweiligen Zielperson Z_pers zugeordneten Personeninformation P_info der jeweiligen Bildperson B_pers zugeordnet.In the case that the respective image person B_pers is likely to be the searched target person Z_pers, the processing proceeds to a step S13. In step S13, the personal information P_info assigned to the respective target person Z_pers is assigned to the respective image person B_pers.

In einem Schritt S15 wird ein Bildpersoninformationssignal B_pers_info abhängig von der jeweiligen Personeninformation P_info erzeugt, welche der jeweiligen Bildperson B_pers zugeordnet ist, und zwar zum Signalisieren zuordenbar zu der jeweiligen Bildperson B_pers. Insbesondere kann das Bildpersoninformationssignal B_pers_info derart erzeugt werden, dass beim Signalisieren eine kontaktanaloge Anzeige der Personeninformation P_info erfolgen kann. Das Bildpersoninformationssignal B_pers_info kann über eine Schnittstelle für eine Visualisierung zum Beispiel auf einem Head-Up Display bereitgestellt werden. Das Bildpersoninformationssignal B_pers_info kann beispielsweise auch derart erzeugt werden, dass es beim Signalisieren eine farbige Markierung zuordenbar zu der jeweiligen Bildperson B_pers aufweist, deren Farbton abhängt von der Zuordnungscharakteristik Zuo.In a step S15, an image person information signal B_pers_info is generated as a function of the respective person information P_info, which is assigned to the respective image person B_pers, namely for signaling to be associated with the respective image person B_pers. In particular, the image person information signal B_pers_info can be generated in such a way that a contact-analogous display of the personal information P_info can take place during the signaling. The image person information signal B_pers_info can be provided via an interface for visualization, for example on a head-up display. The image person information signal B_pers_info can, for example, also be generated in such a way that, when signaling, it has a colored marking that can be assigned to the respective image person B_pers whose color tone depends on the assignment characteristic Zuo.

Die Schritte S9 bis S15 werden für jede Bildperson B_pers durchgeführt.The steps S9 to S15 are performed for each image person B_pers.

Nach dem Schritt S15 wird das Programm in einem Schritt S17 beendet und kann gegebenenfalls wieder im Schritt S1 gestartet werden.After the step S15, the program is ended in a step S17 and may optionally be started again in the step S1.

In 3 ist eine kontaktanaloge Signalisierung des Bildpersoninformationssignal B_pers_info auf einem Head-Up Display in dem Fahrzeug 1 zu sehen. Die Personeninformation P_info wird jeweils der Bildperson B_pers zugeordnet angezeigt. In diesem Beispiel enthält sie Namen, Wohnort, Telefonnummer und Emailadresse. Zusätzlich ist die erkannte Bildperson B_pers noch markiert, in diesem Beispiel durch eine Umrandung 7 in einer speziellen Farbe.In 3 is a contact analog signaling of the image person information signal B_pers_info on a head-up display in the vehicle 1 to see. The person information P_info is displayed in each case assigned to the image person B_pers. In this example it contains name, place of residence, telephone number and email address. In addition, the recognized image person B_pers is still marked, in this example by a border 7 in a special color.

Claims (8)

Verfahren zum Betreiben eines Fahrzeugs (1), bei dem – ein Positionssignal (Pos), das charakteristisch ist für die Position des Fahrzeugs (1), zur Verfügung gestellt wird, – Bildinformation (B_info) mittels einer Stereokamera zur Verfügung gestellt wird, die räumliche Information zumindest eines Teilbereichs der Umgebung des Fahrzeugs (1) umfasst, – abhängig von der Bildinformation (B_info) ermittelt wird, ob sich eine oder mehrere Bildpersonen (B_pers) in dem Teilbereich der Umgebung des Fahrzeugs (1) befinden und falls zumindest eine Bildperson (B_pers) in dem Teilbereich der Umgebung des Fahrzeugs (1) erkannt wurde, – eine jeweilige Schätzposition (S_pos) der erkannten Bildperson (B_pers) abhängig von der Bildinformation (B_info) und dem Positionssignal (Pos) des Fahrzeugs (1) ermittelt wird, – eine erwartete Position (E_pos) je einer oder mehrerer Zielpersonen (Z_pers) zusammen mit vorgegebener jeweiliger Personeninformation (P_info) bereitgestellt wird, – abhängig von der jeweiligen Schätzposition (S_pos) und der beziehungsweise den erwarteten Positionen (E_pos) ermittelt wird, ob eine Zuordnungscharakteristik (Zuo) zwischen der jeweiligen Bildperson (B_pers) und einer der Zielpersonen (Z_pers) gegeben ist und falls dies der Fall ist, die der jeweiligen Zielperson (Z_pers) zugeordnete Personeninformation (P_info) der jeweiligen Bildperson (B_pers) zugeordnet wird und – ein Bildpersoninformationssignal (B_pers_info) abhängig von der jeweiligen Personeninformation (P_info) erzeugt wird, die der jeweiligen Bildperson (B_pers) zugeordnet ist, und zwar zum Signalisieren zuordenbar zu der jeweiligen Bildperson (B_pers).Method for operating a vehicle ( 1 ), in which - a position signal (Pos), which is characteristic of the position of the vehicle ( 1 ), image information (B_info) is provided by means of a stereo camera, the spatial information of at least a portion of the surroundings of the vehicle ( 1 ), it is determined, depending on the image information (B_info), whether one or more image persons (B_pers) in the partial area of the surroundings of the vehicle ( 1 ) and if at least one image person (B_pers) in the partial area of the surroundings of the vehicle ( 1 ), a respective estimated position (S_pos) of the recognized image person (B_pers) depending on the image information (B_info) and the position signal (Pos) of the vehicle ( 1 ), - an expected position (E_pos) is provided for each one or more target persons (Z_pers) together with predetermined respective person information (P_info), - is determined depending on the respective estimation position (S_pos) and the expected position or positions (E_pos) whether an assignment characteristic (Zuo) between the respective image person (B_pers) and one of the target persons (Z_pers) is given and, if so, the person information (P_info) associated with the respective target person (Z_pers) is assigned to the respective image person (B_pers) and - an image person information signal (B_pers_info) is generated depending on the respective person information (P_info) associated with the respective image person (B_pers), for signaling to be associated with the respective image person (B_pers). Verfahren nach Anspruch 1 bei dem, – die Personeninformation (P_info), die der jeweiligen Zielperson (Z_pers) zugeordnet ist, mindestens ein Personenidentifizierungsmerkmal aufweist, – abhängig von der jeweiligen Schätzposition (S_pos) und der beziehungsweise den erwarteten Positionen (E_pos) eine Zwischenzuordnungscharakteristik zwischen der jeweiligen Bildperson (B_pers) und einer der Zielpersonen (Z_pers) ermittelt wird, – abhängig von einem Vergleich der Zwischenzuordnungscharakteristik mit einem vorgegebenen Schwellenwert, der repräsentativ ist für eine Wahrscheinlichkeit einer korrekten Zuordnung von Bildperson (B_pers) und Zielperson (Z_pers), mindestens ein Personenidentifizierungsmerkmal der Bildperson (B_pers) abhängig von der Bildinformation (B_info) ermittelt wird, – das Personenidentifizierungsmerkmal der Bildperson (B_pers) mit mindestens einem Personenidentifizierungsmerkmal der Zielperson (Z_pers) verglichen wird und abhängig davon die Zuordnungscharakteristik (Zuo) ermittelt wird.Method according to claim 1, wherein - the personal information (P_info) associated with the respective target person (Z_pers) has at least one person identification feature, - an intermediate allocation characteristic between, depending on the respective estimation position (S_pos) and the expected position (E_pos) the respective image person (B_pers) and one of the target persons (Z_pers) is determined, depending on a comparison of the intermediate allocation characteristic with a predetermined threshold, which is representative of a probability of correct assignment of Image person (B_pers) and target person (Z_pers), at least one person identification feature of the image person (B_pers) is determined depending on the image information (B_info), - the person identification feature of the image person (B_pers) with at least one person identification feature of the target person (Z_pers) is compared and depending on the assignment characteristic (Zuo) is determined. Verfahren nach einem der vorstehenden Ansprüche, wobei die erwartete Position (E_pos) je einer oder mehrerer Zielpersonen (Z_pers) und/oder die zugeordnete Personeninformation (P_info) der je einen oder mehreren Zielpersonen (Z_pers) extern zu dem Fahrzeug (1) bereitgestellt werden.Method according to one of the preceding claims, wherein the expected position (E_pos) of one or more target persons (Z_pers) and / or the associated passenger information (P_info) of the respective one or more target persons (Z_pers) external to the vehicle ( 1 ) to be provided. Verfahren nach einem der vorstehenden Ansprüche, wobei die erwartete Position (E_pos) je einer oder mehrerer Zielpersonen (Z_pers) und/oder die zugeordnete Personeninformation (P_info) der je einen oder mehreren Zielpersonen (Z_pers) von einem standortbezogenen Dienst bereitgestellt werden.Method according to one of the preceding claims, wherein the expected position (E_pos) of one or more target persons (Z_pers) and / or the associated person information (P_info) of the respective one or more target persons (Z_pers) are provided by a location-based service. Verfahren nach einem der vorstehenden Ansprüche, wobei die erwartete Position (E_pos) je einer oder mehrerer Zielpersonen (Z_pers) und/oder die zugeordnete Personeninformation (P_info) der je einen oder mehreren Zielpersonen (Z_pers) mittels Kalenderinformationen eines digitalen Kalenders bereitgestellt werden.Method according to one of the preceding claims, wherein the expected position (E_pos) of one or more target persons (Z_pers) and / or the associated personal information (P_info) of the respective one or more target persons (Z_pers) are provided by means of calendar information of a digital calendar. Verfahren nach einem der vorstehenden Ansprüche, wobei eine relative Position der jeweiligen Bildperson (B_pers) bezüglich des Fahrzeugs (1) abhängig von der Bildinformation (B_info) ermittelt wird und abhängig von dem Positionssignal (Pos) und der relativen Position der jeweiligen Bildperson (B_pers) die Schätzposition (S_pos) ermittelt wird.Method according to one of the preceding claims, wherein a relative position of the respective image person (B_pers) with respect to the vehicle ( 1 ) is determined as a function of the image information (B_info) and the estimated position (S_pos) is determined as a function of the position signal (Pos) and the relative position of the respective image person (B_pers). Verfahren nach einem der vorstehenden Ansprüche, wobei das Bildpersoninformationssignal (B_pers_info) derart erzeugt wird, dass beim Signalisieren eine kontaktanaloge Anzeige der Personeninformation (P_info) erfolgen kann.Method according to one of the preceding claims, wherein the image person information signal (B_pers_info) is generated in such a way that a contact-analogous display of the personal information (P_info) can take place during the signaling. Vorrichtung (5) zum Betreiben eines Fahrzeugs (1), wobei die Vorrichtung (5) dazu ausgebildet ist ein Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.Contraption ( 5 ) for operating a vehicle ( 1 ), the device ( 5 ) is adapted to carry out a method according to one of claims 1 to 7.
DE201210212017 2012-07-10 2012-07-10 Method for operating motor vehicle, involves providing position signal which is characteristic of position of motor vehicle, and providing image information by stereo camera, which has spatial information of partial area around vehicle Pending DE102012212017A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210212017 DE102012212017A1 (en) 2012-07-10 2012-07-10 Method for operating motor vehicle, involves providing position signal which is characteristic of position of motor vehicle, and providing image information by stereo camera, which has spatial information of partial area around vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210212017 DE102012212017A1 (en) 2012-07-10 2012-07-10 Method for operating motor vehicle, involves providing position signal which is characteristic of position of motor vehicle, and providing image information by stereo camera, which has spatial information of partial area around vehicle

Publications (1)

Publication Number Publication Date
DE102012212017A1 true DE102012212017A1 (en) 2014-04-03

Family

ID=50276193

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210212017 Pending DE102012212017A1 (en) 2012-07-10 2012-07-10 Method for operating motor vehicle, involves providing position signal which is characteristic of position of motor vehicle, and providing image information by stereo camera, which has spatial information of partial area around vehicle

Country Status (1)

Country Link
DE (1) DE102012212017A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831556B1 (en) * 2001-05-16 2004-12-14 Digital Safety Technologies, Inc. Composite mobile digital information system
US7143130B2 (en) * 1999-12-09 2006-11-28 Ching-Fang Lin Portable multi-tracking method and system
US7693310B2 (en) * 2004-11-04 2010-04-06 Fuji Xerox Co., Ltd. Moving object recognition apparatus for tracking a moving object based on photographed image
US20110026770A1 (en) * 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143130B2 (en) * 1999-12-09 2006-11-28 Ching-Fang Lin Portable multi-tracking method and system
US6831556B1 (en) * 2001-05-16 2004-12-14 Digital Safety Technologies, Inc. Composite mobile digital information system
US7693310B2 (en) * 2004-11-04 2010-04-06 Fuji Xerox Co., Ltd. Moving object recognition apparatus for tracking a moving object based on photographed image
US20110026770A1 (en) * 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients

Similar Documents

Publication Publication Date Title
DE102011013760B4 (en) Method, device and computer program product for conveying information by means of augmented reality in connection with a road vehicle
DE102017115318A1 (en) Heads-up display for monitoring vehicle perception activity
DE102013219909A1 (en) Method and device for detecting traffic signs
DE102012221563B4 (en) FUNCTIONAL DIAGNOSIS AND VALIDATION OF A VEHICLE-BASED IMAGING SYSTEM
DE102015206477A1 (en) Method for displaying a vehicle environment of a vehicle
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
DE102011075703A1 (en) Method and device for calibrating a projection device of a vehicle
DE102012213466A1 (en) Method and device for monitoring a vehicle occupant
EP2888715B1 (en) Method and device for operating a vehicle
DE112016003546T5 (en) Apparatus for displaying assistance images for a driver and method thereto
DE102019103963A1 (en) ILDGEBUNGSVORRICHTUNG
DE102014106506A1 (en) Method for carrying out a diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
DE102013208709A1 (en) Method for determining input data of a driver assistance unit
DE102015207443A1 (en) Vehicle detection device
DE102018131805A1 (en) DEVICE FOR DETECTING A FACIAL POSITION
DE102014224795A1 (en) Method and system for representing a vehicle environment of a motor vehicle on a display device arranged in the motor vehicle
DE102018213268A1 (en) METHOD FOR APPLICATION IN A VEHICLE
DE102008046545A1 (en) Method for calibrating assembly for monitoring environment of vehicle, involves detecting environment of vehicle according to multiple image detection units
DE102013224954A1 (en) Method and device for generating a warning by means of two images captured by cameras of a vehicle environment
DE102013016356A1 (en) Method for using a camera system of a motor vehicle as an anti-theft alarm, camera system and motor vehicle
EP2429182A2 (en) Method for masking personal information from a camera
DE112017004669T5 (en) Luminance control device, luminance control system and luminance control method
DE102013012778A1 (en) Method for detecting a moving pedestrian on the basis of characteristic features and optical flow vectors of an image, camera system and motor vehicle
DE102012212017A1 (en) Method for operating motor vehicle, involves providing position signal which is characteristic of position of motor vehicle, and providing image information by stereo camera, which has spatial information of partial area around vehicle
DE102016107530B4 (en) Regulation speed indicator of a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000