DE102012203491A1 - Electronic rearview mirror system for viewing rear region behind motor car by vehicle driver, has computer evaluating image of rear region to determine portion of mirror image picture, and electronic display displaying evaluated image - Google Patents

Electronic rearview mirror system for viewing rear region behind motor car by vehicle driver, has computer evaluating image of rear region to determine portion of mirror image picture, and electronic display displaying evaluated image Download PDF

Info

Publication number
DE102012203491A1
DE102012203491A1 DE201210203491 DE102012203491A DE102012203491A1 DE 102012203491 A1 DE102012203491 A1 DE 102012203491A1 DE 201210203491 DE201210203491 DE 201210203491 DE 102012203491 A DE102012203491 A DE 102012203491A DE 102012203491 A1 DE102012203491 A1 DE 102012203491A1
Authority
DE
Germany
Prior art keywords
image
rearview mirror
electronic
display
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE201210203491
Other languages
German (de)
Other versions
DE102012203491B4 (en
Inventor
Arne Striegler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102012203491.9A priority Critical patent/DE102012203491B4/en
Publication of DE102012203491A1 publication Critical patent/DE102012203491A1/en
Application granted granted Critical
Publication of DE102012203491B4 publication Critical patent/DE102012203491B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Abstract

The system has one or multiple back cameras (4-6) for receiving an image of a rear region behind a vehicle. An inner space camera (1) e.g. black and white camera, detects a head position of a vehicle driver. A computer (3) evaluates the received image to determine a portion of a mirror image picture in dependence of the detected head position. An electronic display (7) i.e. LCD, comprises an electronic rearview mirror and displays the evaluated image. The electronic rearview mirror is arranged at a typical position of an inner rearview mirror or outer rearview mirrors (15, 16).

Description

Die Erfindung betrifft ein elektronisches Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug für den Fahrer des Kraftfahrzeugs.The invention relates to an electronic rearview mirror system for displaying a rear surrounding area behind the motor vehicle for the driver of the motor vehicle.

Kraftfahrzeuge verfügen im Allgemeinen über mehrere optische Rückspiegel, die das Beobachten des rückwärtigen Fahrzeugs erlauben. Hierbei wird zwischen Innenspiegeln und Außenspiegeln (auch als Seitenspiegel bezeichnet) unterschieden. Der Innenspiegel befindet sich typischerweise in der Mitte zwischen dem Fahrersitz und dem Beifahrersitz an Windschutzschutzscheibe und ist kipp- und schwenkbar. Der Außenspiegel ist typischerweise jeweils links und rechts am Fahrzeug angebracht, häufig in der Nähe der A-Säule.Motor vehicles generally have several optical rearview mirrors which allow the rear vehicle to be observed. Here, a difference is made between interior mirrors and exterior mirrors (also referred to as side mirrors). The interior mirror is typically located midway between the driver's seat and the passenger seat on the windshield and is tiltable and pivotable. The exterior mirror is typically mounted on the left and right sides of the vehicle, often near the A-pillar.

Nachteilig an optischen Rückspiegeln ist, dass die Sicht auf die rückwärtige Umgebung des Fahrzeugs durch das Fahrzeug zu einem großen Teil verdeckt wird. Beim Betrachten des Innenspiegel ist dabei typischerweise im Wesentlichen nur der Bereich der Heckscheibe und der hinteren Seitenscheiben sichtbar, die übrigen Bereiche werden durch das Fahrzeug verdeckt. Außerdem kann die Sicht durch eine Person auf der Rückbank erschwert werden. Beim Betrachten der Außenspiegel wird der Bereich hinter dem Fahrzeug durch die Karosserie des Fahrzeugs verdeckt. Durch die Verdeckung kann der Fahrer den Abstand des eigenen Fahrzeugs zu Hindernissen, wie einem parkenden Fahrzeug, nur schwer abschätzen. Dem Fahrer wird so das Einparken und Rangieren erschwert.A disadvantage of optical rear-view mirrors is that the view of the rear surroundings of the vehicle is largely covered by the vehicle. When viewing the interior mirror is thereby typically only the area of the rear window and the rear side windows visible, the remaining areas are covered by the vehicle. In addition, the view can be complicated by a person in the back seat. When looking at the exterior mirrors, the area behind the vehicle is covered by the body of the vehicle. The obstruction makes it difficult for the driver to estimate the distance of the own vehicle to obstacles, such as a parked vehicle. The driver is thus the parking and maneuvering difficult.

Aus dem Stand der Technik sind sogenannte kameraunterstützte Einparkhilfen bekannt, bei denen eine Rückfahrkamera im Fahrzeugheck zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug verwendet wird. Interaktive Spur- und Wendekreislinien helfen zudem den Lenkradwinkel für das Einparken zu bestimmen. Die aufgenommene Bild wird auf eine Anzeige im Fahrzeug-Cockpit dargestellt.So-called camera-assisted parking aids are known from the prior art, in which a reversing camera is used in the rear of the vehicle for picking up a rear view of a rear surrounding area behind the vehicle. Interactive lane and turning circle lines also help to determine the steering wheel angle for parking. The captured image is displayed on a display in the vehicle cockpit.

Aus der Druckschrift DE 10 2005 000 739 B4 ist ein Sichtunterstützungssystem für ein Fahrzeug bekannt, wobei zur Vermeidung der Sichtverdeckung durch eine Fahrzeugsäule, beispielsweise der A-Säule oder C-Säule, ein von einer Außenkamera aufgenommenes Bild mittels eines Projektors auf die Säule projiziert wird.From the publication DE 10 2005 000 739 B4 a visual assistance system for a vehicle is known, wherein to avoid visual obscuration by a vehicle pillar, such as the A-pillar or C-pillar, an image taken by an outdoor camera is projected onto the pillar by means of a projector.

Aus der Druckschrift DE 29612536 U1 ist eine Panorama-Rückschauanordnung bekannt, bei der das Bild einer Rückkamera auf einem Monitor angezeigt wird. Über einen Trägerrahmen ist der Monitor mit der Innenwand des Dachbereichs des Fahrzeugs verbunden.From the publication DE 29612536 U1 is a panoramic review arrangement known in which the image of a rear camera is displayed on a monitor. About a support frame, the monitor is connected to the inner wall of the roof area of the vehicle.

In der Druckschrift EP 1 527 606 B1 ist ein elektronisches Rückspiegel-System beschrieben, bei dem die Anzeige an der gleichen Position wie ein konventioneller Rückspiegel angeordnet ist. Außerdem ist ein Sensor vorhanden, welche die Orientierung der Anzeige misst. Eine Kamera nimmt ein Rückbild eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug auf. Der Fahrer kann die Ausrichtung der Kamera durch Änderung der Orientierung der Anzeige ändern.In the publication EP 1 527 606 B1 an electronic rearview mirror system is described in which the display is arranged in the same position as a conventional rearview mirror. There is also a sensor that measures the orientation of the display. A camera captures a rear view of a rearward surrounding area behind the vehicle. The driver can change the orientation of the camera by changing the orientation of the display.

Aus der Druckschrift WO 03/005102 A1 ist ein Head-Up-Display-System zur Darstellung eines Objekts eines Fahrzeugaußenraums beschrieben, welches Mittel zur Erfassung einer Position zumindest eines Insassen des Fahrzeugs und Mittel zur ortskorrekten Darstellung des Objekts in Bezug auf die Position umfasst. Beispielsweise wird ein Verkehrszeichen detektiert und unter Berücksichtigung der Kopfposition des Fahrers ortskorrekt eine Markierung um das Verkehrszeichen herum auf die Windschutzscheibe projiziert, um das Verkehrszeichen hervorzuheben.From the publication WO 03/005102 A1 a head-up display system for displaying an object of a vehicle exterior space is described, which comprises means for detecting a position of at least one occupant of the vehicle and means for the correct representation of the object with respect to the position. For example, a traffic sign is detected and, taking into account the driver's head position, a marker is projected around the traffic sign on the windshield in a location-correct manner in order to highlight the traffic sign.

In der Druckschrift DE 10 2008 059 269 A1 ist ein Verfahren zur Verbesserung der Rundumsicht in einem Fahrzeug beschrieben, wobei mit mindestens einer am Fahrzeug angebrachten Kamera mindestens ein Bild eines Winkelbereiches der Umgebung erzeugt und dieses auf einer Bildanzeigeeinrichtung im Innenraum des Fahrzeuges im Blickfeld eines Fahrers angezeigt wird. Hierbei wird in Abhängigkeit von einer sensorischen Erfassung einer Kopfposition eines Fahrers ein Ausschnitt des Kamerabildes als Anzeigeinhalt extrahiert und zur Anzeige gebracht wird. Die Anzeige ist dabei beispielsweise im Bereich der A-Säule oder C-Säule integriert.In the publication DE 10 2008 059 269 A1 describes a method for improving the all-round visibility in a vehicle, wherein at least one image of an angular range of the environment is generated with at least one vehicle-mounted camera and this is displayed on an image display device in the interior of the vehicle in the field of view of a driver. Here, depending on a sensory detection of a head position of a driver, a section of the camera image is extracted as a display content and displayed. The display is integrated, for example, in the area of the A-pillar or C-pillar.

Es ist Aufgabe der Erfindung, eine Vorrichtung zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug anzugeben, bei welcher der von einem konventionellen optischen Rückspiegel bekannte Nachteil der Verdeckung durch das eigene Fahrzeug ausgeräumt ist und welches sich intuitiv vom Fahrer handhaben lässt.It is an object of the invention to provide a device for displaying a rear surrounding area behind the motor vehicle, in which the known from a conventional optical rearview mirror disadvantage of the cover is eliminated by the own vehicle and which can be handled intuitively by the driver.

Die Aufgabe wird durch die Merkmale des Anspruchs 1 gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen beschrieben.The object is solved by the features of claim 1. Advantageous embodiments are described in the dependent claims.

Das erfindungsgemäße elektronische Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs umfasst mindestens eine Rückkamera zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug. Vorzugsweise wird eine Mehrzahl von Rückkameras verwendet, welche an unterschiedlichen Positionen angeordnet sind und jeweils ein Teilrückbild aufnehmen. Die Teilrückbilder der Rückkameras werden dann zu dem Rückbild zusammengefügt.The electronic rearview mirror system according to the invention for displaying a rear surrounding area comprises at least one rear camera for taking a rear view of a rear surrounding area behind the vehicle. Preferably, a plurality of rear view cameras are used, which are arranged at different positions and in each case a partial return image take up. The partial returns of the rear cameras are then merged into the return image.

Ferner wird eine Positionserfassungseinrichtung zum Erfassen einer Kopfposition des Fahrers verwendet, beispielsweise handelt es sich bei der erfasste Kopfposition um die mittlere Position beider Augen. Positionserfassungseinrichtungen zum Erfassen der Kopfposition sind beispielsweise aus den Druckschriften WO 03/005102 und DE 10 2008 059 269 A1 bekannt.Further, a position detecting means is used for detecting a head position of the driver, for example, the detected head position is the middle position of both eyes. Position detection devices for detecting the head position are known, for example, from the documents WO 03/005102 and DE 10 2008 059 269 A1 known.

Zur Positionserfassung wird vorzugsweise eine Innenraum-Kamera verwendet. Das aufgezeichnete Bild kann mittels bekannter Mustererkennungsalgorithmen analysiert werden, um die Position des Kopfes, insbesondere der Augen, zu bestimmen.For position detection, an interior camera is preferably used. The recorded image can be analyzed by known pattern recognition algorithms to determine the position of the head, especially the eyes.

Außerdem ist ein Bildberechnungsmittel zum Berechnen eines anzuzeigenden Bildes vorhanden. Die Bestimmung der Position- und die Berechnung des Bildes können mittels eines gemeinsamen Rechners erfolgen. Das Bildberechnungsmittel ist eingerichtet, in Abhängigkeit der Fahrerposition einen spiegelverkehrten Bildausschnitt aus dem Rückbild zu bestimmen. Zur Bestimmung eines Bildausschnitts aus dem Rückbild kann beispielsweise eine Projektion verwendet werden, wie dies später noch erläutert wird. Das anzuzeigende Bild kann nur Bildinformation des Rückbilds umfassen; alternativ kann das Bild noch weitere Elemente umfassen, beispielsweise eine Drahtgitterdarstellung des eigenen Fahrzeugs und/oder Rangierhinweise.There is also an image calculating means for calculating an image to be displayed. The determination of the position and the calculation of the image can be done by means of a common computer. The image calculating means is set up to determine a mirror-inverted image section from the return image as a function of the driver's position. For example, a projection can be used to determine an image section from the return image, as will be explained later. The image to be displayed may include only image information of the back image; Alternatively, the image may include other elements, such as a wireframe representation of the own vehicle and / or Rangierhinweise.

Die Spiegelverkehrung ist notwendig, um das Verhalten eines optischen Rückspiegels zu imitieren, da das Bild eines optischen Rückspiegels gegenüber der Wirklichkeit spiegelverkehrt ist. Um ein spiegelverkehrtes Bild zu erhalten, kann beispielsweise zunächst ein Bildausschnitt aus dem Rückbild bestimmt werden (beispielsweise durch Projektion) und anschließend der Bildausschnitt in ein spiegelverkehrtes Bild umgerechnet werden. Alternativ kann das Rückbild auch zunächst in ein spiegelverkehrtes Rückbild umgerechnet werden und anschließend ein Bildausschnitt aus dem spiegelverkehrten Rückbild bestimmt werden.Mirroring is necessary to mimic the behavior of an optical rearview mirror because the image of an optical rearview mirror is mirrored to reality. In order to obtain a mirror-inverted image, for example, an image section can first be determined from the return image (for example by projection) and then the image section can be converted into a mirror-inverted image. Alternatively, the return image can also first be converted into a mirror-inverted return image and then an image section from the mirror-inverted return image can be determined.

Ferner ist ein elektronischer Rückspiegel vorgesehen, welcher eine elektronische Anzeige umfasst, die das von dem Bildberechnungsmittel berechnete Bild anzeigt. Bei der elektronischen Anzeige handelt es sich beispielsweise um eine Flüssigkristallanzeige, auch als LCD-Display bezeichnet (LCD – Liquid Crystal Display).Furthermore, an electronic rearview mirror is provided, which comprises an electronic display, which displays the image calculated by the image calculation means. The electronic display is, for example, a liquid crystal display, also referred to as an LCD display (LCD - Liquid Crystal Display).

Das angezeigte Bild entspricht vorzugsweise dem Bild eines optischen Rückspiegels ohne die für den optischen Rückspiegel typische Sichtverdeckung durch das eigene Fahrzeug. Das eigene Fahrzeug kann dabei beispielsweise als Drahtgittermodell oder als Modell mit halbtransparenten Flächen im dem Bild enthalten sein. Bei halbtransparenten Flächen sind sowohl die Flächen als auch der Hintergrund hinter den Flächen sichtbar. Es kann auch ein Drahtgittermodell mit halbtransparenten Flächen verwendet werden.The displayed image preferably corresponds to the image of an optical rearview mirror without the visual obscuration inherent in the optical rearview mirror by the own vehicle. The own vehicle can be contained for example as a wireframe model or as a model with semi-transparent surfaces in the image. For semi-transparent surfaces, both the surfaces and the background behind the surfaces are visible. A wireframe model with semi-transparent areas can also be used.

Der elektronische Rückspiegel ist vorzugsweise an einer typischen Position eines Innen-Rückspiegels oder eines Außen-Rückspiegels angeordnet. Beispielsweise ist der Rückspiegel im Fall eines Innen-Rückspiegels zwischen dem Fahrer- und Beifahrersitz im oberen Bereich der Windschutzscheibe angebracht (oder am Dach in der Nähe der oberen Begrenzung des Windschutzscheibe) oder im Fall eines Außen-Rückspiegels in der Nähe der A-Säule angeordnet, beispielsweise am sogenannten Spiegeldreieck.The electronic rearview mirror is preferably disposed at a typical position of an interior rearview mirror or an exterior rearview mirror. For example, in the case of an inside rearview mirror, the rearview mirror is mounted between the driver's and front passenger's seats in the upper portion of the windshield (or on the roof near the upper limit of the windshield) or in the case of an outside rearview mirror in the vicinity of the A-pillar , for example, at the so-called mirror triangle.

Das erfindungsgemäße Rückspiegel-System erlaubt es dem Fahrer, durch sein Fahrzeug quasi hindurchzusehen, da die Einschränkung der Sicht durch die Verdeckung seitens des eigenen Fahrzeugs wie bei einem konventionellen optischen Rückspiegel entfällt, so dass beispielsweise ein Einparkvorgang oder sonstiger Rangiervorgang erheblich vereinfacht wird. Die durch die Bauform des Fahrzeugs bedingte eingeschränkte Sicht entfällt also.The rearview mirror system according to the invention allows the driver to look through his vehicle quasi, since the restriction of visibility due to the obscurity of the own vehicle as in a conventional optical rearview mirror is omitted, so that, for example, a parking or other maneuvering process is greatly simplified. The limited by the design of the vehicle limited visibility is therefore eliminated.

Durch die kopfpositionsadaptive Anpassung der Anzeige, nämlich die Bestimmung des spiegelverkehrten Bildausschnitts in Abhängigkeit der Kopfposition, reagiert die Anzeige auf Kopfbewegungen vorzugsweise genauso oder zumindest ähnlich, wie der Fahrer es von einem konventionellen optischen Rückspiegel-System gewohnt ist. Der Fahrer kann durch den gewohnten Blick auf den Rückspiegel die Umgebung hinter dem eigenen Fahrzeug betrachten und intuitiv durch die Kopfbewegung die Sicht nach hinten anpassen, wie er es von einem konventionellen Rückspiegel gewohnt ist. Der Fahrer muss die Fertigkeiten zum Benutzen des Systems also nicht neu erlernen, sondern kann auf seine bisherigen Fertigkeiten zur Benutzung des optischen Rückspiegels zurückgreifen. Der Fahrer muss sich also nicht an die Technik anpassen, sondern die Technik ist hier an die mit einem gewöhnlichen optischen Rückspiegel gewonnene Erfahrung des Fahrers angepasst.By the Kopfpositionsadaptive adjustment of the display, namely the determination of the mirror image in dependence on the head position, the display reacts to head movements preferably the same or at least similar to how the driver is used to it from a conventional optical rearview mirror system. With the usual view of the rear-view mirror, the driver can look at the surroundings behind his own vehicle and intuitively adjust the rearward view of the head, as he is used to from a conventional rear-view mirror. The driver does not have to re-learn the skills to use the system, but can rely on his previous skills to use the optical rearview mirror. The driver does not have to adapt to the technology, but the technology is adapted to the experience of the driver with an ordinary optical rearview mirror.

Ferner ermöglicht die kopfpositionsadaptive Anpassung der Anzeige, dass sich das System ohne zusätzliche Eingabe durch den Fahrer an unterschiedliche Körpergrößen anpasst.Further, the head position adaptive adjustment of the display allows the system to adapt to different body sizes without additional driver input.

Typischerweise verschiebt sich bei Bewegung des Kopfes der spiegelverkehrte Bildausschnitt und/oder ändert sich die Vergrößerung des spiegelverkehrten Bildausschnitts.Typically, as the head moves, the mirrored image section shifts and / or the magnification of the mirrored image section changes.

Der elektronische Rückspiegel reagiert auf Bewegungen des Kopfes des Fahrers vorzugsweise in entsprechender Weise, wie der Fahrer es von einem konventionellen optischen Rückspiegel gewöhnt ist:
Bei einer Kopfbewegung mit gleichbleibendem Abstand zu der Anzeigenfläche verschiebt sich der spiegelverkehrte Bildausschnitt in entgegengesetzter Richtung zu der Kopfbewegung wie bei einem optischen Rückspiegel. Wenn sich beispielsweise der Kopf nach oben bewegt, verschiebt sich der spiegelverkehrte Bildausschnitt nach unten und es werden weiter unten liegende Bildobjekte sichtbar, wobei Bildobjekte nach oben aus der Anzeige herauslaufen. Wenn sich beispielsweise der Kopf nach rechts bewegt, verschiebt sich das spiegelverkehrte Bildausschnitt aus der Sicht des Fahrers in der Anzeige nach links und auf der Anzeige weiter links liegende Bildobjekte werden sichtbar, während rechts liegende Bildobjekte nach rechts aus der Anzeige herauslaufen. The electronic rearview mirror is responsive to movements of the driver's head, preferably in a similar manner as the driver is used to from a conventional optical rearview mirror:
With a head movement with a constant distance to the display surface, the mirror-inverted image section moves in the opposite direction to the head movement as in an optical rearview mirror. For example, as the head moves up, the mirrored frame shifts down, and lower-level picture objects become visible, with picture objects running up out of the display. For example, if the head is moving to the right, the mirrored frame shifts to the left from the driver's point of view, and image objects further to the left of the display become visible, while right-side frames move to the right of the display.

Bei Zubewegen des Kopfes auf die Anzeige entlang der Richtung zwischen Kopfposition und der elektronischen Anzeige nimmt die Vergrößerung des spiegelverkehrten Bildausschnitts ab (d. h. die Größe des Bildausschnitts im Rückbild nimmt zu).When the head moves to the display along the direction between the head position and the electronic display, the magnification of the mirrored image section decreases (i.e., the size of the image section in the back image increases).

In ähnlicher Weise wie das Spiegelglas bei einem konventionellen optischen Rückspiegel ist auch bei dem erfindungsgemäßen elektrischen Rückspiegel-System die elektronische Anzeige vorzugsweise in ihrer Ausrichtung verstellbar, nämlich typischerweise horizontal drehbar und/oder vertikal kippbar. Der dargestellte Bildausschnitt hängt dabei von der Ausrichtung der elektronischen Anzeige, insbesondere der horizontalen Drehlage und/oder der vertikalen Kipplage der elektronischen Anzeige ab.In a manner similar to the mirror glass in a conventional optical rearview mirror, the electronic display is also preferably adjustable in its orientation, namely typically horizontally rotatable and / or vertically tiltable, in the electric rearview mirror system according to the invention. The image detail shown depends on the orientation of the electronic display, in particular the horizontal rotational position and / or the vertical tilt position of the electronic display.

Die Bestimmung der Ausrichtung, insbesondere des Kipp- und/oder Drehwinkels, erfolgt vorzugsweise mittels einer Innenraum-Kamera und einer Referenzlichtquelle. Bei der Innenraum-Kamera handelt es sich beispielsweise um dieselbe Kamera, die vorzugsweise auch zur Bestimmung der Kopfposition verwendet wird. Die Innenraum-Kamera ist dabei in dem elektronischen Rückspiegel integriert, wobei bei Ändern der Ausrichtung der Anzeige auch die Ausrichtung der Innenraum-Kamera geändert wird. Bei horizontalem Drehen oder vertikalem Kippen der elektronischen Anzeige wird vorzugsweise auch die Innenraum-Kamera gedreht bzw. gekippt.The determination of the orientation, in particular of the tilting and / or rotation angle, preferably takes place by means of an interior camera and a reference light source. The interior camera is, for example, the same camera, which is preferably also used to determine the head position. The interior camera is integrated in the electronic rearview mirror, wherein the orientation of the interior camera is changed when changing the orientation of the display. In horizontal turning or vertical tilting of the electronic display, preferably also the interior camera is rotated or tilted.

Das Rückspiegel-System ist eingerichtet, durch Erfassen der Referenzlichtquelle mittels der Innenraum-Kamera die Ausrichtung der elektronischen Anzeige, insbesondere ein Maß für die horizontale Drehlage bzw. vertikale Kipplage, zu bestimmen.By detecting the reference light source by means of the interior camera, the rearview mirror system is set up to determine the orientation of the electronic display, in particular a measure of the horizontal rotational position or vertical tilt position.

Zur perspektivisch korrekten Darstellung des Bildes auf der elektrischen Anzeige wird vorzugsweise ein 3D-Modell verwendet, welches die Anzeigenfläche der Anzeige, das Rückbild und einen Betrachter an bestimmten Positionen umfasst. Die Position des Betrachters ist dabei die Kopfposition oder wird in Abhängigkeit der Kopfposition bestimmt (beispielsweise durch eine Ebenenspiegelung an der Anzeigenebene, wie dies später noch erläutert wird). Über das 3D-Modell wird ein Bildausschnitt aus dem Rückbild mittels rechnerischer Projektion des Rückbildes auf die Anzeigenfläche bestimmt. Durch die Begrenzung der Anzeigenfläche wird nur ein Teil des Rückbildes auf der Anzeigenfläche abgebildet.For perspective representation of the correct image on the electric display, a 3D model is preferably used, which comprises the display area of the display, the rear image and a viewer at certain positions. The position of the viewer is the head position or is determined depending on the head position (for example, by a level mirroring at the ad level, as will be explained later). Using the 3D model, an image section from the return image is determined by means of computational projection of the return image onto the advertising surface. Limiting the ad slot only reflects part of the back image on the ad slot.

Beispielsweise kann aus der Kopfposition eine gespiegelte Kopfposition berechnet werden, wobei die gespiegelte Kopfposition sich aus der Kopfposition durch Ebenenspiegelung an der Anzeigenfläche als Spiegelebene ergibt. Die gespiegelte Position entspricht dann der Position des Betrachters. Bei Kenntnis der gespiegelten Position kann dann eine rechnerische Zentralprojektion des Rückbildes auf die Anzeigenfläche durchgeführt werden, wobei das Projektionszentrum der Zentralprojektion an der gespiegelten Position liegt.For example, a mirrored head position can be calculated from the head position, with the mirrored head position resulting from the head position by plane mirroring on the display surface as a mirror plane. The mirrored position then corresponds to the position of the viewer. If the mirrored position is known, then a mathematical central projection of the return image on the display surface can be carried out, with the projection center of the central projection lying in the mirrored position.

Vorzugsweise berechnet das Bildberechnungsmittel ein Bild, welches neben dem Bildausschnitt aus dem Rückbild eine möglichst perspektivisch korrekte Darstellung des eigenen Kraftfahrzeugs umfasst. Damit die Sicht nicht durch das eigene Kraftfahrzeug verdeckt wird, handelt es sich hierbei vorzugsweise um ein Drahtgittermodell oder ein Modell mit halbtransparenten Flächen, wobei beide Darstellungsformen eine Durchsicht durch Flächen des Fahrzeugs erlauben.The image calculation means preferably calculates an image which, in addition to the image detail from the return image, comprises a view of the own motor vehicle that is as perspectively correct as possible. So that the view is not covered by the own motor vehicle, this is preferably a wireframe model or a model with semi-transparent surfaces, both forms of presentation allow a view through surfaces of the vehicle.

Hierzu umfasst das 3D-Modell vorzugsweise ein Modell des Fahrzeugs, beispielsweise in Form eines Drahtgitterobjektes. Auch dieses wird vorzugsweise auf die Anzeigenfläche in dem 3D-Modell projiziert.For this purpose, the 3D model preferably comprises a model of the vehicle, for example in the form of a wire mesh object. Again, this is preferably projected onto the ad slot in the 3D model.

Ferner kann Hindernisinformation einer Hindernissensorik zur Überwachung eines rückwärtigen Umgebungsbereiches verwendet werden und in die Darstellung des Kraftfahrzeugs miteinfließen. Durch eine Änderung der Farbe des dargestellten Fahrzeugs kann beispielsweise der jeweilige Abstand zu einem Hindernis dargestellt werden, beispielsweise der Abstand zu einem Fahrzeug im rückwärtigen Umgebungsbereich. Bei der Hindernissensorik handelt es sich beispielsweise um eine ultraschallbasierte oder radarbasierte Einparkhilfe.Furthermore, obstacle information of an obstacle sensor system can be used to monitor a rearward surrounding area and can be included in the representation of the motor vehicle. By changing the color of the vehicle shown, for example, the respective distance to an obstacle can be displayed, for example, the distance to a vehicle in the rear surrounding area. The obstacle sensors are, for example, an ultrasound-based or radar-based parking aid.

Die Darstellung des Fahrzeugs in Abhängigkeit der Hindernisinformation könnte auch ohne die vorstehend beschriebene kopfpositionsadaptive Anpassung der Darstellung realisiert werden. Hierfür ist also die Positionserfassungseinrichtung und die Bestimmung eines Bildausschnitts in Abhängigkeit der Kopfposition nicht zwingend.The presentation of the vehicle as a function of the obstacle information could also be realized without the above-described head position adaptive adaptation of the representation. For this purpose, therefore, the position detection device and the Determination of an image section depending on the head position is not mandatory.

Vorzugsweise ist in oder auf der Anzeige ein optischer Spiegel integriert, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist.Preferably, in or on the display, an optical mirror is integrated, which is substantially congruent with the display area.

Der Rückspiegel ist dabei gemäß einer ersten Ausführungsvariante vorzugsweise in einem ersten Betriebsmodus betreibbar, in dem die elektronische Anzeige aktiv ist. Ferner ist der Rückspiegel in einem zweiten Betriebsmodus betreibbar ist, in dem die Anzeige deaktiv ist und der Rückspiegel unter Verwendung des optischen Spiegels als optischer Rückspiegel arbeitet. Elektronische Anzeigen, die im ausgeschalteten Zustand als Spiegel dienen, sind im Stand der Technik bekannt, beispielsweise als TV-Bildschirm zur Wandmontage. Ein Beispiel hierfür ist der Mirror-TV 30HM9202/12 des Herstellers Philips.In this case, according to a first embodiment variant, the rearview mirror is preferably operable in a first operating mode in which the electronic display is active. Further, the rearview mirror is operable in a second operation mode in which the display is deactivated and the rearview mirror operates using the optical mirror as the optical rearview mirror. Electronic displays, which serve as a mirror in the off state, are known in the art, for example as a TV screen for wall mounting. An example of this is the Mirror-TV 30HM9202 / 12 from the manufacturer Philips.

Vorzugsweise wird dabei der Betriebsmodus in Abhängigkeit des eingelegten Getriebegangs gesteuert. Wenn beispielsweise vom Rückwärtsgang in den Vorwärtsgang geschaltet wird, wird der elektronische Rückspiegel beispielsweise in den zweiten Betriebsmodus umgeschaltet. Wenn beispielsweise vom Vorwärtsgang in den Rückwärtsgang geschaltet wird, wird der elektronische Rückspiegel beispielsweise in den ersten Betriebsmodus umgeschaltet.Preferably, the operating mode is controlled depending on the engaged transmission gear. For example, when shifting from reverse to forward, the electronic rearview mirror is switched, for example, to the second operating mode. For example, when switching from the forward gear to the reverse gear, the electronic rearview mirror is switched, for example, to the first operating mode.

Die Integration eines optischen Spiegels, das Vorsehen zweier Betriebsmodi und die Steuerung des Betriebsmodus könnten jeweils auch ohne die vorstehend beschriebene kopfpositionsadaptive Anpassung der Darstellung realisiert werden. Hierfür ist es also die Positionserfassungseinrichtung und die Bestimmung eines Bildausschnitts in Abhängigkeit der Kopfposition nicht zwingend.The integration of an optical mirror, the provision of two operating modes and the control of the operating mode could each be realized without the head position adaptive adaptation of the representation described above. For this purpose, it is therefore not mandatory for the position detection device and the determination of an image section as a function of the head position.

Gemäß einer zweiten Ausführungsvariante wird das Bild der elektronischen Anzeige mit dem optischen Spiegelbild gleichzeitig überlagert, so dass das Fahrzeug für den Fahrer halbtransparent erscheint. Auch hierfür ist die kopfpositionsadaptive Anpassung der Darstellung nicht zwingend notwendig.According to a second embodiment variant, the image of the electronic display is simultaneously superimposed on the optical mirror image, so that the vehicle appears semi-transparent to the driver. Again, the Kopfpositionsadaptive adjustment of the presentation is not mandatory.

Die Erfindung wird nachfolgend unter Zuhilfenahme auf die beigefügten Zeichnungen anhand eines Ausführungsbeispiels beschrieben. In diesen zeigen:The invention will be described below with reference to the accompanying drawings with reference to an embodiment. In these show:

1 ein Ausführungsbeispiel für das erfindungsgemäße elektronische Rückspiegel-System; 1 an embodiment of the electronic rearview mirror system according to the invention;

2 ein beispielhaftes 3D-Modell mit einer ersten Kopfposition und einer ersten Ausrichtung der Anzeige des Rückspiegels; 2 an exemplary 3D model with a first head position and a first orientation of the display of the rearview mirror;

3 ein beispielhaftes 3D-Modell mit einer zweiten Kopfposition und der ersten Ausrichtung der Anzeige des Rückspiegels; 3 an exemplary 3D model with a second head position and the first orientation of the display of the rearview mirror;

4 ein beispielhaftes 3D-Modell mit der ersten Kopfposition und einer zweiten Ausrichtung der Anzeige des Rückspiegels; und 4 an exemplary 3D model with the first head position and a second orientation of the display of the rearview mirror; and

5 ein beispielhaftes Bild der elektronischen Anzeige 7 aus Sicht des Fahrers. 5 an exemplary picture of the electronic display 7 from the perspective of the driver.

In 1 ist ein Ausführungsbeispiel für das erfindungsgemäße elektronische Rückspiegel-System dargestellt.In 1 an embodiment of the inventive electronic rearview mirror system is shown.

Das dargestellte Rückspiegel-System umfasst eine Innenraum-Kamera 1, welche einen Bereich des Fahrerraums des Fahrzeugs aufnimmt, insbesondere den Kopf 2 und das Gesicht des Fahrers. Der erfasste Winkelbereich der Innenraum-Kamera ist in 1 mit dem Bezugszeichen gekennzeichnet.The illustrated rearview mirror system includes an interior camera 1 which accommodates an area of the driver's compartment of the vehicle, in particular the head 2 and the driver's face. The detected angle range of the indoor camera is in 1 marked with the reference number.

Die Bildinformation wird an einen Rechner 3 gesandt, der zusammen mit der Kamera als Positionserfassungseinrichtung fungiert. Basierend auf den Bildinformationen wird die Position des Kopfes 2 in dem Mikroprozessor 3 ermittelt. Hierzu wird das aufgezeichnete Bild mittels eines geeigneten Mustererkennungsalgorithmus analysiert.The image information is sent to a computer 3 sent, which acts together with the camera as a position detection device. Based on the image information is the position of the head 2 in the microprocessor 3 determined. For this purpose, the recorded image is analyzed by means of a suitable pattern recognition algorithm.

Die Innenraum-Kamera 1 ist vorzugsweise im Innen-Rückspiegel integriert. Es ist möglich ein einfache Kamera mit niedriger Bildqualität ähnlich einer Webcam zu verwenden, beispielsweise eine einfache Schwarz-Weiß-Kamera.The interior camera 1 is preferably integrated in the interior rearview mirror. It is possible to use a simple low quality camera similar to a webcam, such as a simple black and white camera.

Durch die Bestimmung der Kopfposition kann eine kopfpositionsadaptive Anpassung der Sicht auf den rückwärtigen Umgebungsbereich des Fahrzeugs erfolgen. wodurch dem Nutzer die intuitive Handhabe des Systems ermöglicht wird.By determining the head position, a head position adaptive adaptation of the view to the rear surrounding area of the vehicle can take place. thereby enabling the user to intuitively manipulate the system.

Ferner umfasst das System beispielsweise drei Außenkameras 4–6 an verschiedenen Positionen des Hecks des Fahrzeugs. Jede der Kameras 4–6 nimmt ein Bild eines bestimmten Winkelbereichs 11–13 hinter dem Fahrzeug auf. Die Bilddaten der einzelnen Kameras werden an den Rechner 3 gesandt und dort entsprechend zusammengefügt, so dass ein einzelnes Panoramabild von der Szenerie hinter dem Fahrzeug entsteht.Further, the system includes, for example, three outdoor cameras 4 - 6 at different positions of the rear of the vehicle. Each of the cameras 4 - 6 takes an image of a certain angle range 11 - 13 behind the vehicle. The image data of the individual cameras are sent to the computer 3 sent and put together accordingly, so that a single panoramic image of the scenery behind the vehicle arises.

Der Rückspiegel umfasst neben der Innenraum-Kamera 1 eine elektronische Anzeige 7, beispielsweise ein LCD-Display, und einen in oder auf der Anzeige integrierten optischen Spiegel, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist. Der Rückspiegel stellt somit eine Kombination aus herkömmlichem optischen Spiegel (beispielsweise mit einer Reflexion von mehr als 99,9%) und elektronischer Anzeige dar, wobei der Rückspiegel durch eine entsprechende Ansteuerung zwischen einem ersten Betriebsmodus, in dem die elektronische Anzeige aktiv ist, und einem zweiten Betriebsmodus, in dem die Anzeige deaktiv ist und der Rückspiegel als optischer Rückspiegel arbeitet, hin und her schaltbar ist. Die Rückspiegel kann so einerseits als herkömmlicher optischer Rückspiegel verwendet werden, andererseits zur Darstellung von mittels der Kameras 4–6 aufgenommener Bildinformationen. Bei Einlegen des Rückwärtsgangs wird beispielsweise automatisch auf den ersten Betriebsmodus mit aktiver elektronischer Anzeige geschaltet. Im Vorwärtsgang ist der Rückspiegel im zweiten Betriebsmodus und dient als herkömmlicher optischer Rückspiegel.The rearview mirror includes next to the interior camera 1 an electronic display 7 For example, an LCD display, and an integrated in or on the display optical mirror, which is substantially congruent with the display surface. The rearview mirror thus represents a combination of conventional optical mirror (for example, with a reflection of more than 99.9%) and electronic display, wherein the rearview mirror is switchable by a corresponding control between a first operating mode in which the electronic display is active, and a second operating mode in which the display is deactivated and the rearview mirror operates as an optical rearview mirror. The rearview mirror can be used on the one hand as a conventional optical rearview mirror, on the other hand for the representation of means of the cameras 4 - 6 recorded image information. When engaging reverse gear, for example, automatically switched to the first operating mode with active electronic display. In forward gear, the rearview mirror is in the second operating mode and serves as a conventional optical rearview mirror.

Die Anzeige 7 des Rückspiegels ist vorzugsweise wie ein konventioneller Rückspiegel horizontal drehbar und vertikal kippbar.The ad 7 the rearview mirror is preferably horizontally rotatable and vertically tiltable like a conventional rearview mirror.

Ferner ist eine Referenzlichtquelle 8, beispielsweise in Form einer LED (Light Emitting Diode), vorhanden. Diese dient zum Feststellen des Kipp- und Drehwinkels der Anzeige 7.Further, a reference light source 8th , For example, in the form of an LED (Light Emitting Diode), available. This serves to determine the tilt and rotation angle of the display 7 ,

Vorzugsweise handelt es sich um eine Infrarot-LED 8, da infrarotes Licht für das menschliche Auge nicht sichtbar ist, jedoch bei Verwendung einer entsprechenden Innenraum-Kamera 1 von der Innenraum-Kamera 1 detektiert werden kann. Somit kann die Infrarot-LED 8 für den Fahrer unauffällig verbaut werden. Eine kleine Öffnung, aus der das infrarote Licht ausstrahlt, reicht hierfür aus.Preferably, it is an infrared LED 8th because infrared light is not visible to the human eye, but using an appropriate indoor camera 1 from the interior camera 1 can be detected. Thus, the infrared LED 8th be inconspicuously installed for the driver. A small opening, from which the infrared light radiates, is sufficient for this purpose.

Zur korrekten perspektivische Darstellung auf dem LCD-Innenspiegel wird ein 3D-Modell erstellt, in dem die Positionskoordinaten eines Betrachters, die Koordinaten der Anzeigenfläche des Rückspiegels und die Koordinaten des Rückbildes (als Zusammenfügung der Bilder der Außenkameras 4–6) bekannt sind. Das Rückbild kann als zweidimensionale Fläche hinter dem Fahrzeug modelliert werden, auf dem die Kamerabilder abgebildet sind.For correct perspective display on the LCD interior mirror, a 3D model is created, in which the position coordinates of a viewer, the coordinates of the rearview mirror display area and the coordinates of the rear image (as a combination of the images of the external cameras 4 - 6 ) are known. The return image can be modeled as a two-dimensional surface behind the vehicle on which the camera images are displayed.

In 2 ist ein beispielhaftes 3D-Modell dargestellt. Das 3D-Modell umfasst die folgenden Objekte:
Ein Objekt ist die ebene, rechteckige Fläche ES mit den Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2), die den Koordinaten zweier auf einer Diagonale liegender Eckpunkte entsprechen; diese Fläche ES stellt die Anzeigenfläche des Rückspiegel dar. Im Beispiel von 2 ist die Anzeigenfläche Teil eines Innen-Rückspiegels bei einem Linkslenker-Fahrzeug, der sich zwischen dem Fahrer und dem Beifahrerplatz in der Nähe des oberen Bereichs der Windschutzscheibe befindet.In 2 an exemplary 3D model is shown. The 3D model includes the following objects:
An object is the plane, rectangular area ES with the corner coordinates (x S1 , y S1 , z S1 ) and (x S2 , y S2 , z S2 ) corresponding to the coordinates of two diagonals on a diagonal; this area ES represents the display area of the rearview mirror. In the example of 2 the display surface is part of an interior rear-view mirror in a left-hand drive vehicle, which is located between the driver and the passenger seat near the upper portion of the windshield.

Ein weiteres Objekt ist die ebene, rechteckige Fläche EH mit den Eckkoordinaten (xH1, yH1, zH1) und (xH2, yH2, zH2), die den Koordinaten zweier auf einer Diagonale liegender Eckpunkte entsprechen. Auf dieser ebenen Fläche EH wird das aus einer Aneinanderfügung der Bilder der Rück-Kameras 4–6 sich ergebene Panorama-Rückbild als Hintergrundbild abgebildet.Another object is the plane, rectangular surface EH with the corner coordinates (x H1 , y H1 , z H1 ) and (x H2 , y H2 , z H2 ) corresponding to the coordinates of two vertices on a diagonal. On this flat surface EH, this is made up of a piecing together of the images of the rear cameras 4 - 6 The resulting panorama image is displayed as a background image.

Ein weiteres Objekt ist ein in 2 nicht dargestelltes 3D-Fahrzeugobjekt, beispielsweise ein Drahtgitterobjekt, das das eigene Fahrzeug nachbildet und eine Vielzahl von Koordinaten umfasst, die wiederum vom Modelltyp des Fahrzeugs abhängen. Das 3D-Fahrzeugobjekt muss nicht vollständig sein und kann beispielsweise auf den hinteren Teil des Fahrzeugs beschränkt sein. Der Heckbereich des 3D-Fahrzeugobjekts liegt zwischen der Anzeigenfläche ES und der Fläche EH.Another object is a in 2 not shown 3D vehicle object, such as a wireframe object that replicates the vehicle and includes a variety of coordinates, which in turn depend on the model type of the vehicle. The 3D vehicle object may not be complete and may be limited to the rear of the vehicle, for example. The rear area of the 3D vehicle object lies between the display area ES and the area EH.

Ferner sind in 2 noch die ermittelten Positionskoordinaten (xK, yK, zK) des Kopfes 2 des Fahrers eingezeichnet. Statt der Positionskoordinaten (xK, yK, zK) des Fahrerkopfes 2 werden für den Betrachter jedoch die gespiegelten Positionskoordinaten (x'K, y'K, z'K) verwendet, die sich aus den Positionskoordinaten (xK, yK, zK) des Fahrerkopfes 2 durch Ebenenspiegelung an einer Spiegelebene ergeben, welche die Anzeigenfläche ES umfasst.Furthermore, in 2 nor the determined position coordinates (x K , y K , z K ) of the head 2 drawn by the driver. Instead of the position coordinates (x K , y K , z K ) of the driver's head 2 However, for the viewer, the mirrored position coordinates (x ' K , y' K , z ' K ) are used, resulting from the position coordinates (x K , y K , z K ) of the driver's head 2 by plane mirroring at a mirror plane which comprises the display area ES.

Außerdem werden die Koordinaten (xLED, yLED, zLED) der LED 8 verwendet. Diese sind durch die Fahrzeugkonstruktion gegeben und bekannt.In addition, the coordinates (x LED , y LED , z LED ) of the LED 8th used. These are given and known by the vehicle design.

Es wird vorausgesetzt, dass die Innenraumkamera 1 fest im Rückspiegel verbaut ist und daher die Koordinaten (xCAM, yCAM, zCAM) der Innenraumkamera 1 bekannt sind. Durch Drehen und Kippen des Anzeige 7 wird entsprechend die Innenraumkamera 1 gedreht und gekippt; die Koordinaten (xCAM, yCAM, zCAM) der Innenraumkamera 1 werden jedoch hierdurch nicht verändert.It is assumed that the interior camera 1 is firmly installed in the rearview mirror and therefore the coordinates (x CAM , y CAM , z CAM ) of the interior camera 1 are known. By turning and tilting the display 7 will suit the interior camera 1 turned and tilted; the coordinates (x CAM , y CAM , z CAM ) of the indoor camera 1 However, this will not change.

Aus der Kopfposition (xK, yK, zK) des Fahrers und dem Dreh- und Kippwinkel des Rückspiegels ergibt sich die Position (x'K, y'K, z'K), aus der das 3D-Modell betrachtet wird. Die begrenzten Abmessungen der Anzeigenfläche ES definieren den sichtbaren Ausschnitt des Rückbildes in der Fläche EH.From the head position (x K , y K , z K ) of the driver and the turning and tilting angle of the rearview mirror results in the position (x ' K , y' K , z ' K ), from which the 3D model is considered. The limited dimensions of the display area ES define the visible section of the rear image in the area EH.

Wenn sich der Kopf 2 des Fahrers bewegt, so ändert sich wie bei einem konventionellen optischen Rückspiegel das auf der Anzeige 7 dargestellte Bild. Hierzu wird der auf der Anzeige 7 sichtbare Ausschnitt 20 aus dem Rückbild geändert.When the head 2 As the driver moves, as in a conventional optical rearview mirror that changes on the display 7 illustrated picture. This is the on the display 7 visible section 20 changed from the return image.

Aus dem Bild der Innenraumkamera 1 wird fortlaufend und in Echtzeit die neue Position des Fahrers berechnet und das Bild auf der Anzeige 7 entsprechend dem Betrachtungswinkel des Fahrers angepasst. Damit wird eine realistische und dem Fahrer gewohnte Sichtweise durch den Rückspiegel ermöglicht. Das Bild auf der elektronischen Anzeige 7 suggeriert dem Fahrer, dass er durch einen optischen Rückspiegel sieht. Jedoch wird ein im Vergleich zu einem konventionellen Rückspiegel verbessertes Bild ohne störende Verdeckung des rückwärtigen Sichtbereichs durch das eigene Fahrzeug und optional mit zusätzlicher Information in der elektronischen Anzeige 7 dargestellt.From the picture of the interior camera 1 is calculated continuously and in real time the new position of the driver and the image on the display 7 adjusted according to the driver's viewing angle. This is a realistic and familiar to the driver view through the rearview mirror allows. The picture on the electronic display 7 suggests to the driver that he sees through an optical rearview mirror. However, an improved image compared to a conventional rear view mirror without disturbing the rear view area of the own vehicle and optionally with additional information in the electronic display 7 shown.

Die kopfadaptive Berechnung des auf der Anzeige 7 darzustellenden Bildes mittels des 3D-Modells wird beispielsweise in folgender Weise implementiert:
Als Ursprung (0, 0, 0) des verwendeten Bezugssystems wird beispielsweise die Position der Innenraumkamera gewählt, d. h. (xCAM := 0, yCAM := 0, zCAM := 0). Das gewählte Bezugssystem ist aber willkürlich und kann frei gewählt werden.

  • 1. Zur Ermittlung der Lage der Anzeigenfläche ES des Rückspiegels im Raum erfasst die Innenraumkamera 1 die LED 8, wobei in Abhängigkeit der Bildinformation der Innenraumkamera 1 im Rechner 3 die Lage im Bezugsystem der Innenraumkamera 1 berechnet wird. Die LED 8 erscheint als heller Punkt im aufgezeichneten Bild und kann beispielsweise durch Veränderung des Kontrastes und des Farbschemas als Punkt dargestellt werden, dessen Koordinaten über einen Mustererkennungsalgorithmus ermittelt werden können. In Abhängigkeit der so ermittelten Lage der LED 8, insbesondere aus dem Vergleich der Koordinaten der Lage im Bezugssystem der Innenraumkamera 1 mit den gegebenen Koordinaten (xLED, yLED, zLED) der LED, wird der horizontale Drehwinkel und der vertikale Kippwinkel der Anzeige 7 des Rückspiegels berechnet. Hierzu wird für den horizontalen Drehwinkel und den vertikalen Kippwinkel ein Winkel von jeweils 0° als Nullwinkel-Referenz für den Fall angenommen, bei dem die ebene Anzeigenfläche ES parallel zur ebenen Fläche EH des Hintergrundbildes liegt. Mit den bekannten Maßen der Länge und Breite der Anzeigenfläche ES und deren relativer Lage zur Innenraumkamera 1 kann in Abhängigkeit des Dreh- und Kippwinkels die ebene Anzeigenfläche ES mit den Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2) in dem 3D-Modell berechnet werden, wobei die die Eckkoordinaten (xS1, yS1, zS1) und (xS2, yS2, zS2) den Koordinaten zweier auf einer Diagonale liegender Eckpunkte der Anzeigenfläche ES entsprechen.
  • 2. Die Heckkameras 4–6 nehmen die Szenerie hinter dem Fahrzeug auf und senden Bilder an den Rechner 3. Hier werden beispielsweise drei Teilbilder der Heckkameras 4–6 zu einem Panoramabild zusammengefügt. Da die Positionskoordinaten der Kameras 4–6 bekannt sind, kann dieses Panoramabild auf die ebene Fläche EH mit den Eckkoordinaten (xH1, yH1, zH1) und (xH2, yH2, zH2) im dreidimensionalen Raum projiziert werden. Die Lage der ebenen Fläche EH ist vorzugsweise an die Brennweite der Kameras angepasst, so dass eine maßstabsgetreue Abbildung realisiert werden kann.
  • 3. Die Innenraumkamera 1 im Innenraum erfasst fortlaufend das Gesicht und den Kopf 2 des Fahrers und berechnet durch einen geeigneten Mustererkennungsalgorithmus die Positionskoordinaten (xK, yK, zK) des Fahrerkopfes 2.
  • 4. Um das Hintergrundbild in der ebenen Fläche EH korrekt auf der elektronischen Anzeige 7 des Rückspiegels darzustellen, werden zunächst die Koordinaten (xK, yK, zK) des Fahrerkopfes 2 an einer die ebene Fläche ES umfassenden Spiegelebene gespiegelt, woraus sich die gespiegelten Koordinaten (x'K, y'K, z'K) des Fahrerkopfes 2 ergeben. Die Spiegelebene halbiert die Verbindungsstrecke zwischen dem Punkt (xK, yK, zK) und dem gespiegelten Punkt (x'K, y'K, z'K), wobei die Verbindungsstrecke orthogonal zur Spiegelebene ist. Mittels Zentralprojektion wird ein Ausschnitt des Hintergrundbilds der ebenen Fläche EH auf der ebenen Anzeigenfläche ES dargestellt. Zusätzlich wird das 3D-Fahrzeugobjekt auf die ebene Anzeigenfläche ES projiziert. Das Projektionszentrum, d. h. die Position des Betrachters, wird für beide Projektionen durch die gespiegelten Koordinaten (x'K, y'K, z'K) definiert. Aufgrund der Begrenztheit der ebenen Anzeigefläche ES wird nur ein Ausschnitt des Hintergrundbildes aus der ebenen Fläche EH und nur ein Teil des 3D-Fahrzeugobjektes auf der Fläche ES dargestellt. Es ist zu beachten, dass die Projektion des 3D-Fahrzeugsmodells aus Sicht des Fahrers mit der Kopfposition (xK, yK, zK) vor der Projektion des Hintergrundbildes in der EH dargestellt werden sollte. Ferner gilt es zu beachten, dass der Fahrer von der gleichen Seite auf die Fläche ES blickt, auf der sich auch die Fläche EH befindet. Daher wird das projizierte Bild entsprechend spiegelverkehrt auf dem Anzeige 7 dargestellt. Hierzu wird das durch die Projektion des Hintergrundbildes und des 3D-Fahrzeugsmodells ergebende Bild in einem zusätzlichen Bildverarbeitungsschritt an einer vertikalen Spiegelachse gespiegelt, die durch die Mitte des Bildes geht. Das durch rechnerische Projektion auf die Fläche ES im Rechner 3 erzeugte Bild wird nach der Spiegelung und etwaiger zusätzlicher Weiterverarbeitungsschritte auf der elektronischen Anzeige 7 des Rückspiegels dargestellt. Die Berechnung des dazustellenden Bildes erfolgt fortlaufend, so dass das Bild laufend an etwaige Änderungen des Kipp- und Drehwinkels der Anzeige 7 des Rückspiegels und etwaige Änderungen der Kopfposition des Fahrers angepasst wird.
  • 5. Optional kann Hindernisinformation einer Hindernissensorik (beispielsweise einer Einparkhilfe), die den Abstand zu rückwärtigen Hindernissen misst, ausgewertet werden und zur Einfärbung des 3D-Fahrzeugmodells (insbesondere von Teilen des Fahrzeugmodells, wie zum Beispiel die Stoßstange) verwendet werden. Rot kann dabei beispielsweise einen geringen und grün einen weiten Abstand symbolisieren. Die Einfärbung in Abhängigkeit der Hindernisinformation erfolgt vorzugsweise vor der Projektion des 3D-Fahrzeugmodells.
The head adaptive calculation of the on the display 7 The image to be displayed using the 3D model is implemented, for example, in the following way:
As the origin (0, 0, 0) of the reference system used, for example, the position of the indoor camera is selected, ie (x CAM : = 0, y CAM : = 0, z CAM : = 0). The chosen reference system is however arbitrary and can be chosen freely.
  • 1. To determine the position of the display surface ES of the rearview mirror in the room, the interior camera detects 1 the LED 8th , wherein depending on the image information of the indoor camera 1 in the calculator 3 the position in the reference system of the interior camera 1 is calculated. The LED 8th appears as a bright spot in the recorded image and can be represented as a point, for example, by changing the contrast and the color scheme whose coordinates can be determined via a pattern recognition algorithm. Depending on the determined position of the LED 8th , in particular from the comparison of the coordinates of the position in the reference frame of the indoor camera 1 with the given coordinates (x LED , y LED , z LED ) of the LED, the horizontal rotation angle and the vertical tilt angle of the display becomes 7 of the rearview mirror. For this purpose, for the horizontal rotation angle and the vertical tilt angle, an angle of 0 ° in each case is assumed as the zero-angle reference for the case in which the planar display surface ES is parallel to the flat surface EH of the background image. With the known dimensions of the length and width of the display area ES and their relative position to the interior camera 1 can be calculated in dependence on the rotation and tilt angle, the planar display surface ES with the corner coordinates (x S1 , y S1 , z S1 ) and (x S2 , y S2 , z S2 ) in the 3D model, wherein the corner coordinates (x S1 , y S1 , z S1 ) and (x S2 , y S2 , z S2 ) correspond to the coordinates of two diagonally lying corner points of the display area ES.
  • 2. The rear cameras 4 - 6 take the scenery behind the vehicle and send pictures to the computer 3 , For example, here are three partial images of the rear cameras 4 - 6 merged into a panorama picture. Because the position coordinates of the cameras 4 - 6 are known, this panoramic image on the flat surface EH with the corner coordinates (x H1 , y H1 , z H1 ) and (x H2 , y H2 , z H2 ) can be projected in three-dimensional space. The position of the flat surface EH is preferably adapted to the focal length of the cameras, so that a true-to-scale imaging can be realized.
  • 3. The interior camera 1 in the interior, the face and the head continuously register 2 of the driver and calculated by a suitable pattern recognition algorithm, the position coordinates (x K , y K , z K ) of the driver's head 2 ,
  • 4. To the background image in the flat area EH correctly on the electronic display 7 of the rearview mirror, first the coordinates (x K , y K , z K ) of the driver's head 2 mirrored at one of the flat surface ES comprehensive mirror plane, resulting in the mirrored coordinates (x ' K , y' K , z ' K ) of the driver's head 2 result. The mirror plane bisects the link between the point (x K , y K , z K ) and the mirrored point (x ' K , y' K , z ' K ), the link being orthogonal to the mirror plane. By means of central projection, a section of the background image of the flat surface EH is shown on the flat display surface ES. In addition, the 3D vehicle object is projected onto the flat display surface ES. The projection center, ie the position of the observer, is defined for both projections by the mirrored coordinates (x ' K , y' K , z ' K ). Due to the limitedness of the planar display surface ES, only a section of the background image from the flat surface EH and only a part of the 3D vehicle object is represented on the surface ES. It should be noted that the projection of the 3D vehicle model should be presented from the driver's perspective with the head position (x K , y K , z K ) prior to the projection of the background image in the EH. Furthermore, it should be noted that the driver looks from the same side to the area ES, on which the area EH is located. Therefore, the projected image will be mirrored on the display 7 shown. For this purpose, the image resulting from the projection of the background image and the 3D vehicle model is mirrored in an additional image processing step on a vertical mirror axis which passes through the center of the image. That by computational projection on the surface ES in the computer 3 The image produced after the mirroring and any additional processing steps on the electronic display 7 the rearview mirror shown. The calculation of the image to be displayed takes place continuously, so that the image is constantly updated to any changes in the tilt and rotation angle of the display 7 the rear-view mirror and any changes in the driver's head position.
  • 5. Optionally, obstacle information of an obstacle sensor (for example, a parking aid), the distance to rear obstacles measured, evaluated and used for coloring the 3D vehicle model (in particular of parts of the vehicle model, such as the bumper). For example, red can symbolize a small distance and green a wide distance. The coloring depending on the obstacle information is preferably carried out before the projection of the 3D vehicle model.

Der vorstehend beschriebene Algorithmus wird beispielsweise gestartet, sobald der Fahrer den Rückwärtsgang einlegt und die Einparkhilfe aktiviert hat. Die Schritte unter 1. bis 4. werden ständig wiederholt, so dass durch die Echtzeitberechnung ein realistisches Bild entsteht. Der Schritt unter 5. ist optional und verbessert die Einparkhilfe. Wenn wieder der Vorwärtsgang einlegt wird, arbeitet der Rückspiegel als gewöhnlicher optischer Rückspiegel, der auf optischer Reflexion basiert. Die elektronische Anzeige 7 wird hierzu abgeschaltet.The algorithm described above is started, for example, as soon as the driver has engaged the reverse gear and has activated the parking aid. The steps under 1. to 4. are constantly repeated, so that the real-time calculation produces a realistic picture. The step below 5. is optional and improves the parking aid. When the forward gear is engaged again, the rearview mirror operates as an ordinary optical rearview mirror based on optical reflection. The electronic display 7 is switched off for this purpose.

3 zeigt eine Situation, bei der im Vergleich zu 2 die Kopfposition (xK, yK, zK) verändert ist, während der Dreh- und Kippwinkel der Anzeigenfläche EH gleichgeblieben ist. In 3 hat sich im Vergleich zu 2 der Kopf nach unten bewegt. Der Bildausschnitt 30 in 3 hat sich in die entgegensetzte Richtung der Kopfbewegung verschoben, nämlich nach oben und es werden in der elektronischen Anzeige 7 weiter oben liegende Bereiche des Rückbildes sichtbar. 3 shows a situation when compared to 2 the head position (x K , y K , z K ) is changed while the turning and tilting angle of the display surface EH has remained the same. In 3 has compared to 2 the head moves down. The picture section 30 in 3 has moved in the opposite direction of the head movement, namely up and it will be in the electronic display 7 areas of the return image lying further above are visible.

Das Verhalten entspricht dem Verhalten eines optischen Spiegels, bei dem der Einfallswinkel gegenüber dem Lot auf der Reflexionsebene gleich dem Ausfallswinkel gegenüber dem Lot auf der Reflexionsebene ist. Bei Bewegung des Kopfes nach unten wird der Einfallswinkel der Linie von der Kopfposition zur der Mitte der Anzeigenfläche EH gegenüber dem Lot auf der Fläche EH in vertikaler Richtung erhöht, so dass auch der Ausfallwinkel zunimmt und der dargestellte Bildausschnitt nach oben wandert.The behavior corresponds to the behavior of an optical mirror in which the angle of incidence with respect to the solder on the reflection plane is equal to the angle of reflection with respect to the solder on the reflection plane. As the head is moved down, the angle of incidence of the line from the head position to the center of the display surface EH is increased in the vertical direction with respect to the perpendicular on the surface EH, so that the angle of reflection also increases and the image section shown moves upward.

Wenn sich der Kopf (statt nach unten) seitlich auf die Anzeigenfläche ES weiter zubewegt (der Fahrer also seinen Kopf aus der Fahrersicht nach rechts bewegt), verschiebt sich der Bildausschnitt (statt nach oben) im Rückbild weiter nach rechts (nicht dargestellt). Der spiegelverkehrte Bildausschnitt auf der Anzeige 7 verschiebt sich jedoch aus Sicht des Fahrers in entgegengesetzter Richtung zur Kopfbewegung, nämlich nach links, und es werden weiter links liegende Bildobjekte sichtbar.If the head (instead of down) continues to move laterally onto the display area ES (the driver thus moves his head to the right from the driver's perspective), the image section (instead of upward) in the return image shifts further to the right (not shown). The mirrored image detail on the display 7 but shifts from the driver's point of view in the opposite direction to the head movement, namely to the left, and it will be more left picture objects visible.

Das Verhalten entspricht dem Verhalten eines optischen Spiegels. Bei Bewegung des Kopfes nach rechts wird der Einfallswinkel der Linie von der Kopfposition zur der Mitte der Anzeigenfläche EH gegenüber dem Lot auf der Fläche EH in horizontaler Richtung verringert, so dass auch der Ausfallwinkel abnimmt. Im optischen Spiegel verschiebt sich für den Betrachter der Bildausschnitt dann nach links.The behavior corresponds to the behavior of an optical mirror. When the head is moved to the right, the angle of incidence of the line from the head position to the center of the display surface EH with respect to the perpendicular on the surface EH is reduced in the horizontal direction, so that the angle of reflection decreases. In the optical mirror, the image section then shifts to the left for the viewer.

4 zeigt eine Situation, bei der im Vergleich zu 2 die Kopfposition (xK, yK, zK) gleich geblieben ist, während sich der horizontale Drehwinkel der Anzeigenfläche EH geändert hat. Die Anzeigenfläche wurde in Richtung des Fahrers gedreht und der Bildausschnitt 40 hat sich im Vergleich zu dem Bildausschnitt 20 in 2 weiter nach rechts verschoben. Der spiegelverkehrte Ausschnitt auf der Anzeige 7 verschiebt sich jedoch für den Fahrer nach links und es werden weiter links liegende Bildobjekte auf der Anzeige 7 sichtbar. 4 shows a situation when compared to 2 the head position (x K , y K , z K ) has remained the same while the horizontal rotation angle of the display surface EH has changed. The ad slot was turned in the direction of the driver and the image section 40 has compared to the picture detail 20 in 2 moved to the right. The mirrored cutout on the display 7 but shifts to the left for the driver and there are left image objects on the display 7 visible, noticeable.

5 zeigt ein beispielhaftes Bild der elektronischen Anzeige 7 aus Sicht des Fahrers. Neben dem in Abhängigkeit der Kopfposition bestimmten spiegelverkehrten Ausschnitt des Rückbildes umfasst das Bild ein Drahtgittermodell des Fahrzeugs. Hier ist das hintere Interieur des Fahrzeugs dargestellt. Aufgrund der Verwendung eines Drahtgittermodells kann vom Fahrer durch die Flächen des Fahrzeugs hindurchgesehen werden. 5 shows an exemplary image of the electronic display 7 from the perspective of the driver. In addition to the mirror-inverted section of the return image, which is determined as a function of the head position, the image comprises a wireframe model of the vehicle. Here the rear interior of the vehicle is shown. Due to the use of a wireframe model, the driver can see through the surfaces of the vehicle.

Vorstehend wurde die Berechnung eines Bildes für einen elektronischen Innenraum-Rückspiegel beschrieben. In gleicher Weise kann die Berechnung eines Bildes für einen elektronischer Außen-Rückspiegel (an der Position eines Außenspiegels 15 oder 16 in 1) realisiert werden mit dem Unterschied, dass der Dreh- und Kippwinkel der Anzeigenfläche des Außen-Rückspiegels bei einem elektrisch verstellbaren Außenspiegel direkt aus der Steuerung des Außenspiegels ermittelt werden kann.The calculation of an image for an interior electronic rearview mirror has been described above. Similarly, the calculation of an image for an exterior electronic rearview mirror (at the position of an exterior mirror 15 or 16 in 1 ) are realized with the difference that the rotation and tilt angle of the display surface of the exterior rear-view mirror can be determined with an electrically adjustable exterior mirror directly from the control of the exterior mirror.

Folgende weitere Modifikationen sind möglich:
Die Anzahl der Außenkameras 3–6 kann reduziert werden, indem eine oder mehrere Kameras mit entsprechend kleiner Brennweite (auch als Fish-Eye-Kamera bekannt) verwendet werden, wobei die daraus resultierenden Verzerrungen in dem Rechner 3 herausgerechnet werden.The following further modifications are possible:
The number of outdoor cameras 3 - 6 can be reduced by using one or more cameras with a correspondingly small focal length (also known as a fish-eye camera), the resulting distortions in the computer 3 be calculated out.

Ferner ist es auch möglich, eine elektronische Anzeige 7 zu verwenden, in der oder auf der ein optischer Spiegel integriert ist, welcher im Wesentlichen Deckungsgleich mit der Anzeigenfläche ist, wobei jedoch das Bild der elektronischen Anzeige und das optische Spiegelbild gleichzeitig überlagert werden. In diesem Fall erscheint das eigene Fahrzeug halbtransparent, da das mittels des optischen Spiegels gewonnene Bild des eigenen Fahrzeugs mit dem Kamerabild überlagert ist. Diese halbtransparente Darstellung erfordert eine sehr genaue Ermittlung der Positionskoordinaten des Kopfes. Ein hinreichend großer Fehler in der Positionsbestimmung des Kopfes führt ansonsten durch die Überlagerung des Kamera- und des Spiegelbildes zu Doppelbildern, was als sehr störend empfunden wird.Furthermore, it is also possible to have an electronic display 7 in which or on which an optical mirror is integrated, which is substantially coincident with the display surface, but the image of the electronic display and the optical mirror image are simultaneously superimposed. In this case, the own vehicle appears semi-transparent, since the image obtained by means of the optical mirror of the own vehicle is superimposed with the camera image. This semi-transparent representation requires a very accurate determination of the position coordinates of the head. A sufficiently large error in the position determination of the head otherwise results from the overlay of the camera and the mirror image to double images, which is perceived as very disturbing.

Zur Darstellung des Fahrzeugs sollte ein Fahrzeugtyp spezifisches 3D-Modell verwenden. Die Flächen des Fahrzeugs können als halbtransparente Flächen dargestellt werden. Die Farbe der sichtbaren Fahrzeugkomponenten des Modells (beispielsweise die Farbe der Rücksitze) kann der tatsächlichen Farbe der realen Fahrzeugkomponenten bei dem speziellen Fahrzeug nachempfunden werden, so dass ein wirklichkeitsgetreues halbtransparentes Fahrzeugmodell eingeblendet wird. Die Farbe kann beispielsweise aus dem Fahrzeugauftrag ausgelesen werden und bereits während der Herstellung des Fahrzeugs voreingestellt werden.To represent the vehicle, a vehicle type should use a specific 3D model. The surfaces of the vehicle can be represented as semi-transparent surfaces. The color of the visible vehicle components of the model (eg, the color of the rear seats) can be modeled on the actual color of the real vehicle components in the particular vehicle, so that a realistic semitransparent vehicle model is displayed. The color can be read out, for example, from the vehicle order and can already be preset during the manufacture of the vehicle.

In die Darstellung können auch weitere Hilfslinien wie beispielsweise der Rangierradius bei Volleinschlag des Lenkrades eingezeichnet werden.In the presentation, other guides such as the Rangierradius be drawn at full wrap of the steering wheel.

Außerdem ist es denkbar, dass der Fahrer den Grad der Transparenz selbst festlegt und den Gegebenheiten anpasst.In addition, it is conceivable that the driver sets the degree of transparency itself and adapts to the circumstances.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102005000739 B4 [0005] DE 102005000739 B4 [0005]
  • DE 29612536 U1 [0006] DE 29612536 U1 [0006]
  • EP 1527606 B1 [0007] EP 1527606 B1 [0007]
  • WO 03/005102 A1 [0008] WO 03/005102 Al [0008]
  • DE 102008059269 A1 [0009, 0013] DE 102008059269 A1 [0009, 0013]
  • WO 03/005102 [0013] WO 03/005102 [0013]

Claims (17)

Elektronisches Rückspiegel-System zur Darstellung eines rückwärtigen Umgebungsbereichs hinter dem Kraftfahrzeug für den Fahrzeugfahrer, umfassend – mindestens eine Rückkamera (4–6) zum Aufnehmen eines Rückbildes eines rückwärtigen Umgebungsbereiches hinter dem Fahrzeug, – eine Positionserfassungseinrichtung (1, 3) zum Erfassen einer Kopfposition des Fahrers, – ein Bildberechnungsmittel (3) zum Berechnen eines Bildes, welches eingerichtet ist, in Abhängigkeit der Kopfposition einen spiegelverkehrten Bildausschnitt aus dem Rückbild zu bestimmen, und – einen eine elektronische Anzeige (7) umfassenden elektronischen Rückspiegel, dessen Anzeige (7) eingerichtet ist, das von dem Bildberechnungsmittel (3) berechnete Bild anzuzeigen.Electronic rearview mirror system for displaying a rearward surrounding area behind the motor vehicle for the vehicle driver, comprising - at least one rear-view camera ( 4 - 6 ) for taking a rear view of a rear surrounding area behind the vehicle, - a position detecting device ( 1 . 3 ) for detecting a head position of the driver, - an image calculating means ( 3 ) for calculating an image which is arranged to determine a mirror-inverted image section from the return image as a function of the head position, and - an electronic display ( 7 ) electronic rearview mirror whose display ( 7 ) provided by the image calculation means ( 3 ) to display the calculated image. Elektronisches Rückspiegel-System nach Anspruch 1, wobei der elektronische Rückspiegel an einer typischen Position eines Innen-Rückspiegels oder eines Außen-Rückspiegels angeordnet ist.The electronic rearview mirror system of claim 1, wherein the electronic rearview mirror is disposed at a typical position of an interior rearview mirror or an exterior rearview mirror. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei bei Bewegung des Kopfes (2) sich der spiegelverkehrte Bildausschnitt verschiebt und/oder sich die Vergrößerung des spiegelverkehrten Bildausschnitts verändert.Electronic rearview mirror system according to one of the preceding claims, wherein upon movement of the head ( 2 ) the mirror-inverted image section shifts and / or the magnification of the mirror-inverted image section changes. Elektronisches Rückspiegel-System nach Anspruch 3, wobei das Berechnungsmittel (3) derart eingerichtet ist, dass bei einer Kopfbewegung mit gleichbleibendem Abstand zu der Anzeigenfläche sich der spiegelverkehrte Bildausschnitt in entgegengesetzter Richtung zu der Kopfbewegung verschiebt.An electronic rearview mirror system according to claim 3, wherein the calculating means ( 3 ) is set up such that with a head movement with a constant distance to the display surface, the mirror-inverted image section moves in the opposite direction to the head movement. Elektronisches Rückspiegel-System nach einem der Ansprüche 4 oder 5, wobei das Berechnungsmittel (3) derart eingerichtet ist, dass bei Zubewegen des Kopfes (2) auf die elektronische Anzeige (7) entlang der Richtung zwischen Kopfposition und der elektronischen Anzeige (7) die Vergrößerung des spiegelverkehrten Bildausschnitts abnimmt.Electronic rearview mirror system according to one of claims 4 or 5, wherein the calculation means ( 3 ) is set up such that when the head ( 2 ) on the electronic display ( 7 ) along the direction between head position and the electronic display ( 7 ) decreases the magnification of the mirrored image detail. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei die Ausrichtung der elektronischen Anzeige (7) veränderbar ist und der spiegelverkehrte Bildausschnitt von der eingestellten Ausrichtung der elektronischen Anzeige (7) abhängt.Electronic rearview mirror system according to one of the preceding claims, wherein the orientation of the electronic display ( 7 ) and the mirrored image section of the set orientation of the electronic display ( 7 ) depends. Elektronisches Rückspiegel-System nach Anspruch 6, wobei – das System eine Innenraum-Kamera (1) und eine Referenzlichtquelle (8) umfasst, wobei der elektronische Rückspiegel die Innenraum-Kamera (1) umfasst und bei Ändern der Ausrichtung der Anzeige (7) auch die Ausrichtung der Innenraum-Kamera (1) verändert wird, und – das Rückspiegel-System eingerichtet ist, durch Erfassen der Referenzlichtquelle (8) mittels der Innenraum-Kamera (1) die Ausrichtung der elektronischen Anzeige (7) oder der Innenraum-Kamera (1) zu bestimmen.An electronic rearview mirror system according to claim 6, wherein - the system is an indoor camera ( 1 ) and a reference light source ( 8th ), wherein the electronic rearview mirror the interior camera ( 1 ) and changing the orientation of the display ( 7 ) also the orientation of the interior camera ( 1 ), and - the rear-view mirror system is set up, by detecting the reference light source ( 8th ) by means of the interior camera ( 1 ) the orientation of the electronic display ( 7 ) or the interior camera ( 1 ). Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei – das Berechnungsmittel (3) zur Berechnung des Bildes ein 3D-Modell mit einer Anzeigenfläche der elektronischen Anzeige (7), dem Rückbild und einem Betrachter verwendet, wobei die Position des Betrachters der Kopfposition (xK, yK, zK) entspricht oder die Position des Betrachters in Abhängigkeit der Kopfposition (xK, yK, zK) bestimmt wird, und – das Berechnungsmittel (3) eingerichtet ist, einen Bildausschnitt (20, 30, 40) aus dem Rückbild mittels einer rechnerischen Projektion des Rückbildes auf die Anzeigenfläche (ES) zu bestimmen.Electronic rearview mirror system according to one of the preceding claims, wherein - the calculating means ( 3 ) for calculating the image, a 3D model with an advertising area of the electronic display ( 7 ), the rear image and a viewer used, wherein the position of the viewer of the head position (x K , y K , z K ) corresponds or the position of the observer depending on the head position (x K , y K , z K ) is determined, and - the calculation means ( 3 ) is set up, an image section ( 20 . 30 . 40 ) from the return image by means of a mathematical projection of the return image on the display surface (ES). Elektronisches Rückspiegel-System nach Anspruch 8, wobei das Berechnungsmittel eingerichtet ist, – aus der Kopfposition (xK, yK, zK) eine gespiegelte Kopfposition (x'K, y'K, z'K) zu berechnen, wobei die gespiegelte Kopfposition (x'K, y'K, z'K) sich aus der Kopfposition (xK, yK, zK) durch Ebenenspiegelung an einer die Anzeigenfläche (ES) umfassenden Spiegelebene ergibt und wobei die gespiegelte Position (x'K, y'K, z'K) der Position des Betrachters entspricht, und – eine rechnerische Zentralprojektion des Rückbildes auf die Anzeigenfläche (ES) mit dem Projektionszentrum an der gespiegelten Position (x'K, y'K, z'K) durchzuführen.An electronic rearview mirror system according to claim 8, wherein the calculating means is arranged to calculate from the head position (x K , y K , z K ) a mirrored head position (x ' K , y' K , z ' K ), the mirrored Head position (x ' K , y' K , z ' K ) results from the head position (x K , y K , z K ) by plane reflection at a mirror plane comprising the display surface (ES) and where the mirrored position (x' K , y ' K , z' K ) corresponds to the position of the viewer, and - to perform a mathematical central projection of the back image onto the display area (ES) with the projection center at the mirrored position (x ' K , y' K , z ' K ). Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei das System umfasst: – eine Mehrzahl von Rückkameras (4–6), welche an unterschiedlichen Positionen angeordnet sind und jeweils ein Teilrückbild aufnehmen, und – das Bildberechnungsmittel (3) eingerichtet ist, die Teilrückbilder der Mehrzahl von Rückkameras (3–6) zu dem Rückbild zusammenzufügen.An electronic rearview mirror system according to any one of the preceding claims, the system comprising: - a plurality of rearview cameras ( 4 - 6 ), which are arranged at different positions and each take a partial back image, and - the image calculation means ( 3 ), the partial returns of the plurality of back cameras ( 3 - 6 ) to the rear image. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei das Bildberechnungsmittel (3) eingerichtet ist, das Bild derart zu berechnen, dass dieses eine Darstellung des Kraftfahrzeugs umfasst, insbesondere in Form eines Drahtgittermodells und/oder eines Modells mit halbtransparenten Flächen, wobei die Darstellung des Kraftfahrzeugs eine Durchsicht durch Flächen des Fahrzeugs erlaubt.Electronic rearview mirror system according to one of the preceding claims, wherein the image calculating means ( 3 ) is arranged to calculate the image such that it comprises a representation of the motor vehicle, in particular in the form of a wireframe model and / or a model with semi-transparent surfaces, wherein the representation of the motor vehicle allows a view through surfaces of the vehicle. Elektronisches Rückspiegel-System nach Anspruch 11, wobei das Bildberechnungsmittel (3) eingerichtet ist, Hindernisinformation einer Hindernissensorik zur Überwachung eines rückwärtigen Umgebungsbereiches entgegen zu nehmen und die Darstellung des Kraftfahrzeugs, insbesondere die verwendete Farbe zur Darstellung des Fahrzeugs oder einer Fahrzeugkomponente, von der Hindernisinformation abhängig ist.An electronic rearview mirror system according to claim 11, wherein the image calculating means ( 3 ) obstacle information of one Obstacle sensors for monitoring a rear surrounding area to take contrary and the representation of the motor vehicle, in particular the color used to represent the vehicle or a vehicle component, is dependent on the obstacle information. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei – in oder auf der Anzeige (7) ein optischer Spiegel integriert ist, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist, – der Rückspiegel in einem ersten Betriebsmodus betreibbar ist, in dem die elektronische Anzeige aktiv ist, und – der Rückspiegel in einem zweiten Betriebsmodus betreibbar ist, in dem die Anzeige deaktiv ist und der Rückspiegel als optischer Rückspiegel arbeitet.Electronic rearview mirror system according to one of the preceding claims, wherein - in or on the display ( 7 ) an optical mirror is integrated, which is substantially congruent with the display surface, - the rearview mirror is operable in a first operating mode in which the electronic display is active, and - the rearview mirror is operable in a second operating mode in which the display is deactivated is and the rearview mirror works as an optical rearview mirror. Elektronisches Rückspiegel-System nach Anspruch 13, wobei das elektronische Rückspiegel-System eingerichtet ist, die Wahl des Betriebsmodus in Abhängigkeit des eingelegten Getriebegangs zu steuern.An electronic rearview mirror system according to claim 13, wherein the electronic rearview mirror system is arranged to control the selection of the operating mode in dependence on the engaged transmission gear. Elektronisches Rückspiegel-System nach einem der Ansprüche 1–12, wobei – in oder auf der Anzeige (7) ein optischer Spiegel integriert ist, welcher im Wesentlichen deckungsgleich mit der Anzeigenfläche ist, und – das berechnete Bild und das optische Spiegelbild gleichzeitig sichtbar sind.An electronic rearview mirror system according to any one of claims 1-12, wherein - in or on the display ( 7 ) an optical mirror is integrated, which is substantially congruent with the display surface, and - the calculated image and the optical mirror image are simultaneously visible. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei das angezeigte Bild dem Bild eines optischen Rückspiegels ohne die für den optischen Rückspiegel typische Sichtverdeckung durch das eigene Fahrzeug im Wesentlichen entspricht.Electronic rearview mirror system according to one of the preceding claims, wherein the displayed image substantially corresponds to the image of an optical rearview mirror without the visual coverage of the own vehicle typical for the optical rearview mirror. Elektronisches Rückspiegel-System nach einem der vorhergehenden Ansprüche, wobei der Rückspiegel zwischen dem Fahrer- und Beifahrersitz an der Windschutzscheibe oder am Dach oberhalb der Windschutzscheibe angebracht ist.An electronic rearview mirror system according to any one of the preceding claims, wherein the rearview mirror is mounted between the driver and passenger seats on the windshield or on the roof above the windshield.
DE102012203491.9A 2012-03-06 2012-03-06 Electronic rearview mirror system Active DE102012203491B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012203491.9A DE102012203491B4 (en) 2012-03-06 2012-03-06 Electronic rearview mirror system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012203491.9A DE102012203491B4 (en) 2012-03-06 2012-03-06 Electronic rearview mirror system

Publications (2)

Publication Number Publication Date
DE102012203491A1 true DE102012203491A1 (en) 2013-09-12
DE102012203491B4 DE102012203491B4 (en) 2024-01-04

Family

ID=49029542

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012203491.9A Active DE102012203491B4 (en) 2012-03-06 2012-03-06 Electronic rearview mirror system

Country Status (1)

Country Link
DE (1) DE102012203491B4 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014005834A1 (en) 2014-04-19 2015-04-23 Audi Ag Driver assistance system for a motor vehicle
EP2884735A1 (en) * 2013-12-12 2015-06-17 Connaught Electronics Ltd. Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
DE102014220524A1 (en) * 2014-10-09 2015-10-22 Conti Temic Microelectronic Gmbh Device for assisting a driver of a vehicle and vehicle
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
US9405120B2 (en) 2014-11-19 2016-08-02 Magna Electronics Solutions Gmbh Head-up display and vehicle using the same
WO2016184579A1 (en) * 2015-05-20 2016-11-24 Volkswagen Aktiengesellschaft Monitoring device for a motor vehicle
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
US20180281685A1 (en) * 2017-04-03 2018-10-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view manual adjustment perspective change system and method
CN113879214A (en) * 2021-11-17 2022-01-04 阿维塔科技(重庆)有限公司 Display method of electronic rearview mirror, electronic rearview mirror display system and related equipment
WO2022090368A1 (en) * 2020-10-30 2022-05-05 Continental Automotive Gmbh Gesture control for displaying images on an electronic rearview mirror
CN114633692A (en) * 2022-03-14 2022-06-17 深圳市艾为智能有限公司 Application method of eccentric lens in CMS system
DE102014200963B4 (en) 2014-01-21 2024-01-18 Robert Bosch Gmbh Rear-view mirror device, vehicle and method for operating a rear-view mirror device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29612536U1 (en) 1996-07-19 1996-09-12 Li Tony Panorama review arrangement
DE19801884A1 (en) * 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
WO2003005102A1 (en) 2001-06-30 2003-01-16 Robert Bosch Gmbh Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
DE10164516A1 (en) * 2001-12-19 2003-07-10 Magna Auteca Ag Weiz Electronic vehicle rearview system
EP1527606B1 (en) 2002-07-25 2008-11-12 Koninklijke Philips Electronics N.V. Viewing system
DE102007044536A1 (en) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Device for monitoring the environment of a motor vehicle
DE102008019732A1 (en) * 2008-04-18 2009-10-22 Volkswagen Ag Electronic outside mirror controlling method for motor vehicle, involves changing image section, which is displayed on display element, depending on determined head positions of driver of motor vehicle
DE102008059269A1 (en) 2008-11-27 2010-06-02 Josef Kirchler Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image
DE102005000739B4 (en) 2004-01-16 2010-11-25 Kabushiki Kaisha Honda Lock Vehicle vision support system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP5115136B2 (en) 2007-10-16 2013-01-09 株式会社デンソー Vehicle rear monitoring device
DE102009020300A1 (en) 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE29612536U1 (en) 1996-07-19 1996-09-12 Li Tony Panorama review arrangement
DE19801884A1 (en) * 1998-01-20 1999-07-22 Mannesmann Vdo Ag CCTV monitoring system for blind spots around motor vehicle
WO2003005102A1 (en) 2001-06-30 2003-01-16 Robert Bosch Gmbh Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
DE10164516A1 (en) * 2001-12-19 2003-07-10 Magna Auteca Ag Weiz Electronic vehicle rearview system
EP1527606B1 (en) 2002-07-25 2008-11-12 Koninklijke Philips Electronics N.V. Viewing system
DE102005000739B4 (en) 2004-01-16 2010-11-25 Kabushiki Kaisha Honda Lock Vehicle vision support system
DE102007044536A1 (en) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Device for monitoring the environment of a motor vehicle
DE102008019732A1 (en) * 2008-04-18 2009-10-22 Volkswagen Ag Electronic outside mirror controlling method for motor vehicle, involves changing image section, which is displayed on display element, depending on determined head positions of driver of motor vehicle
DE102008059269A1 (en) 2008-11-27 2010-06-02 Josef Kirchler Method for improving circumferential visibility in passenger car, involves producing image of angle area of environment, indicating produced image on image indicator system, and extracting and bringing section of camera image

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013020950B4 (en) 2013-12-12 2023-11-23 Connaught Electronics Ltd. Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
EP2884735A1 (en) * 2013-12-12 2015-06-17 Connaught Electronics Ltd. Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
DE102013020950A1 (en) * 2013-12-12 2015-06-18 Connaught Electronics Ltd. Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle
DE102014200963B4 (en) 2014-01-21 2024-01-18 Robert Bosch Gmbh Rear-view mirror device, vehicle and method for operating a rear-view mirror device
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
US10315573B2 (en) 2014-02-19 2019-06-11 Magna Electronics Inc. Method for displaying information to vehicle driver
DE102014005834A1 (en) 2014-04-19 2015-04-23 Audi Ag Driver assistance system for a motor vehicle
DE102014220524A1 (en) * 2014-10-09 2015-10-22 Conti Temic Microelectronic Gmbh Device for assisting a driver of a vehicle and vehicle
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
US9405120B2 (en) 2014-11-19 2016-08-02 Magna Electronics Solutions Gmbh Head-up display and vehicle using the same
WO2016184579A1 (en) * 2015-05-20 2016-11-24 Volkswagen Aktiengesellschaft Monitoring device for a motor vehicle
US10899276B2 (en) 2015-05-20 2021-01-26 Volkswagen Aktiengesellschaft Monitoring device for a motor vehicle
US20180281685A1 (en) * 2017-04-03 2018-10-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view manual adjustment perspective change system and method
WO2022090368A1 (en) * 2020-10-30 2022-05-05 Continental Automotive Gmbh Gesture control for displaying images on an electronic rearview mirror
CN113879214A (en) * 2021-11-17 2022-01-04 阿维塔科技(重庆)有限公司 Display method of electronic rearview mirror, electronic rearview mirror display system and related equipment
CN114633692A (en) * 2022-03-14 2022-06-17 深圳市艾为智能有限公司 Application method of eccentric lens in CMS system
CN114633692B (en) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 Application method of eccentric lens in CMS system

Also Published As

Publication number Publication date
DE102012203491B4 (en) 2024-01-04

Similar Documents

Publication Publication Date Title
DE102012203491B4 (en) Electronic rearview mirror system
DE102018101542B4 (en) Onboard display device, onboard display device control method and onboard display device control program
EP2377725B1 (en) Side mirror simulation
DE102006003538B3 (en) Image acquisitions merging method for bird`s eye perspective, involves selecting image sections such that shadowing effects produced by moved objects are projected during transition in overall image from image section to other section
DE102012102508B4 (en) Adjustment method and system of a smart vehicle imaging device
DE19741896C2 (en) Device for the visual representation of areas around a motor vehicle
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE202014102291U1 (en) Rearview mirror position using rearview camera system
DE102016106255A1 (en) Vehicle exterior camera systems and methods
DE102013220669A1 (en) Dynamic rearview indicator features
DE102008031784A1 (en) Method and apparatus for distortion correction and image enhancement of a vehicle rearview system
DE102011118253B4 (en) Method for operating an electronic rearview mirror of a motor vehicle and motor vehicle
DE102007059735A1 (en) Obstacle and vehicle e.g. lorry, recognition system, has cameras aligned such that area on side and over end of own vehicle are recognized, and output device providing information about object or vehicle within range of own vehicle
EP2603402A1 (en) Method for displaying images on a display device and driver assistance system
DE102008034594A1 (en) Method for informing an occupant of a vehicle
DE10059315A1 (en) Arrangement and method for monitoring the surroundings of a vehicle
EP3167427A1 (en) Merging of partial images to form an image of surroundings of a mode of transport
DE102010005638A1 (en) Method for indicating image of vehicle surrounding on display unit in vehicle, involves arranging camera at or in outer mirror of vehicle for receiving pictures of vehicle surrounding
DE102018100194B3 (en) Mirror replacement system and method for displaying image and / or video data of the environment of a motor vehicle
DE102016114689A1 (en) A method for assisting the driver of a motor vehicle when maneuvering the motor vehicle with a trailer, driver assistance system and team
DE102015209187B3 (en) Monitoring device for a motor vehicle
DE102011014368A1 (en) Method and device for an imaging driver assistance system
DE102013209366B4 (en) Display device and method for displaying information in a vehicle
DE102007016055A1 (en) Vehicle i.e. car, surroundings monitoring device for e.g. assisting view of driver, has top view video transformation unit transforming video that is recorded by imaging unit into top view video, and display displaying top view video
DE102013020875A1 (en) Method for displaying the external viewing conditions in a vehicle, in particular a commercial vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division