DE69833089T2

DE69833089T2 - Panorama-Bilderzeugungssystem

Info

Publication number: DE69833089T2
Application number: DE69833089T
Authority: DE
Inventors: c/o Mixed Reality Systems Lab. Inc. Takaaki Yokohama-Shi Endo; Mixed Reality Syst. Lab. Inc. Akihiro Yokohama-Shi Katayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-12-03
Filing date: 1998-06-23
Publication date: 2006-08-03
Anticipated expiration: 2018-06-24
Also published as: EP0921376B1; DE69833089D1; ATE315212T1; EP0921376A1; US6335754B1; JPH11168754A

Description

Die vorliegende Erfindung bezieht sich auf eine Bildaufzeichnungsvorrichtung und ein Bildaufzeichnungsverfahren zum Beschreiben eines virtuellen Raums auf der Grundlage von erfassten Bildern und insbesondere auf ein Verfahren zum effizienten Hinzufügen von einem Bilderfassungsort zugeordneten Ortsinformationen zu einer durch ein Abtasten eines Objekts unter Verwendung von Kameras erhaltenen Folge erfasster Bilder. Die vorliegende Erfindung bezieht sich auch auf ein zum Beschreiben eines virtuellen Raums auf der Grundlage von erfassten Bildern aufgebautes Bilddatenbanksystem. Überdies bezieht sich die vorliegende Erfindung auf einen Aufzeichnungsträger, der ein Computerprogramm zum Realisieren der vorstehend angeführten Aufzeichnungssteuerung speichert.
In den letzten Jahren sind Versuche zum Aufbauen von städtischen Umgebungen, in denen viele Leute in durch Computernetze ausgebildeten Cyberräumen bzw. Cyberspaces gesellig leben, unternommen worden. Normalerweise werden derartige virtuelle Räume unter Verwendung von herkömmlichen CG-Techniken beschrieben und angezeigt. Da auf geographischen Modellen basierende CG-Ausdrücke Beschränkungen aufweisen, ist jedoch ein auf erfassten Bildern basierendes bildbasiertes Rendern (IBR) an die Spitze der Technologie gekommen.
Ein Wiedergeben von erfassten Bilddaten wie sie sind läuft darauf hinaus, lediglich zu erfahren, was ein Fotograf erlebt hat. Aus diesem Grund ist eine Technik zum Erzeugen und Darstellen einer beliebigen Szene in Echtzeit unter Verwendung der IBR-Technik vorgeschlagen worden. Genauer kann dann, wenn erfasste Bilder als unabhängige Bilder verarbeitet werden und gemäß einer Anforderung eines Betrachters neu angeordnet werden, der Betrachter an einer entfernten Stelle über seine oder ihre gewünschte Bewegungsroute gehen und kann dort einen dreidimensionalen virtuellen Raum wahrnehmen.
Es ist zum Suchen und neuen Aufbauen eines gewünschten Bilds gemäß der Anforderung des Betrachters wirkungsvoll, die Ortsinformationen von Punkten, an denen die einzelnen Bilder aufgenommen wurden, zu verwenden. Das heißt, ein der Anforderung des Betrachters nächstes Bild wird aus einer Datenbank ausgewählt und erlebt eine passende Bildinterpolation, um ein optimales Bild zu erzeugen und anzuzeigen.
1 zeigt das Prinzip eines weit reichenden Durchgehens bzw. Walkthroughs (wide-area walkthrough) unter Verwendung von erfassten Bildern.
Genauer werden erfasste Bilder für enge Bereiche 1, 2, 3 und 4 vorbereitet. Zum Realisieren eines weit reichenden Walkthroughs (zum Beispiel entlang einer Route 10 oder 11), der es einem Betrachter ermöglicht, quer durch diese engen Bereiche zu gehen, muss ein Bild in einem Raum zwischen benachbarten engen Bereichen durch eine Interpolation erhalten werden. Wenn der Betrachter sich derzeit an einer Position zwischen den engen Bereichen 2 und 3 befindet und der Raum zwischen diesen Bereichen durch eine Interpolation erhalten wird, müssen spezifische erfasste Bilder für die Bereiche 2 und 3 durch eine Suche auf der Grundlage von dem derzeitigen Ort des Betrachters zwischen den Bereichen 2 und 3 zugeordneten Informationen erhalten werden. Mit anderen Worten muss zum Erhalten von erforderlichen Bildern durch eine Suche auf der Grundlage der Ortsinformationen des Benutzers eine Datenbank von erfassten Bildern gemäß Ortsdaten bei einer Bilderfassung im Voraus vorbereitet werden.
Zum Erreichen einer genauen Interpolation und zum glatten Verbinden der interpolierten Bilder und der erfassten Bilder, während der Betrachter in dem Bereich von 360° um ihn oder sie herum durchgehen kann, müssen erfasste Bilder der Umgebung durch eine große Anzahl von zum Zeigen in verschiedene Richtungen angeordneten Kameras aufgenommen werden, und eine Bilddatenbank muss unter Verwendung dieser erfassten Bilder aufgebaut werden.
Zum Erreichen einer genauen Interpolation auf der Grundlage von unter Verwendung einer Vielzahl von Kameras erhaltenen Bildern müssen die Bilderfassungsmittelpunkte vieler Kameras miteinander übereinstimmen. Es ist jedoch nicht leicht, viele Kameras in einer derartigen Weise anzuordnen.
Zum Lösen dieses Problems wird herkömmlich eine Vielzahl von Spiegeln symmetrisch um einen gegebenen Punkt herum aufgestellt, und die Spiegeloberflächen der einzelnen Spiegel werden so eingestellt, dass von den umliegenden Abschnitten kommende Lichtstrahlenbündel nach oben reflektiert werden, wodurch die Bilderfassungsmittelpunkte der Kameras an einem Punkt eingestellt werden, wie es in 2 gezeigt ist.
Bei dem Stand der Technik werden jedoch zum Aufbauen einer Datenbank von erfassten Bildern Ortsinformationen in Einheiten von Bildeinstellungen der einzelnen erfassten Bilder hinzugefügt.
Die Ortsinformationen werden jedem Bild in einer derartigen Art und Weise hinzugefügt, dass eine Bilderfassung durchgeführt wird, während eine Videokamera mit einer konstanten Geschwindigkeit bewegt wird, um Bilder aufeinander folgend auf einem Videoband aufzuzeichnen, und die Position des Abschnitts von Interesse auf der Grundlage der Entfernung von dem Beginn des Videobands zu der Position des Bandabschnitts, der das Bild, dem die Ortsinformationen hinzuzufügen sind, speichert, berechnet wird. Daraufhin wird eine Datenbank erfasster Bilder durch ein Kombinieren der Bilder auf dem Band und der Bilderfassungsortsinformationen dieser Bilder ausgebildet.
Folglich werden derartige Arbeiten beinahe manuell durchgeführt und erfordern viel Zeit, da die Anzahl von erfassten Bildern größer wird.
Zum Realisieren eines weit reichenden Walkthroughs muss jedes erfasste Bild einen ausgedehnten Bereich (weiten Winkel) aufweisen. Wenn ein Weitwinkelbild durch eine einzelne Kamera erhalten wird, werden dann, wenn eine Bildinterpolation unter Verwendung von benachbarten Bildelementen des Weitwinkelbilds durchgeführt wird, viele Fehler in einem durch die Interpolation erhaltenen Bild hervorgerufen, und die Kontinuität zwischen dem interpolierten Bild und dem erfassten Bild geht im Wesentlichen verloren. Wenn eine Vielzahl von Kameras (n Kameras) zum Aufnehmen von Bildern an Weitwinkelpositionen aufgestellt wird, nimmt die Hinzufügungsarbeit der Ortsinformationen n Mal zu.
Die WO 95 32483 A offenbart ein Verfahren zum Sammeln und Verarbeiten von visuellen und räumlichen Positionsinformationen für die Ausbildung einer Datenbank geographischer Informationen. Das Sammlungssystem weist Videokameras, einen GPS-Empfänger und ein internes Navigationssystem (INS) auf und ist in einem sich bewegenden Fahrzeug angebracht. Jedes Bild des Videobands weist einen ihm zugeordneten Zeitcode auf. Der Zeitcode wird durch den Steuerungscomputer zusammen mit den durch den GPS-Empfänger und das INS bereitgestellten derzeitigen räumlichen Positionsinformationen zu der Zeit, zu der das Bild aufgezeichnet wird, aufgezeichnet.
Ausgestaltungen der Erfindung sind in den beiliegenden Patentansprüchen definiert.
Es ist ein Anliegen der vorliegenden Erfindung, eine Datenbankvorrichtung bereitzustellen, die eine Bilddatenbank aufbaut, zu der Zeitinformationen hinzugefügt werden, so dass jedem Bilderfassungsort zugeordnete Ortsinformationen effizient zu einer durch eine Kamera erhaltenen Folge erfasster Bilder hinzugefügt werden können.
Andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der in Verbindung mit den beigefügten Zeichnungen, in denen gleiche Bezugszeichen überall in den Figuren davon die gleichen Teile oder ähnliche Teile bezeichnen, genommenen folgenden Beschreibung ersichtlich.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 zeigt eine erläuternde Ansicht des Prinzips des weit reichenden Walkthroughs, bei dem die vorliegende Erfindung Anwendung finden kann;
2 zeigt eine Seitenansicht, die den schematischen Aufbau einer in einer herkömmlichen Kameraanordnungsvorrichtung angeordneten Kamerabefestigungsvorrichtung darstellt;
3 zeigt ein Blockschaltbild, das den Aufbau eines Datenerfassungssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt;
4 zeigt eine graphische Darstellung, die die endgültigen Speicherorte von verschiedenen Daten in dem in 3 gezeigten System darstellt;
5 zeigt ein Blockschaltbild, das eine Erzeugung eines Zeitcodes in einer in 3 gezeigten Videokamera 20 darstellt;
6 zeigt eine Ansicht zum Erläutern des Formats von auf einem Videoband 22 der Videokamera 20 aufgezeichneten Daten;
7 zeigt eine Ansicht zum Erläutern des Formats von auf einer Festplatte HD eines PC 30 aufgezeichneten Daten;
8 zeigt eine Ansicht zum Erläutern des Merkmals der Kameraanordnung des in 3 gezeigten Ausführungsbeispiels;
9 zeigt eine Ansicht zum Erläutern der Bilderfassungsazimute von Kameras #1 bis #6 in der in 8 gezeigten Kameraanordnung;
10 zeigt ein Flussdiagramm, das die Gesamtverarbeitung des in 3 gezeigten Datenerfassungssystems darstellt;
11 zeigt ein Flussdiagramm zum ausführlicheren Erläutern einiger Schritte in dem in 10 gezeigten Flussdiagramm;
12 zeigt ein Flussdiagramm zum ausführlicheren Erläutern einiger anderer Schritte in dem in 10 gezeigten Flussdiagramm;
13 zeigt ein Flussdiagramm zum ausführlicheren Erläutern einiger anderer Schritte in dem in 10 gezeigten Flussdiagramm;
14 zeigt eine Ansicht zum Erläutern von Vorzügen der in 8 gezeigten Kameraanordnung;
15 zeigt ein Diagramm zum Erläutern der Zeiten von in einem Datensatz einer Bilddatenbank zu kombinierenden Bilddaten;
16 zeigt ein Blockschaltbild, das den Aufbau eines Datenbankerzeugungssystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt;
17 zeigt die von den in 6 und 7 gezeigten Formaten verschiedenen Formate von Dateien;
18 zeigt ein Flussdiagramm zum Erläutern des grundlegenden Prinzips der Steuerung zur Datenbankerzeugung des in 16 gezeigten Ausführungsbeispiels;
19 zeigt ein Flussdiagramm zum ausführlicheren Erläutern einiger Schritte in dem in 18 gezeigten Flussdiagramm;
20 zeigt ein Flussdiagramm zum ausführlicheren Erläutern einiger anderer Schritte in dem in 18 gezeigten Flussdiagramm;
21 zeigt ein Flussdiagramm, das die Steuerungsabfolge zum Wandeln von Bilddaten von einer Kamera #7 in die Bilddaten von einer sich an einer Position 7' befindenden Kamera in der in 14 gezeigten Kameraanordnung darstellt;
22 zeigt eine Ansicht zum Erläutern einer Bildung einer Totzone und einer Doppelbildzone bei einer Erzeugung eines Rundblickbilds bzw. Panoramabilds bei dem in 16 gezeigten Ausführungsbeispiel;
23 zeigt eine Ansicht zum Erläutern des Prinzips der Projektion auf einen Zylinder zum Erzielen einer Panoramabilderzeugung;
24 zeigt ein Flussdiagramm, das die Steuerungsabfolge gemäß einer Modifikation der in 10 gezeigten Steuerungsabfolge darstellt;
25 zeigt ein Flussdiagramm zum ausführlicheren Erläutern einiger Schritte in dem in 24 gezeigten Flussdiagramm;
26 zeigt ein Flussdiagramm zum ausführlicheren Erläutern einiger anderer Schritte in dem in 24 gezeigten Flussdiagramm;
27 zeigt eine Ansicht zum Erläutern einer anderen Kameraanordnung;
28 zeigt eine Ansicht zum Erläutern einer Erfassung von Bilddaten, wenn ein Fahrzeug sich bei der in 27 gezeigten Kameraanordnung geradeaus bewegt;
29 zeigt eine Ansicht zum Erläutern einer Erfassung von Bilddaten, wenn ein Fahrzeug bei der in 27 gezeigten Kameraanordnung nach links abbiegt;
30 zeigt eine Ansicht zum Erläutern einer Erfassung von Bilddaten, wenn ein Fahrzeug bei der in 27 gezeigten Kameraanordnung nach rechts abbiegt;
31 zeigt eine Ansicht zum Erläutern noch einer anderen Kameraanordnung;
32 zeigt eine Ansicht zum Erläutern einer Erfassung von Bilddaten, wenn ein Fahrzeug sich bei der in 31 gezeigten Kameraanordnung geradeaus bewegt;
33 zeigt eine Ansicht zum Erläutern einer Erfassung von Bilddaten, wenn ein Fahrzeug bei der in 31 gezeigten Kameraanordnung nach links abbiegt;
34 zeigt eine Ansicht zum Erläutern einer Erfassung von Bilddaten, wenn ein Fahrzeug bei der in 31 gezeigten Kameraanordnung nach rechts abbiegt; und
35 zeigt ein Flussdiagramm, das die Erzeugungsabfolge einer Bilddatenbank gemäß einer dritten Modifikation darstellt.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Im Folgenden wird ein bevorzugtes Ausführungsbeispiel beschrieben, bei dem die vorliegende Erfindung Anwendung findet. Dieses Ausführungsbeispiel ist auf ein System zum Gewinnen erfasster Bilder (auf das im Folgenden als ein "Bilderfassungssystem" Bezug zu nehmen ist) und ein System zum Aufbauen einer Bilddatenbank zum Realisieren eines weit reichenden Walkthroughs aus durch das Erfassungssystem erfassten Bildern (auf das im Folgenden als ein "Bilddatenbankerzeugungssystem" Bezug zu nehmen ist) gerichtet.
Gemäß dem Ausführungsbeispiel können Ortsinformationen bei einer Bilderfassung in Echtzeit zu Bilddaten hinzugefügt werden. Daher kann im Prinzip bei einer Bilderfassung in Echtzeit eine Bilddatenbank erzeugt werden. Das Datenvolumen von erfassten Bildern ist jedoch groß, und die Datenbankerzeugung erfordert eine Datenbearbeitung. Folglich ist eine parallele Verarbeitung von Bilderfassung und Datenbankerzeugung nicht immer erforderlich. Aus diesem Grund ist das System dieses Ausführungsbeispiels in zwei Systeme aufgeteilt, das heißt das "Bilderfassungssystem" und das "Bilddatenbankerzeugungssystem".
<Aufbau des Bilderfassungssystems>
Das Bilderfassungssystem dieses Ausführungsbeispiels erfasst Bilder einer umliegenden Umgebung unter Verwendung einer Vielzahl von an einem Fahrzeug angebrachten Kameras. An dem Fahrzeug sind auch ein GPS-Sensor 40 zum Erfassen bzw. Detektieren des Fahrzeugorts, ein Lagesensor 41 zum Detektieren der Lage des Fahrzeugkörpers (das heißt der Kameralage) und ein Azimutsensor 42 zum geomagnetischen Detektieren des Azimuts angebracht.
3 zeigt den Aufbau des Bilderfassungssystems. Das Bilderfassungssystem wird durch ein Anbringen der in 3 gezeigten jeweiligen Vorrichtungen an einem Fahrzeug aufgebaut.
Sieben Kameras (20a, 20b, ..., 20g) zum Erfassen von Umgebungsbildern werden angebracht. Jede verwendete Kamera ist zum Beispiel eine von der Sony Corporation erhältliche Videokamera DCR-VX1000.
Ein PC 30 steuert das ganze Bilderfassungssystem und enthält einen Mikroprozessor Pentium Pro 200 MHz. Der PC 30 und die einzelnen Kameras 20 sind über Video/Computer-Schnittstelleneinheiten 21a, ..., 21g (von der Sony Corporation erhältliche Vbox II C1-1100) verbunden.
Der PC 30 und die Schnittstelleneinheit 21g sind über einen bekannten RS232C-Schnittstellen-Bus verbunden, und die Schnittstelleneinheiten 21a, 21b, ..., 21g sind durch eine Verkettung (Eingabesignal: VISCA EIN, Ausgabesignal: VISCA AUS) verbunden. Wie es nachstehend beschrieben wird, sendet der PC 30 ein Zeitcodeabfragesignal zu den einzelnen Kameras 20a, ..., 20g. Im Ansprechen auf das Abfragesignal geben die Kameras 20a, ..., 20g Zeitcodeinformationen auf einer Signalleitung VISCA AUS aus, und die Zeitcodeinformationen werden dem PC 30 zugeführt.
Es ist zu beachten, dass der Zeitcode Zeitinformationen sind, die auf ein Magnetband geschrieben sind, das sich mit einer vorgeschriebenen Geschwindigkeit in der Videokamera mit vorbestimmten Zeitintervallen bewegt, und eine Detektion eines Zeitcodesignals bei einer Wiedergabe des Magnetbands ein Verstreichen der vorbestimmten Zeit bedeutet. Das heißt, basierend auf der Anzahl von detektierten Zeitcodesignalen kann die zur Wiedergabe von dem Beginn des Magnetbands bis zu der derzeitigen Position erforderliche Zeit detektiert werden.
Ein GPS-Sensor 40 und ein Drei-Achsen-Lagesensor 41 sind über RS232C-Schnittstellen-Busse mit dem PC 30 verbunden, und ein geomagnetischer Azimutsensor 42 ist über einen analogen Bus mit dem PC verbunden. Ein Azimutsignal von dem Sensor 42 wird durch eine in den PC 30 eingesetzte interne A/D-Wandler-Platine (nicht gezeigt) A/D-gewandelt.
Als der in diesem System verwendete GPS-Sensor 40 wird ein Modell 4400 als ein von Trimble Navigation Limited erhältlicher kinematischer Sensor verwendet. Der kinematische Sensor ist zu Ortsmessungen mit einer Genauigkeit von ±3 cm mit einer Abtastrate von 5 Hz in der Lage.
Der verwendete Lagesensor 41 ist ein von der DATATECH Corporation erhältlicher GU-3020, der eine Genauigkeit von je ±0,5° für den Nickwinkel bzw. Pitch-Winkel und den Wankwinkel bzw. Roll-Winkel und eine Genauigkeit von ±0,9° für den Gierwinkel bzw. Yaw-Winkel sicherstellen kann. Ferner ist der verwendete geomagnetische Azimutsensor 42 ein von der Tokin Corporation erhältlicher TMC-2000, der eine Genauigkeit von ±2° sicherstellen kann.
Es ist zu beachten, dass arithmetische Operationen von auf Signalen von dem GPS-Sensor 40 basierenden Ortsinformationen den PC 30 überlasten können, da sie eine Hochgeschwindigkeitsverarbeitung erfordern. Aus diesem Grund kann als eine Modifikation des in 3 gezeigten Datenerfassungssystems ein arithmetischen Operationen bei GPS-Daten ausschließlich zugeordneter PC hinzugefügt werden.
4 zeigt die Aufzeichnungsorte von verschiedenen durch das in 3 gezeigte System erfassten Daten.
Wie es bekannt ist, gibt der kinematische GPS-Sensor hochgenaue Zeit- und Ortsdaten aus.
In 4 speichert eine Festplatte HD des PC 30 "Zeitcodes" von den Kameras 20, "Zeitdaten" und "Ortsinformationsdaten" von dem Sensor 40, "Lageinformationsdaten (POS)" von dem Lagesensor 41 und "Azimutinformationen (AZM)" von dem Azimutsensor 42.
In 4 werden erfasste Bilder von den einzelnen Kameras (20a, ..., 20g) jeweils auf Videobändern 22a, 22b, ..., 22g aufgezeichnet. 5 zeigt ein Aufzeichnungssystem in jedem Kamerarekorder (20a, ..., 20g). Wie es bekannt ist, enthält der Kamerarekorder 20 eine Zeitcodeerzeugungseinrichtung 23, eine Signalmischeinrichtung 24 und ein Videoband 22 zur Datenaufzeichnung. Die Zeitcodeerzeugungseinrichtung 23 gibt Zeitcodes zum Indizieren von Bildeinstellungen aus. Das heißt, die Zeitcodes werden zusammen mit Bilddaten auf dem Band aufgezeichnet und bestimmen die Einstellungspositionen bzw. Bildpositionen der aufgezeichneten Bilddaten.
In 5 werden die Zeitcodes von der Zeitcodeerzeugungseinrichtung 23 und Bilddaten von einem (nicht gezeigten) CCD-Sensor durch die Mischeinrichtung 24 gemäß einem vorbestimmten Format auf dem Band 22 aufgezeichnet.
6 zeigt ein Beispiel für das Aufzeichnungsformat der zwei Typen von Daten (Bilddaten und Zeitcodedaten), die auf dem Band 22 der Kamera 20 aufgezeichnet werden. Genauer ist auf dem Band jeder Bildeinstellung ein Zeitcode zugewiesen. Mit anderen Worten können Zielbilddaten auf einem gegebenen Band 22 auf dem Band 22 gesucht werden, indem der den Bilddaten entsprechende Zeitcode bezeichnet wird.
7 zeigt ein Beispiel für das Aufzeichnungsformat eines Datensatzes von verschiedenen Arten von Informationen auf der Festplatte HD.
Bei einem Empfangen eines Zeitcodes von einer beliebigen Kamera zu einem beliebigen Zeitpunkt schreibt der PC 30 einen Satz von "Zeitdaten" (von dem Sensor 40 empfangen), "Ortsinformationen" (von dem Sensor 40 empfangen) des Fahrzeugs, "Lageinformationen" von dem Lagesensor 41 und "Azimutinformationen" von dem Azimutsensor 42 zu dieser Zeit als eine Zeitcode/Sensorinformationen-Datensatz-Datei (in dem in 7 gezeigten Format) auf die Platte HD. Genauer besteht ein Zeitcode/Sensorinformationen-Datensatz aus dem Wert eines Zeitcodes TC, einer Zeit TIM zu dieser Zeit, einer Nummer # der Kamera, die den Zeitcode erzeugt hat, Fahrzeugortsdaten LOC, Lagedaten POS und Azimutdaten AZM des Fahrzeugs zu der Zeit des Empfangs des Zeitcodes und dergleichen.
Wie in 4 gezeigt werden in dem Bilderfassungssystem dieses Ausführungsbeispiels Bilder auf den Magnetbändern aufgezeichnet, und die Ortsinformationen und Zeitcodes werden auf der Festplatte des PC 30 aufgezeichnet.
Wie aus dem in 7 gezeigten "Zeitcode/Sensorinformationen-Datensatz" ersichtlich kann dann, wenn der Wert einer gewissen Zeit t_x gegeben ist, ein Datensatz mit einem TIM nahe an dem Wert der Zeit t_x detektiert werden, und der Zeitcode TC, der Fahrzeugort LOC, die Lage POS und der Azimut AZM können anhand des Datensatzes detektiert werden. Unter Verwendung des Werts des erhaltenen Zeitcodes TC kann das Band 22 durchsucht werden, um Zielbilddaten zu erfassen. In dieser Art und Weise können beliebige Bilddaten auf dem Band mit dem Bilderfassungsort und der Zeit der Bilddaten kombiniert werden.
Das in 3 gezeigte Datenerfassungssystem zielt auf eine Erzeugung von Bezugsbilddaten ab, die zum Erzeugen einer zum Erzeugen eines Panoramabilds geeigneten Bilddatenbank verwendet werden.
Es ist zu beachten, dass Signale, die die Orte von Sensordaten und Bilddaten darstellen können, dem Zeitcode in der Kamera und Zeitdaten von dem Sensor 40 in den Sensorsignalen entsprechen. In einer Bilddatenbank müssen Bilddaten nur schließlich mit Ortsinformationen und Lagedaten des Fahrzeugs verknüpft werden. Folglich ist das in dem Datenerfassungssystem dieses Ausführungsbeispiels gespeicherte Dateiformat nicht auf die in 6 und 7 gezeigten Dateiformate beschränkt. Es können zum Beispiel zwei oder mehr Festplattenlaufwerkseinheiten in dem PC 30 angeordnet werden, und verschiedene Arten von am besten geeigneten Sensorinformationen können auf den einzelnen Platten gespeichert werden.
Eine Erfassung von Datenbildern (nachstehend zu beschreiben) entspricht einer Modifikation des in 6 und 7 gezeigten Datenerfassungsverfahrens.
<Kameraanordnung> ... Erfassungssystem
8 zeigt die Anordnung der sieben Kameras (20a bis 20g) an dem Fahrzeug bei dem Datenerfassungssystem dieses Ausführungsbeispiels.
In 8 stimmt die Richtung nach oben (durch einen Pfeil angegeben) in 8 mit der Richtung überein, in der das Fahrzeug sich bewegt. Wie in 8 und 9 gezeigt werden die Kamera 20c (Kamera #3) und die Kamera 20d (Kamera #4) zum Abtasten einer Umgebung in der Bewegungsrichtung des Fahrzeugs verwendet, die Kamera 20a (Kamera #1) und die Kamera 20b (Kamera #2) werden zum Abtasten einer Umgebung auf der linken Seite des Fahrzeugs verwendet, und die Kamera 20e (Kamera #5) und die Kamera 20f (Kamera #6) werden zum Abtasten einer Umgebung auf der rechten Seite des Fahrzeugs verwendet.
Es ist zu beachten, dass jedes schraffierte Gebiet in 9 ein Gebiet angibt, in dem die Bilderfassungswinkel von benachbarten Kameras einander überlappen.
In 8 wird eine Kamera #7 (20g) zum Abtasten einer hinteren Umgebung verwendet. Der Bilderfassungsmittelpunkt der Kamera 20 ist um eine Entfernung r rückwärts von dem (durch einen Punkt T in 8 angegeben) der anderen Kameras (20a bis 20g) getrennt. Durch ein Anordnen der Kamera 20g an dem hinteren Abschnitt des Fahrzeugs kann die Kamera 20g verursacht durch das Vorhandensein von vielen Kameras daran gehindert werden, den Fahrzeugkörper abzutasten, wie es in den Absätzen des Stands der Technik vorstehend beschrieben worden ist. Da die Kamera 20g bei dem hinteren Abschnitt angeordnet ist, können viele Kameras daran gehindert werden, die zentrale Position T zu überfüllen, und ein hoher Freiheitsgrad bei der Anordnung von anderen Kameras kann sichergestellt werden.
<Gewinnung von erfassten Bildern> ... Erfassungssystem
Der Verarbeitungsablauf für eine Bilddatenerfassung durch das Datenerfassungssystem dieses Ausführungsbeispiels wird nachstehend erläutert.
10 erläutert die Gesamtabfolge der durch den PC 30 gesteuerten Datenerfassung erfasster Bilder.
Schritte S100 und S200 sind Initialisierungsschritte.
In dem Schritt S100 wird eine Übereinstimmung zwischen Zeitcodes TC von allen den Kameras (20a bis 20g) bestimmt. In dem Schritt S200 wird eine Übereinstimmung zwischen den Zeitcodes TC und Zeitdaten TIM von dem GPS-Sensor bestimmt. In den Schritten S100 und S200 kann eine Abweichung zwischen jedem Zeitcode TC von der Kamera und den Zeitdaten TIM von dem GPS-Sensor detektiert werden.
In einem Schritt S300 wird eine Übereinstimmung zwischen den Zeitcodes TC und Informationen von den einzelnen Sensoren (Lagesensor 41 und geomagnetischer Azimutsensor 42) bestimmt. Die Verarbeitung in dem Schritt S300 wird wiederholt, bis die Bilderfassung abgeschlossen ist.
11 zeigt die ausführliche Abfolge der Verarbeitung der "Zeitcodeübereinstimmungsbestimmung" in dem Schritt S100.
Genauer wird in einem Schritt S102 der die Kameranummer angebende Wert eines Zählers k auf "2" eingestellt. Der Grund dafür, warum "2" eingestellt wird, besteht darin, dass die Kamera #1 (Kamera 20a) der Bequemlichkeit halber als eine Bezugskamera verwendet wird. In einem Schritt S104 wird ein Zeitcode von der Kamera #1 protokolliert. In einem Schritt S106 wird ein Zeitcode von einer Kamera #k protokolliert. In einem Schritt S108 wird es überprüft, ob die vorstehend angeführten Operationen eine vorbestimmte Anzahl von Malen (N) wiederholt worden sind. Nach der vorbestimmten Anzahl von Malen der Operationen werden N Paare des Zeitcodewerts der Kamera #1 und des Werts eines Zeitcodes TC_k von einer beliebigen Kamera k unter den Kameras #2 bis #7 erhalten. Durch ein Nehmen des Durchschnitts dieser Vielzahl (N) von Paaren von Daten kann eine Übereinstimmung zwischen den Zeitcodes der Kameras #1 und #k, das heißt eine "Abweichung" (Differenz zwischen TC₁ und TC_k), erhalten werden. Eine derartige Übereinstimmung wird für alle die Kameras #2 bis #7 erhalten.
12 zeigt die ausführliche Verarbeitungsabfolge zum Erhalten einer Übereinstimmung zwischen den Zeitcodes TC und Zeitdaten TIM in dem Schritt S200 in 10.
Genauer werden in einem Schritt S202 Zeitdaten TIM von dem GPS-Sensor erhalten. In einem Schritt S204 wird der Wert eines Zeitcodes TC₁ von der Kamera #1 bei Zeitdaten TIM protokolliert. Durch ein mehrmaliges Wiederholen der vorstehend angeführten Operation kann die Differenz zwischen dem durch den Zeitcode TC₁ von der Kamera #1 angegebenen Wert und der absoluten Zeit (der Zeit TIM von dem GPS-Sensor) detektiert werden.
Genauer kann dann, wenn der Zeitcode von einer gewissen Kamera k TC_k ist, anhand der durch die in 11 und 12 gezeigten Flussdiagramme erhaltenen Beziehungen die Abweichung zwischen TC_k und dem Zeitcode TC₁ von der Kamera #1, das heißt das der Abweichung dazwischen entsprechende Zeitintervall, im Voraus erkannt werden.
Die Operation in dem Schritt S300 in 10 wird synchron zu einem Aufnehmen von Umgebungsbildern durch die sieben Kameras 20a bis 20g durchgeführt.
13 erläutert den Schritt S300 ausführlich. Genauer wird in einem Schritt S302 ein Zeitcode TC₁ von der Bezugskamera #1 empfangen. In einem Schritt S304 werden Lagedaten (Pitch-, Roll- und Yaw-Winkel) von dem Lagesensor 41 gespeichert. In einem Schritt S306 werden Daten von dem Azimutsensor 42 erfasst. In einem Schritt S308 wird basierend auf dem erhaltenen Zeitcode TC₁ und den erhaltenen Sensordaten ein Datensatz in der Zeitcode/Sensorinformationen-Datei auf der Festplatte HD aufgezeichnet.
<Freiheitsgrad bei Kameraanordnung sicherstellen> ... Erfassungssystem
In 8 tastet die Kamera #7 (20g) eine hintere Umgebung ab. Der Bilderfassungsmittelpunkt der Kamera 20 ist um die Entfernung r von dem (durch den Punkt T in 8 angegeben) der anderen Kameras (20a bis 20f) getrennt. Da die Kamera 20g um die Entfernung r getrennt an dem hinteren Abschnitt des Fahrzeugs angeordnet ist, kann die Kamera 20g daran gehindert werden, den Fahrzeugkörper abzutasten, und ein hoher Freiheitsgrad bei der Anordnung von vielen Kameras kann sichergestellt werden. Genauer kann es verhindert werden, dass zu viele Kameras die zentrale Position T abdecken.
Bei der in 8 gezeigten Kameraanordnung sind jedoch sieben durch die sieben Kameras gleichzeitig erfasste Bilder als ein Satz von an einem einzelnen Punkt gleichzeitig erfassten Bilddaten zu verarbeiten. Wie es in den Absätzen des Stands der Technik beschrieben worden ist, können dann, wenn ein interpoliertes Bild aus erfassten Bildern, die an zwei diskontinuierlichen Orten erfasst werden, erzeugt wird, das interpolierte Bild und die erfassten Bilder nicht glatt verbunden werden, falls diese zwei Bilderfassungsorte übermäßig getrennt sind, das heißt falls die Kamera 20g weiter von der Kamera 20a getrennt ist (das heißt ein großes r eingestellt ist), um einen hohen Freiheitsgrad bei der Kameraanordnung sicherzustellen.
Bei diesem System werden zum Kompensieren der sich aus der Entfernung r ergebenden Abweichung zwischen Bilddaten wie in 14 gezeigt zukünftige Bilddaten eine Zeitdauer Dt: Dt = r/v(v ist die Bewegungsgeschwindigkeit des Fahrzeugs)
der fraglichen Zeit (Zeit t) voraus, das heißt erfasste Bilddaten, die durch die Kamera #7 Dt (= r/v) nach der Zeit t erfasst worden wären (die Kamera #7 muss zu dieser Zeit die Position T erreicht haben), zusammen mit durch die Kameras #1 bis #6 an den Orten zu der Zeit t (das heißt den in 14 veranschaulichten Orten) erfassten Bilddaten verwendet.
Genauer muss zum Realisieren eines Weit-reichender-Walkthrough-Systems eine Bilddatenbank als eine Grundlage zum Erzeugen eins interpolierten Bilds aus erfassten Bildern ausgebildet werden, indem erfasste Bilder (auf den Magnetbändern 22a bis 22g gespeichert) von den Kameras #1 bis #7 miteinander in Beziehung gebracht werden. Wie in 15 gezeigt werden durch die Kameras #1 bis #6 zu tatsächlich der gleichen Zeit (zum Beispiel der Zeit t₁) erfasste Bilder, das heißt Bilder IM₁(t₁) bis IM₆(t₁) mit den gleichen "Zeitdaten", in einem Datensatz der Datenbank kombiniert, und was Bilddaten IM₇ von der Kamera #7 (20g) betrifft, so werden Bilddaten IM₇(t₁ + r/v) zu der Zeit t₁ + Dt: t1 + (r/v)in dem Datensatz kombiniert.
Wie vorstehend beschrieben weisen bei dem in 3 gezeigten Datenerfassungssystem die Zeitcodes der Kameras Abweichungen auf. Folglich wird die in 15 gezeigte Verarbeitung bei dem in 3 gezeigten Datenerfassungssystem ausgeführt wie folgt. Das heißt, es wird angenommen, dass die durch die Steuerungsabfolge in 11 erhaltene Abweichung des Zeitcodes TC₇ von der Kamera #7 mit Bezug auf den Zeitcode TC₁ von der Kamera #1 DTC ist, das heißt dass der Zeitcode TC₇ von der Kamera #7 dem Zeitcode TC₁ von der Kamera #1 um die Zeit DTC voreilt (nacheilt, falls DTC < 0). In diesem Fall werden an einem um eine Zeitdauer: DTC + Dt (für Dt = r/v) mit Bezug auf die Bezugszeit t der Kamera #1 zukünftigen Ort aufgezeichnete Bilddaten verwendet.
<Datenbankerzeugungssystem>
16 zeigt den Aufbau eines "Datenbankerzeugungssystems" zum Erzeugen einer zum Synthetisieren eines Panoramabilds von dem in 3 gezeigten Datenerfassungssystem verwendeten Bilddatenbank. Genauer ist dieses Erzeugungssystem mit dem aus dem PC 30 bestehenden vorstehend angeführten "Datenerfassungssystem" wie in 16 gezeigt verbunden und erzeugt eine zur Bildinterpolation für den Zweck der Weit-reichender-Walkthrough-Bilddarstellung auf der Grundlage von durch das "Datenerfassungssystem" erhaltenen Videobanddateien und Magnetplattendateien (HD in dem PC 30) geeignete Datenbank.
Das in 3 gezeigte Datenerfassungssystem erzeugt zusätzlich zu den Dateien auf den Magnetbändern 22a bis 22g zwei in 6 und 7 gezeigte Dateien. Diese zwei Dateien sind durch Zeitcodes TC miteinander verknüpft. Genauer sind Bilddaten von beliebigen Einstellungen bzw. Bildern auf den Magnetbändern 22a bis 22g über die Zeitcodes TC mit den Kameraorten, Lagen und Azimuten bei dem Erfassen der Bilddaten verknüpft. Daher können dann, wenn Bilder für sieben durch die sieben Kameras zu einer gewissen Bilderfassungszeit oder einem gewissen Bilderfassungszeitpunkt erfasste Szenen erforderlich sind, diese Bilddaten für die sieben Szenen wünschenswerterweise unter Verwendung des Zeitcodes TC von den sieben Magnetbändern gewonnen werden. Das Durchsuchen des Magnetbands nach einer Zielbildeinstellung ist jedoch zeitintensiv. Das primäre Ziel des Datenbankerzeugungssystems dieses Ausführungsbeispiels besteht darin, Bilder von unnötigen Szenen auszuschließen und nur Bilder von erforderlichen Einstellungen von einem Band mit niedriger Geschwindigkeit zu einer Datei mit hoher Geschwindigkeit (zum Beispiel einer Magnetplattendatei) zu bewegen.
Das in 3 gezeigte System kann verursacht durch zu viel zu verarbeitendes Datenvolumen die in 6 gezeigte Zeitcode/Sensorinformationen-Datei nicht häufig erzeugen. Mit anderen Worten teilt das in 3 gezeigte System die in 6 gezeigte Zeitcode/Sensorinformationen-Datei in verschiedene Dateien auf und speichert Zeitcodedaten TC, Zeitdaten TIM und Lagedaten in einer Datei (auf die im Folgenden als eine "erste Protokollierungsdatei" Bezug zu nehmen ist) und Ortsdaten und Zeitdaten TIM in einer anderen Datei (auf die im Folgenden als eine "zweite Protokollierungsdatei" Bezug zu nehmen ist), wie es zum Beispiel in 17 gezeigt ist. Ferner werden Bilddaten als eine "dritte Protokollierungsdatei" einschließlich eines Paars von erfasstem Bild und Zeitcode auf dem Band aufgezeichnet. Es ist zu beachten, dass die erste und zweite Protokollierungsdatei große Datenvolumen aufweisen, da jedes Mal, wenn die Ausgabe von dem GPS-Sensor 40 erzeugt wird, ein Datensatz erzeugt wird, und folglich kann eine hohe Genauigkeit bei der Bildinterpolation sichergestellt werden.
Das nachstehend zu beschreibende Datenbankerzeugungssystem wandelt die drei in 17 gezeigten Protokollierungsdateien, die durch das in 3 gezeigte Datenerfassungssystem erzeugt werden, in eine Datenbank.
In 16 wird eine Datenbank durch einen Bildverarbeitungscomputer 50 erzeugt. Videobanddateien werden in Videogeräte 60a bis 60g eingesetzt und durch diese geladen. Ferner ist der PC 30 mit dem Computer 50 verbunden.
18 zeigt den Gesamtverarbeitungsablauf des Computers 50.
In einem Schritt S500 wird die erste Protokollierungsdatei von dem PC 30 zu dem Computer 50 übertragen. In einem Schritt S600 wird die zweite Protokollierungsdatei zu dem Computer 50 übertragen. In einem Schritt S700 wird die dritte Protokollierungsdatei von jedem Videogerät 60 zu dem Computer 50 übertragen.
In einem Schritt S800 wird eine Übereinstimmung zwischen den ersten und zweiten Protokollierungsdateien unter Verwendung von Zeitdaten TIM als einen Schlüssel bestimmt. 19 zeigt die Verarbeitung dieses Schritts ausführlicher. Das Verarbeitungsergebnis wird auf einer (nicht gezeigten) Festplatte in dem Computer 50 gespeichert.
In einem Schritt S900 wird eine Übereinstimmung zwischen den ersten und dritten Protokollierungsdateien unter Verwendung von Zeitcodedaten TC als einen Schlüssel bestimmt. 20 zeigt die Verarbeitung dieses Schritts ausführlicher. Das Verarbeitungsergebnis wird ebenfalls auf einer (nicht gezeigten) Festplatte in dem Computer 50 gespeichert.
Es ist zu beachten, dass ein Bild von der Kamera #7 der Kameras #1 bis #7 sich zu einer von den Verarbeitungen für Bilder von anderen Kameras verschiedenen Verarbeitung begeben muss, wie es vorstehend in Verbindung mit 8 beschrieben worden ist. Folglich werden die Übereinstimmungsbestimmung zwischen den ersten und zweiten Protokollierungsdateien (Schritt S806) und die Übereinstimmungsbestimmung zwischen den ersten und dritten Protokollierungsdateien (Schritt S906) zu der in 21 gezeigten Steuerungsabfolge modifiziert.
Genauer wird in einem Schritt S1000 in 21 ein Datensatz in der ersten Protokollierungsdatei ausgelesen, und in einem Schritt S1002 werden Zeitdaten TIM aus dem ausgelesenen Datensatz detektiert.
Was Bilddaten von den Kameras #1 bis #6 betrifft, so wird in einem Schritt S1004 die zweite Protokollierungsdatei für jede der Kameras #1 bis #6 durchsucht, um Datensätze mit einem TIM mit dem gleichen Wert wie die detektierten Zeitdaten TIM zu finden. In einem Schritt S1006 werden der in dem Schritt S1000 gefundene Datensatz in der ersten Protokollierungsdatei und die in dem Schritt S1004 gefundenen Datensätze in den zweiten Protokollierungsdateien kombiniert (eigentlich werden Informationen TIM und Informationen LOC kombiniert).
Was die Kamera #7 betrifft, so wird demgegenüber eine nachstehende Gleichung (1) unter Verwendung der in dem Schritt S1002 erhaltenen Zeitdaten TIM berechnet:
Daraufhin wird die zweite Protokollierungsdatei der Kamera #7 nach einem Datensatz mit einem TIM mit dem gleichen Wert wie die durch die vorstehende Gleichung (1) gegebenen Zeitdaten TIM durchsucht. Es ist zu beachten, dass f in der Gleichung (1) die Funktion zum Wandeln der Zeitdauer r/v in die bei dem Datenerfassungssystem dieses Ausführungsbeispiels erforderliche Zeitdauer darstellt. In einem Schritt S1012 werden der in dem Schritt S1000 gefundene Datensatz in der ersten Protokollierungsdatei und der in dem Schritt S1010 gefundene Datensatz in der zweiten Protokollierungsdatei kombiniert.
In einem Schritt S1020 wird es überprüft, ob die vorstehend angeführte Verarbeitung für alle die Datensätze in der ersten Protokollierungsdatei abgeschlossen ist. Falls in dem Schritt S1020 JA zutrifft, rückt der Ablauf zu einem Schritt S1022 vor, und ein durch ein Kombinieren der Datensätze in den ersten und zweiten Protokollierungsdateien erhaltener Datensatz wird in eine Datenbankdatei geschrieben.
In dieser Art und Weise wird ein Datenbanksystem, das eine leichte Bildinterpolation für einen weit reichenden Walkthrough erlaubt, in dem Computer 50 erzeugt.
<Erzeugung von Panoramabild>
22 zeigt eine Ansicht zum Erläutern des Überlappungswinkels zwischen Bereichen angrenzender Felder der sechs in 8 gezeigten Kameras (20a bis 20g).
Nachstehend wird ein allgemeiner Fall untersucht, in dem Bilder synthesiert werden (ein Panoramabild erzeugt wird), so dass Bilder eines sich in einer Entfernung L₀ befindenden Objekts P bei einer Interpolation von von zwei Kameras (mit dem selben Öffnungswinkel), die durch eine Entfernung 2d getrennt sind, erhaltenen Bildern glatt verbunden werden. Ein dreieckiges Gebiet mit einem Punkt P als einen Scheitelpunkt vor den Kameras ist eine Totzone. Ein Punkt P' ist der Punkt in einem durch beide die Kameras doppelt abgetasteten Gebiet. Falls der Punkt P' sich in einer Entfernung L(L ≥ L₀) von der Kamera befindet, wird der Punkt P' in jedem Bild um einen Winkel:
auf der Mittelpunktseite des Punkts P abgebildet.
Folglich bildet das Objekt P dann, wenn die zwei Bilder verbunden werden, Doppelbilder aus, und die Differenz zwischen den Abbildungsorten der Doppelbilder ist:
Der Überlappungswinkel zwischen einem Paar von Kameras (20a und 20b, 20c und 20d oder 20e und 20f) wird in Anbetracht der vorstehenden Differenz eingestellt.
Bei einem Berechnen der Differenz zwischen den Kameras #2 und #3 oder den Kameras #4 und #5, deren Bilderfassungsmittelpunkte durch die größte Entfernung getrennt sind, bildet ein Objekt 10 m vor den Kameras dann, wenn die Verbindung zwischen Bildern eines Objekts 3 m vor den Kameras optimiert wird, Doppelbilder mit einer Winkeldifferenz von 6,5° (1,1 m in der Entfernung) aus, und ein unendlich entferntes Objekt bildet Doppelbilder mit einer Winkeldifferenz von 9,3° aus.
Was die Kameras #1 bis #6 betrifft, so wird die Bildinterpolation in Anbetracht einer Doppelabbildung unter Berücksichtigung der vorstehenden Gleichung durchgeführt, da ihre Bilderfassungsmittelpunkte nahe beieinander sind. Was Bilddaten von der Kamera #7 (20g) betrifft, so wird demgegenüber die Bildinterpolation unter Verwendung von Bilddaten für die Kamera #7 (20g) in der Datenbank durchgeführt, da Bilddaten zu der Zeit: t1 + (r/v)als die Bilddaten zu der Zeit t₁ aufgezeichnet werden.
Zum Erhalten eines einzelnen Panoramabilds durch eine Synthese muss eine virtuelle Projektionsebene von einer flachen Ebene in eine zylinderförmige Ebene gewandelt werden.
Es wird ein durch eine Kamera, die in der Richtung des absoluten Azimuts θ₀ zeigt und einen horizontalen Öffnungswinkel 2·θ_w aufweist, erfasstes Bild (horizontal: 2Z, vertikal: 2X) angenommen, wie es in 23 gezeigt ist. Falls bei diesem Bild ein sich an einer vertikal um z und horizontal um x von dem Mittelpunkt des Bilds getrennten Position befindendes Bild in eine zylinderförmige Projektionsebene projiziert wird, ist die Projektionsposition (θ, z') gegeben durch:
werden in einer Linie horizontal angeordnet, um ein einzelnes Panoramabild zu erhalten. Der überlappende Abschnitt zwischen angrenzenden Bildern wird einem Vermischen ausgesetzt, um einen kontinuierlichen Wechsel bereitzustellen.
Wenn Panoramabilder unter Verwendung der eine große Anzahl von durch die sieben Kameras erfassten Bildern enthaltenden Bilddatenbank ausgebildet werden, wird eine Panoramabilddatenbank ausgebildet. Die Bilder in der Panoramabilddatenbank werden in dem Walkthrough-System dieses Ausführungsbeispiels als Quellenbilder verwendet.
<Modifikation der Datenerfassung> ... Erste Modifikation
Das in 10 und 11 gezeigte Datenerfassungssystem ist wirkungsvoll, wenn die Ausgaben von dem Lagesensor 41 unregelmäßig erhalten werden.
Eine nachstehend zu beschreibende Modifikation ist wirkungsvoll, wenn die Ausgaben von dem Lagesensor 41 bei vorbestimmten Perioden erhalten werden und alle Daten gewonnen werden. Genauer ersetzt die in 24 gezeigte Steuerungsabfolge die in 10 gezeigte Steuerungsabfolge. Die Steuerung in einem Schritt S1100 ist äquivalent zu der Steuerung in dem Schritt S100. Die Steuerung in einem Schritt S1200 ist äquivalent zu der Steuerung in dem Schritt S200.
In einem Schritt S1300 wird eine Übereinstimmung zwischen dem Zeitcode TC und der Ausgabe POS von dem Lagesensor 41 bestimmt. Genauer werden in einem Schritt S1302 in 25 Ausgabedaten von dem Lagesensor 41 protokolliert, und der Zeitcode von der Kamera #1 wird in einem Schritt S1304 protokolliert. Danach wird ein Paar dieser Daten auf die Platte geschrieben.
In einem Schritt S1400 in 24 wird eine Übereinstimmung zwischen den Ausgabedaten POS von dem Lagesensor 41 und der Ausgabe AZM von dem Azimutsensor 42 bestimmt. Genauer wird die Ausgabe von dem Lagesensor 41 in einem Schritt S1402 in 26 protokolliert, und die Ausgabe von dem Azimutsensor 42 wird in einem Schritt S1404 protokolliert. Auf diese Weise werden die Ausgaben von dem Lagesensor 41 und dem Azimutsensor 42 als ein Paar von Daten protokolliert.
Da in einer Schleife zwischen den Schritten S1500 und S1400 kein Zeitcode berücksichtigt wird, kann mit dem in 24 gezeigten Verfahren die Datenerfassung mit hoher Geschwindigkeit durchgeführt werden.
<Modifikation der Kameraanordnung> ... Zweite Modifikation
Bei der in 8 gezeigten Kameraanordnung ist nur eine Kamera 20g als die Kamera zum Abtasten eines hinteren Hintergrunds eingerichtet. Zum Abdecken des hinteren Sehfelds unter Verwendung einer einzelnen Kamera muss die Kamera 20g derart eingerichtet sein, dass sie einen weiten Öffnungswinkel aufweist. Wenn ein weiter Öffnungswinkel eingerichtet wird, sinkt jedoch die Auflösung des Umgebungsbildabschnitts, und bei der Bilderinterpolation können Bilder nicht häufig glatt verbunden werden. Ferner weist die in 8 gezeigte Kameraanordnung kein Problem auf, wenn das Fahrzeug sich geradeaus bewegt, aber wirft Probleme auf, wenn das Fahrzeug nach rechts oder links abbiegt.
Bei einer in 27 gezeigten Modifikation ist eine hintere Kamera #8 hinzugefügt. Da zwei hintere Kameras verwendet werden, kann das Sehfeld einer Kamera (#7 oder #8) verengt werden. Zum Verringern der Totzone kreuzen die optischen Achsen der Kameras #7 und #8 einander, wie es in 27 gezeigt ist.
Wenn das Bilderfassungssystem mit der in 27 gezeigten Kameraanordnung an dem Fahrzeug angebracht wird, bewegen sich die Kameras #7 und #8 eine Periode r/v später jeweils zu Orten 7' und 8' in 28, falls dieses Fahrzeug sich geradeaus bewegt. Genauer werden dann, wenn das Fahrzeug fortfährt, sich geradeaus zu bewegen, Bilddaten von beiden Kameras #7 und #8 mehrere Bilder (der Periode r/v entsprechend) zuvor verwendet.
Einer der durch das Kreuzen der optischen Achsen der Kameras #7 und #8 miteinander erhaltenen Vorzüge zeigt sich, wenn das Fahrzeug nach rechts oder links abbiegt. Genauer erreicht die hintere Kamera #8 dann, wenn das Fahrzeug nach links abbiegt, einen in 29 gezeigten Ort (8'), da der Fahrzeugkörper sich entgegen dem Uhrzeigersinn dreht. Genauer wird angenommen, dass Bilddaten von der Kamera #8 an dem Ort 8' mit den von den Kameras #1 bis #6 an den Orten vor der Linkskurve erhaltenen Bilddaten kombiniert werden. Da von den Kameras #1 bis #6 dann, wenn der Fahrzeugkörper in eine Richtung vor der Linkskurve (das heißt der Richtung geradeaus) zeigt, erhaltene Bilddaten mit den von der Kamera #8 in der Richtung geradeaus erhaltenen Bilddaten kombiniert werden, kann in diesem Fall das durch die in 8 gezeigte Anordnung aufgeworfene Problem gelöst werden.
Es ist zu beachten, dass die Links- oder Rechtskurve basierend auf zum Beispiel der Ausgabe von dem Lagesensor 41 detektiert werden kann. Das heißt, der Computer 50 liest eine Datei, die die Ausgaben von dem Lagesensor 41 speichert, und falls die Kurvenrichtung zu dieser Zeit die rechte (oder linke) Seite angibt, werden Bilddaten von der Kamera #7 (oder #8) ausgewählt. Im Allgemeinen wird dann, wenn der Fahrzeugkörper sich im Uhrzeigersinn (entgegen dem Uhrzeigersinn) dreht, die Ausgabe von der Kamera, die entgegen dem Uhrzeigersinn (im Uhrzeigersinn) gegenüber der Mittellinie versetzt ist, verwendet.
30 zeigt den Fall, in dem im Falle der Rechtskurve Bilddaten von der Kamera #7 verwendet werden.
Es ist zu beachten, dass die Steuerungsabfolge des zweiten Ausführungsbeispiels aus der Steuerungsabfolge einer nachstehend zu beschreibenden dritten Modifikation ersichtlich wird.
<Modifikation der Kameraanordnung> ... Dritte Modifikation
Bei der dritten Modifikation (31 bis 34) ist der zweiten Modifikation eine Kamera #8, die nach dem hinteren Mittelpunkt des Fahrzeugs zu liegt, hinzugefügt.
Mit dieser Anordnung werden dann, wenn das Fahrzeug sich geradeaus bewegt, Bilddaten von der zentralen Kamera #8 verwendet, wie es in 32 gezeigt ist; wenn das Fahrzeug nach links abbiegt, werden Bilddaten von einer an der rechten hinteren Seite angeordneten Kamera #9 verwendet, wie es in 33 gezeigt ist; und wenn das Fahrzeug nach rechts abbiegt, werden Bilddaten von einer an der linken hinteren Seite angeordneten Kamera #7 verwendet, wie es in 34 gezeigt ist.
Die dritte Modifikation kann Bilder glatter als bei der zweiten Modifikation verbinden.
35 zeigt die Datenbankerzeugungsabfolge der dritten Modifikation. Diese Steuerungsabfolge ist dahingehend im Wesentlichen die gleiche wie die Steuerungsabfolge bei der zweiten Modifikation, dass Bilddaten aus Bilddaten von den Kameras, die Rückansichtsbilder erfassen, auf der Grundlage der Bewegungsrichtung des Fahrzeugs (die basierend auf den Lagedaten POS oder den Azimutdaten von dem Sensor 42 bestimmt werden kann) ausgewählt werden. Der Unterschied gegenüber der in 21 gezeigten Abfolge besteht darin, dass in einem Schritt S2010 die Rechtskurve, die Geradeausbewegung oder die Linkskurve auf der Grundlage der Lagedaten POS (oder der Azimutdaten von dem Sensor 42) bestimmt wird, und falls die Rechtskurve bestimmt wird, Bilddaten von der Kamera #7 (34) verwendet werden; falls die Geradeausbewegung bestimmt wird, Bilddaten von der Kamera #8 (32) verwendet werden; und falls die Linkskurve bestimmt wird, Bilddaten von der Kamera #9 (33) verwendet werden.
<Synchronisation von Bilderfassung und Datenbankausbildung> ... Vierte Modifikation
Bei dem vorstehenden Ausführungsbeispiel wird die Bilddatenbank nach einer Bilderfassung auf der Grundlage von im Voraus auf Bänder aufgezeichneten Bilddaten ausgebildet. Eine Datenbank kann jedoch ausgebildet werden, während Bilder erfasst werden. In diesem Fall ist eine Hochgeschwindigkeitsabspeichervorrichtung mit großer Kapazität erforderlich.
Wenn bei dem in 14, 27 oder 31 gezeigten Ausführungsbeispiel eine Datenbank in Echtzeit ausgebildet wird, ist ein Zwischenspeicher zum Verzögern von durch eine an der hinteren Position angebrachte Kamera (bei dem in 14 gezeigten Beispiel die Kamera #7; bei dem in 27 gezeigten Beispiel die Kameras #7 und #8; bei dem in 31 gezeigten Beispiel die Kameras #7 bis #9) erfassten Bilddaten um die vorstehend angeführte Periode f(r/v) erforderlich.
<Andere Modifikationen>
Bei dem vorstehenden Ausführungsbeispiel werden als Kombinationen von in den ersten und zweiten Protokollierungsdateien zu speichernden Daten TC, TIM und POS in der ersten Protokollierungsdatei aufgezeichnet, und Daten LOC und TIM werden in der zweiten Protokollierungsdatei aufgezeichnet, wie es in zum Beispiel 17 gezeigt ist. Die vorliegende Erfindung ist jedoch nicht auf derartige in 17 gezeigte spezifische Kombinationen von Daten beschränkt.
Genauer werden Bilddaten vorzugsweise allein in einem Speicher mit großer Kapazität wie beispielsweise einem Magnetband aufgezeichnet, da Bilddaten normalerweise eine große Kapazität aufweisen. Daten TC, TIM, POS und LOC können jedoch in einer einzigen Hochgeschwindigkeitsdatei aufgezeichnet werden.
Gemäß dem vorstehend beschriebenen Ausführungsbeispiel können einer durch ein Abtasten eines Objekts unter Verwendung von Kameras erhaltenen Folge erfasster Bilder jedem Bilderfassungsort zugeordnete Ortsinformationen effizient hinzugefügt werden.
Ferner kann eine Datenbankvorrichtung realisiert werden, die eine Bilddatenbank aufbaut, der Zeitinformationen hinzugefügt sind, so dass einer durch ein Abtasten eines Objekts unter Verwendung von Kameras erhaltenen Folge erfasster Bilder jeder Bilderfassungsposition zugeordnete Ortsinformationen effizient hinzugefügt werden können.
Gemäß dem vorstehenden Ausführungsbeispiel kann eine Bilddatenbank ausgebildet werden, die erfasste Bilder von einer Vielzahl von Kameras, die voneinander getrennt sind, so verarbeitet, als ob sie durch Kameras aufgenommen werden würden, die nicht voneinander getrennt sind. Mit dieser Datenbank kann ein hoher Freiheitsgrad bei der Kameraanordnung sichergestellt werden.
Da das Fahrzeug, an dem Kameras zum Erhalten von erfassten Bildern angebracht sind, sich die meiste Zeit geradeaus bewegt, ist die Kamera, die ein vorderes Bild erfasst, von der Kamera, die ein Bild in der dem vorderen Bild entgegengesetzten Richtung erfasst, getrennt, während die Kameras auf der rechten und linken Seite des Fahrzeugs derart eingerichtet sind, dass sie nahe beieinander sind. Folglich kann eine Bildaufzeichnungsvorrichtung bereitgestellt werden, die einen hohen Freiheitsgrad bei der Kameraanordnung sicherstellen kann.

Claims

Verfahren zum Aufzeichnen von durch ein Abtasten eines realen Raums unter Verwendung einer Vielzahl von Kameras (20a–20g) einschließlich einer Bezugskamera (20a), die in einer Vielzahl von diskreten Azimutrichtungen zeigen, um Bilder einer Umgebung von einem Betrachtungspunkt als eine Grundlage zum Ausbilden einer Folge von dreidimensionalen Bildräumen zu erhalten, erhaltenen Bildern, mit den Schritten: Speichern einer Vielzahl von Datenrahmen von durch ein sequentielles Abtasten eines Objekts unter Verwendung einer Kamera der Vielzahl von Kameras erzeugten Bildern für jede Kamera der Vielzahl von Kameras in einem ersten Speicher (22a–22g) zusammen mit Bestimmungsinformationen, die jeden Datenrahmen bestimmen; sequentielles Erfassen von Ortsinformationen von einem Ortssensor (40) und Speichern der Ortsinformationen in einem zweiten Speicher (30) zusammen mit eine Erfassungszeit, zu der die Ortsinformationen erfasst werden, angebenden Erfassungszeitinformationen und den Bestimmungsinformationen; Zuordnen (S100) der in dem ersten Speicher gespeicherten Vielzahl von Datenrahmen für jede Kamera der Vielzahl von Kameras zueinander unter Bezugnahme auf die Bestimmungsinformationen der Bezugskamera; Auswählen (S1004, S1010) von Ortsinformationen, Erfassungszeitinformationen und Bestimmungsinformationen, die den Bestimmungsinformationen der Bezugskamera entsprechen, aus dem zweiten Speicher; und Zuordnen (S1006, S1012) der zugeordneten Datenrahmen zu den ausgewählten Ortsinformationen, Erfassungszeitinformationen und Bestimmungsinformationen.
Verfahren nach Anspruch 1, wobei der erste Speicher einen sequentiellen Speicher (22a–22g) umfasst und die Bestimmungsinformationen eine eine Aufzeichnungsreihenfolge der Datenrahmen in dem ersten Speicher angebende Rahmennummer sind.
Verfahren nach Anspruch 1, wobei der erste Speicher in Einheiten von Kameras (20a–20g) angeordnete Videobandspeicher (22a–22g) umfasst und der zweite Speicher eine Magnetplatte umfasst.
Verfahren nach Anspruch 1, wobei die Bestimmungsinformationen ein durch jede Kamera der Vielzahl von Kameras erzeugter Zeitcode sind und das Verfahren ferner den Schritt umfasst: Berechnen von Differenzen zwischen dem Zeitcode der Bezugskamera und Zeitcodes von anderen Kameras.
Verfahren nach Anspruch 1, wobei die Vielzahl von Kameras an einem Fahrzeug angebracht ist.
Verfahren nach Anspruch 1, wobei eine Lage der Kameras angebende Lageinformationen zusammen in dem zweiten Speicher aufgezeichnet werden.
Verfahren nach Anspruch 1, ferner mit den Schritten: Erzeugen einer ersten Datei der Ortsinformationen und der Erfassungszeitinformationen und einer zweiten Datei der Bestimmungsinformationen und der Zeitinformationen; und Zuordnen der ersten Datei zu der zweiten Datei durch ein Zuordnen der Erfassungszeitinformationen zu den Zeitinformationen.
Bilddatenbank, die durch ein Aufzeichnungsverfahren nach Anspruch 1 erzeugt wird.
Aufzeichnungsvorrichtung (30) zum Aufzeichnen von durch ein Abtasten eines realen Raums unter Verwendung einer Vielzahl von Kameras (20a–20g) einschließlich einer Bezugskamera (20a), die in einer Vielzahl von diskreten Azimutrichtungen zeigen, um Bilder einer Umgebung von einem Betrachtungspunkt als eine Grundlage zum Ausbilden einer Folge von dreidimensionalen Bildräumen zu erhalten, erhaltenen Bildern, mit: einer ersten Aufzeichnungseinrichtung zum Aufzeichnen einer Vielzahl von Datenrahmen von durch ein sequentielles Abtasten eines Objekts unter Verwendung einer Kamera der Vielzahl von Kameras erzeugten Bildern für jede Kamera der Vielzahl von Kameras in einem ersten Speicher (22a–22g) zusammen mit Bestimmungsinformationen, die jeden Datenrahmen bestimmen; einer zweiten Aufzeichnungseinrichtung zum Aufzeichnen von durch einen Ortssensor sequentiell erfassten Ortsinformationen in einem zweiten Speicher (30) zusammen mit eine Erfassungszeit der Ortsinformationen angebenden Erfassungszeitinformationen und den Bestimmungsinformationen; einer Einrichtung (30), die zum Zuordnen der in dem ersten Speicher gespeicherten Vielzahl von Datenrahmen für jede Kamera der Vielzahl von Kameras zueinander unter Bezugnahme auf die Bestimmungsinformationen der Bezugskamera eingerichtet ist; einer Einrichtung (30), die zum Auswählen von Ortsinformationen, Erfassungszeitinformationen und Bestimmungsinformationen, die den Bestimmungsinformationen der Bezugskamera entsprechen, aus dem zweiten Speicher eingerichtet ist; und einer Einrichtung (30), die zum Zuordnen der zugeordneten Datenrahmen zu den ausgewählten Ortsinformationen, Erfassungszeitinformationen und Bestimmungsinformationen eingerichtet ist.
Vorrichtung nach Anspruch 9, wobei der erste Speicher einen sequentiellen Speicher (22a–22g) umfasst und die Bestimmungsinformationen eine eine Aufzeichnungsreihenfolge der Datenrahmen in dem ersten Speicher angebende Rahmennummer sind.
Vorrichtung nach Anspruch 9, wobei der erste Speicher in Einheiten von Kameras (20a–20g) angeordnete Videobandspeicher (22a–22g) umfasst und der zweite Speicher eine Magnetplatte umfasst.
Vorrichtung nach Anspruch 9, wobei die Bestimmungsinformationen ein durch jede Kamera der Vielzahl von Kameras erzeugter Zeitcode sind und die Vorrichtung ferner umfasst: eine Einrichtung zum Berechnen von Differenzen zwischen dem Zeitcode der Bezugskamera und Zeitcodes von anderen Kameras.
Aufzeichnungssystem, das die Vorrichtung nach Anspruch 9 in Kombination mit der Vielzahl von Kameras umfasst, wobei die Kameras an einem Fahrzeug angebracht sind.
System nach Anspruch 13, das eine Einrichtung zum Messen der Ortsinformationen und von eine Lage der Kameras angebenden Lageinformationen und zum Aufzeichnen der Ortsinformationen und Lageinformationen zusammen in dem zweiten Speicher umfasst.
Vorrichtung nach Anspruch 9, ferner mit: einer Einrichtung zum Erzeugen einer ersten Datei der Ortsinformationen und der Erfassungszeitinformationen und einer zweiten Datei der Bestimmungsinformationen und der Zeitinformationen; und einer Einrichtung zum Zuordnen der ersten Datei zu der zweiten Datei durch ein Zuordnen der Erfassungszeitinformationen zu den Zeitinformationen.
Aufzeichnungsträger, der Computerprogrammanweisungen zum Steuern einer Aufzeichnungsvorrichtung zum Ausführen aller Schritte eines Verfahrens nach einem der Ansprüche 1 bis 7 speichert.
Computerprogramm, das durch eine Verarbeitungseinrichtung realisierbare Anweisungen zum Ausführen aller Schritte eines Verfahrens nach einem der Ansprüche 1 bis 7 umfasst.