WO1993021596A1 - Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles - Google Patents

Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles Download PDF

Info

Publication number
WO1993021596A1
WO1993021596A1 PCT/FR1992/000329 FR9200329W WO9321596A1 WO 1993021596 A1 WO1993021596 A1 WO 1993021596A1 FR 9200329 W FR9200329 W FR 9200329W WO 9321596 A1 WO9321596 A1 WO 9321596A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
image
analysis
color
luminance
Prior art date
Application number
PCT/FR1992/000329
Other languages
English (en)
Inventor
Stéphane RABOISSON
Gilles Even
Original Assignee
Thomson-Csf
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to FR9103502A priority Critical patent/FR2674354A1/fr
Application filed by Thomson-Csf filed Critical Thomson-Csf
Priority to PCT/FR1992/000329 priority patent/WO1993021596A1/fr
Priority to EP92910047A priority patent/EP0588815B1/fr
Priority to JP4509516A priority patent/JPH06508946A/ja
Priority to DE69231152T priority patent/DE69231152T2/de
Publication of WO1993021596A1 publication Critical patent/WO1993021596A1/fr
Priority to US08/715,248 priority patent/US5706355A/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the invention relates to the field of image processing and more particularly relates to a method of analyzing sequences of road images with a view to extracting roads, a device for its implementation, and its application to obstacle detection.
  • processing in this field consists in analyzing the information delivered by a CCD camera in the form of a color video signal.
  • the images from the camera carried by the mobile are stored in memory where they are transmitted to different processing modules.
  • VITS A vision system for Autonomous Land Vehicle navigation
  • IEEE Trans. PAMI Vol.10, n ° 3, p.343-361, May 1988.
  • the main elements constituting the scene are the road and the objects therein. It is therefore essential, before any image interpretation, to extract and locate the route in relation to which the rest of the scene can then be described.
  • SHEET D all the elements constituting these. The conditions linked to the environment and their variations only accentuate this difficulty: (different seasons, meteorology, lighting, shooting times: spectral reflection when the sun is low, shadows, mud on the road,... ).
  • the object of the invention is the development of a method for analyzing sequences of road images with a view to extracting taxiways (roads) and detecting obstacles from these images.
  • the subject of the invention is a method for analyzing sequencing of these high-performance road images making it possible to obtain information relating to the road and possibly to the obstacles likely to be there, applicable even to traffic on axes. motorways, with a view in particular to improving driving safety.
  • the automation of certain functions can be established and an extension of the driver's perception capacities can be envisaged during long journeys on the motorway in particular, by triggering alarms or signaling of danger.
  • the method for analyzing sequences of road images with a view to extracting roads from the images is characterized in that it comprises:
  • ⁇ a third step which combines the information from the luminance analysis step and the color analysis step, for the final extraction of the road.
  • the invention also relates to a device for analyzing sequences of road images from a camera and available in the form of digital color components and after
  • SHEET conversion of color components, in the form of a compo ⁇ health luminance, for carrying out the method of analysis as described above, is characterized in that it comprises - a contour analysis device and regions whose input is intended to receive the image luminance signal associated with a device for predetermining horizontal marking,
  • the invention also relates to the application of this method in an obstacle detection system applicable to automobile traffic where the analysis of sequences of road video images leads to the extraction of roads in the images and to the possible location of obstacles when the route mask is discontinuous.
  • the invention will be better understood and other characteristic ⁇ c will appear with the following description in refe ⁇ rence to the accompanying figures.
  • Figure 1 is a block diagram of a system of detec ⁇ obstacles applicable to motor vehicle safety
  • Figure 2 is the block diagram of the device ⁇ ana lysis images for extracting roads according to the invention
  • FIG. 3 is a flowchart of the image analysis method implemented for the extraction of routes
  • FIG. 4 is a detailed flowchart of the phase for calculating the gradients from the luminance signal
  • Figure 5 is the flow diagram of the color analysis phase
  • FIG. 7 is a flowchart of the filling phase of the route mask
  • FIG. 10 is a block diagram illustrating the implementation of the method according to the invention in combination with an obstacle detection method, in an obstacle detection system applied to motor vehicle safety.
  • the invention mainly relates to the extraction of the road and the detection of anomalies on the tracks, such as for example coating problems on the road, or objects or vehicles entering the area. limited safety around the rolling vehicle, based on a sequence of road image sequences.
  • the diversity of natural lighting conditions and aspects of the road requires a "robust” extraction process.
  • the proposed vision device On the assumption that at all times the vehicle is traveling on the road and that the camr-ra, fixed for example at the interior rear view mirror, receives information related to the road and any obstacles therein, the proposed vision device "learns", iteratively, then "recognizes” the appearance of the pavement.
  • the process of extracting the road surface in the image is based on the analysis of characteristics of the near-field taxiways (learning) and on the segmentation of the road in perspective (recognition).
  • the purpose of image processing is to find the necessary characterization attributes, that is to say contour / region information and specific color data linked to the colorimetric composition of the roadway with respect to the background.
  • the invention uses simple operators, easy to implement in an architecture dedicated to this function.
  • a single video sensor is used for implementing the analysis method as described below, which is an important economic factor as regards the cost of production.
  • other sensors of the same type CCD camera
  • lidar, radar
  • REMP SHEET gyrometer. . . Increases the possibilities for analysis such as -vision stereo reconstruction information tridi ⁇ mensionnelles and active detection of obstacles on the road, in a composite system for detecting obstacles.
  • the structure of such a composite obstacle detection system is illustrated in FIG. 1.
  • the vehicle environment is analyzed for example from 4 types of information: Information detected by a radar 1, information detected by a lidar 2, images taken by a CCD camera, 3 (using a transfer sensor of charges), and images taken by an infrared IR camera, 4.
  • the signals from the radar and the lidar are processed by a signal processing device 5, while the images obtained from the cameras are processed by a processing device. images 6.
  • a device 7 for merging all the data resulting from these treatments is then used to generate images and / or alarms on a display and alarm trigger assembly 8 arranged on the dashboard. of the vehicle.
  • the method according to the invention relates more particularly to the image processing implemented by the device 6 for extracting routes from these images.
  • FIG. 2 is a block diagram of the image analysis device for extracting roads according to the invention.
  • the image of the environment of the vehicle is taken by the camera
  • a set 10 comprising an analog-digital converter, converts these three signals into sequences of digital values; conventionally associated with this converter in assembly 10 is a time base circuit and an image memory; these images are transmitted on the one hand to a color analysis device 11, and on the other hand to a conversion device 12 performing the combination of the color components in order to restore a series of digital values characterizing the luminance Y of the image points.
  • the following luminance values is transmitted to a device for analyzing contours and regions 13.
  • the information originating on the one hand from the color analysis device 11 and on the other hand from the device 13 are transmitted to an extraction device routes and obstacle location 15.
  • the actual treatment process therefore comprises three stages:
  • the first step consists of a joint analysis of the contours and regions for the detection of the road. It uses the luminance information of the video signal.
  • the second step parallel to the first, is based on an analysis of the color signals (R-V-B), in order to establish a global mask on the image, intended to confirm the presence and the position of the road.
  • the third step consists in judiciously using, as described in detail below, the information extracted by the contour / region analysis and the color analysis, to result in precise detection of the route.
  • the tracks, or roads, once extracted, allow a determination of the maneuvering area of the vehicle.
  • the step of contour / region analysis of the treatment is an essential step of the process. It uses the lumi ⁇ nance signal, with the possibility of performing temporal subsampling (frame analysis) to reduce the processing time, this allowing a simpler architecture (linked to the computation time).
  • the detailed flowchart of this con ⁇ tours / regions analysis step carried out by the device 13 is illustrated in FIG. 3.
  • the source image is read in an image memory in a step 100.
  • the signal values of luminance of a frame are stored in an itab table, of dimension (icol, ilig) given, icol and ilig being respectively the numbers of columns and rows of the table.
  • icol, ilig dimension given, icol and ilig being respectively the numbers of columns and rows of the table.
  • SHEET is coded on 8 bits, the luminance signal being quantized on 256 levels.
  • the amplitude of the contours is calculated in a step 130 using gradient operators which are known convolution masks, of the "PREWITT” type, in horizontal and vertical. These convolution masks, of small dimension (5x5) lend themselves well to a real time realization thanks to the structure of their core (binary addition and subtraction).
  • the source image is convoluted by the 5 ⁇ 5 masks, respectively horizontal and vertical, which leads to the horizontal gradient values GH and vertical GV.
  • the amplitude of the gradient G at each point is then calculated by the formula
  • G y GH 2 + GV 2
  • An image of the contours is then formed by the image of the amplitudes of the gradients thus calculated.
  • the region characteristic is calculated in a step 131 (FIG. 3) from this image of the amplitudes of the gradients of the luminance signal. From the edge image obtained in the previous step, this operation ⁇ con sists to perform an averaging filter on the image amp ⁇ studies gradients, low support (5x5 masks). The goal is to obtain information relating to the signal energy in a local neighborhood of the point, avoiding ⁇ lems of noise and quadratic detection. The energy, conventionally calculated, is equal to the square of the signal to be measured in a window centered on the current point. To decrease the calculation time and due to the close results obtained, only the simple value of this signal was used in an embodiment of the invention. At the output, a dimension table (icol, ilig) is then obtained, representing the result of the calculation of the characteristic "region", coded on 8 bits for each image point. This new "image” is noted INRJ.
  • a predetermination of the road edges is then carried out in a step 132 from the image INRJ: a thresholding is carried out to retain only the high levels relating to the contours of the regions. A first detection of the road edges is then obtained with better "confidence" than that which would have been obtained with a simple thresholding on the original image. This step is completed by a processing intended to make connected the segments of contours detected.
  • step 110 in FIG. 3 carried out by the color analysis device 11 of FIG. 2 makes it possible to validate the mask of the route obtained by the analysis of the luminance signal (contours / regions ). It is not a question here of achieving a segmentation of the scene as described above, in the classic sense of the term, but rather of taking into account the intrinsic qualities of the information present in these color signals, in order to achieve a segment of the road confirmed with good reliability and significant robustness. In addition, it is necessary that this route segmentation procedure is carried out on video or near real time.
  • the segmentation method used in the analysis phase of the process according to the invention and described below was motivated by the architectural aspect in view of an embodiment in rapid circuits, as well as by the hypotheses according to which - you can find characteristic information specifying whether or not the regions analyzed belong to the route.
  • the color analysis performs a division in only 2 classes: road and non-road.
  • An image point is represented by a triplet of color values
  • REPLACEMENT SHEET RGB The feature space to be treated is therefore imme ⁇ ment defined.
  • road discrimination can be accomplished by the fact that it does not have a predominantly green or red colorimetric.
  • the components of pavements generally cause the coating to have a blue or gray tint.
  • the color analysis searches for the image points for which the difference between the discriminating information of the 2 “road” classes and
  • non-road is maximum.
  • the color analysis determines the points where the maximum difference exists between the blue average component and the red or green average components. For this, a color analysis loop of the image 111 describes the successive points of the image and orders from the red, green and blue color components the calculation of values:
  • VAL-R, VAL-V and VAL-B be the respective values of the red, green and blue components of an image point, averaged over 3x3 blocks around the point and let Max-RV be the maximum value of 2 components VAL-R and VAL-V calculated in a step 112.
  • a VAL-PIX value of the color mask is assigned to the image point analyzed in step 114, if the test 113 is verified, that is to say the component blue average of the point is of intensity less than or equal to the value MAX-RV, otherwise the mask is set to zero step 115.
  • This value VAL-PIX is equal to the difference between the values MAX-RV and VAL-B.
  • the point considered is assigned to the "non-road" class, step 117.
  • the points of this mask do not represent only part of the non-road class, but they are advantageously positioned in such a way that they generally reinforce the determination of the borders and road edges.
  • SHEET It is possible to improve the detection, by performing a low-pass filtering of the averaging type, of support (3 ⁇ 3), before the decision to allocate the points to the “non-road” mask.
  • the averaging operation is performed in real time video, using fast circuits.
  • This step 150 is the extraction of the route from the superimposition of the contour and mask information "non-road".
  • This extraction phase 150 carried out by the extraction device 15 is illustrated by FIGS. 6 to 9 and consists, firstly, in locating an interior point with designated contours corresponding to the route, automatically by assuming the presence of the road in front of the vehicle; after which a "filling" algorithm propagates the filling of the road, in the horizontal and vertical scanning directions, to the contour points where the filling stops.
  • contour points are the road-edge border points, contours resulting from the luminance and limits of the "non-road” mask.
  • the extraction method uses the concept of connectivity for filling.
  • the procedure for filling the route mask is described below using the following variables illustrated in FIG. 6 and is illustrated by FIG. 7:
  • SHEET - the starting image is of dimension (COL, LIG);
  • ICD ILD
  • ILD LIG-100
  • ICD COL / 2
  • the limits of the route mask to be colored resulting from the merging of the contour and roadside information are memorized in a step 153.
  • a vertical scanning direction for the line by line analysis is fixed in a step 154 by means a vertical iteration index, first at +1 for example.
  • the analysis is carried out line by line by a line loop ⁇ 155.
  • a line search loop is carried out, 156,
  • SHEET OF R with, to initiate a line scanning direction, an index i c set to +1, then to -1.
  • the test 157 of window 3.3 around the current point is then implemented for each point of the line by a line search sub-program SP-RECH which after each iteration of the row of the column, IPC ⁇ IPC + i ⁇ of the current point, tests whether this point should be colored or not, according to the configurations illustrated in FIG. 8, that is to say if it belongs to the mask of the route.
  • a value "FLAG-COLOR" associated with this point and initially 0 is set to 1.
  • the stop line ILMIN is given by a line "high contotirs" detected at the end of the analysis of the contours and closing the route mask. This step marks all the interior points at the contour points by assigning them a level denoted "niv-route" and leads to the formation of a "route mask".
  • the contour / reion information allows detection of road edges. It also makes it possible to establish a location of potential obstacles located on the road, in front of the vehicle.
  • the color information enhances the confidence of the route mask obtained initially, especially in the case where it does not exist
  • REMP SHEET no clear edges at the borders of the road. This second mask allows the shoulder areas to be closed, thus helping to obtain a global mask for the road.
  • Figure 10 illustrates the general structure of a car security system embodying from the digitized signals from the camera and stored in the conver ⁇ weaver memory 10 a road extraction process and localization obstacle candidates 100, as described above which is associated with an obstacle detection process 200 based on other data, as described with reference to FIG. 1.
  • the method according to the invention as described above aims to determine the taxiways on the road, from a process of static analysis of the luminance and color signals. This process can then be completed complementary phase to allow a localization of objects on the road, and a pre-determination of major obstacles by a dynamic analysis. Indeed, a dynamic analysis is neces sary ⁇ to separate different types of objects detected by 0 motion detection in image sequences in order to identify objects on the road and to locate obstacles. The resulting segmented image then highlights obstacles on the road.
  • the connectivity method can be replaced by any other method making it possible to fill in the mask of the road whose contours have been determined by the image of the amplitudes of the gradients and confirmed by the color analysis, for example Q vector type of method or any other suitable method that would increase the speed of processing.
  • window sizes for the averaging can be changed like other settings, including the numerical values were given as the example of ⁇ , ⁇ without departing from the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Le procédé d'analyse de séquences d'images routières prises par une caméra embarquée à bord d'un véhicule roulant, combine une analyse (130, 131, 132) du signal de luminance de laquelle sont extraits des contours et une analyse (110) des signaux vidéo couleur prenant en compte le fait que les composantes colorimétriques d'une zone route dans une image ne comportent pas de dominante verte ni rouge, pour confirmer avec une bonne fiabilité les limites de la route dans l'image à partir des contours. Un masque de la route est alors établi par remplissage. Ce procédé est applicable, notamment, à la détection d'obstacles sur la route suivie par un véhicule, et les informations qu'il génère peuvent être combinées aux informations issues d'autres moyens détecteurs dans un système de détection d'obstacles applicable à la circulation automobile.

Description

Procédé et dispositif d 'analyse de séquences d ' images routières pour la détection d 'obstacles.
L'invention se rapporte au domaine du traitement d'images et a plus particulièrement pour objet un procédé d'analyse de séquences d'images routières en vue de l'extraction de routes , un dispositif pour sa mise en oeuvre , et son application à la détection d'obstacles .
L'extraction d'informations relatives à la route, par l'intermédiaire d'images a été étudiée dans le cadre d'applica¬ tions mettant en oeuvre des véhicules de type robot mobile . La détection de route à partir d'images s'est développée dès lors qu'on a voulu rendre autonomes des engins de type robot mobile .
D'une manière générale un traitement dans ce domaine consiste à analyser l'information délivrée par une caméra à capteur CCD sous forme d'un signal vidéo couleur. Les images issues de la caméra portée par le mobile sont stockées en mé- moire oii elles sont transmises à différents modules de traitement.
Les méthodes classiques de détermination de contours ont été largement employées pour détecter les bords de route , avec plus ou moins de réussite du fait des problèmes d'ombres portées sur la route . En effet, une approche de type modélisation géométrique liée à la recherche de segments forts sur les images peut ne pas correspondre au mieux au modèle ligne droite dési¬ ré , notamment dans le cas de conditions non optimales de prises de vues (mauvais temps, données brtiitées , . . . ) .
Les publications qui suivent se rapportent à ces travaux : ~ par C . THORPE et ai : "Vision and navigation for the
Carne ie -MELLON Navlab" I . E. E. E. Transactions on pattern analysis and machine intelligence , vol . 10 , n° 3, p . 362-373, mai 1988 ; - par J.M. LOWRIE et al : "The Autonomo s Land Vehicle preliminary road-follo in démonstration" Proc . SPIE 579 D . P .
CASAENT Ed; p .336-350, septembre 1985
FEUILLE DE REMPLACEMENT - par M. TURK et al : "VITS : A vision system for Autonomous Land Véhicule navigation" I.E.E.E Trans . PAMI, Vol.10, n° 3 , p.343-361, mai 1988.
Ces travaux ne peuvent être appliqués au cas de la circu- lation automobile sur des axes autoroutiers, en vue d'applica¬ tions dans le domaine de la sécurité routière, du fait des con¬ traintes imposées par ce type d'applications : vitesses élevées et circulation dense.
Dans le cadre de la détection d'obstacles "Hughes Arti- ficial Intelligence Center" a développé des techniques de télémétrie couplées à des bases de connaissances . On se repor¬ tera aux travaux de M.J. DAILY et al : "Detecting obstacles in range imagery" Proc. DARPA Image Understanding orhop, p.87-97, février 1987. L'avantage d'un tel procédé, utilisant la télémétrie réside dans la possibilité d'obtenir directement les distances séparant le véhicule des obstacles potentiels, en s'affranchissent des problèmes d'éclairement des scènes. Par contre le rayonnement des ondes émises peut être un inconvénient pour rester en conformité avec les normes de sécurité nécessaires .
D'une manière générale l'utilisation d'un capteur optique d'images associé à un procédé de traitement d'images permet de constituer d'un organe de perception pour le véhicule automo¬ bile. Dès lors, on peut envisager un grand nombre d'applications basées sur l'analyse de l'image et l'interprétation de scène.
Cependant, dans ce contexte, les principaux éléments constituant la scène sont la route et les objets qui s'y trouvent. Il est donc essentiel, préalablement à toute interprétation d'image, d'extraire et de localiser la route par rapport à laquelle le reste de la scène peut ensuite être décrit.
De nombreuses techniques de segmentation sont classique¬ ment utilisées, en traitement d'images , pour regrouper des ré¬ gions, sous des contraintes de similarité de caractéristiques .
La segmentation de scènes naturelles extérieures est une opération particulièrement complexe s'il faut prendre en compte
FEUILLE D tous les éléments constituant celles-ci. Les conditions liées à l'environnement et leurs variations ne font qu'accentuer cette difficulté : (différentes saisons , météorologie, éclairage , heures de prises de vue : réflexion spectrale lorsque le soleil est bas , ombres, boue sur la chaussée , . . . ) .
Le but de l'invention est le développement d'un procédé d'analyse de séquences d'images routières en vue de l'extraction de voies de roulement (routes) et de la détection d'obstacles à partir de ces images . L'invention a pour objet un procédé d'analyse de séquen¬ ces d'images routières performant permettant d'obtenir des infor¬ mations relatives à la route et éventuellement aux obstacles susceptibles de s'y trouver, applicable même à la circulation sur axes autoroutiers, en vue notamment d'améliorer la sécurité dans la conduite automobile . A partir de ces informations , l'automatisation de certaines fonctions peut être établie et une extension des capacités de perception du conducteur est envisa¬ geable lors de longs trajets sur autoroute notamment, par déclen¬ chement d'alarmes ou de signalisation de danger. Selon l'invention, le procédé d'analyse de séquences d'ima¬ ges routières en vue de l'extraction de routes dans les images , est caractérisé en ce qu'il comporte :
- une première étape d'analyse de l'information luminance des signaux vidéo images pour extraire les contours et régions des images et établir un masque de la route ,
- une deuxième étape , d'analyse des signaux vidéo cou¬ leurs au cours de laquelle une partition de l'image est réalisée sur les points qui de manière certaine ne peuvent appartenir à la route, ~ une troisième étape qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs , pour l'extraction finale de la route .
L'invention a également pour objet un dispositif d'analyse de séquences d'images routières issues d'une caméra et disponi- blés sous forme de composantes numériqxies de couleur et après
FEUILLE DE conversion des composantes de couleur, sous forme d'une compo¬ sante de luminance, destiné à la mise en oeuvre du procédé d'analyse tel que décrit ci-dessus , est caractérisé en ce qu'il comporte - un dispositif d'analyse contour et régions dont l'entrée est destinée à recevoir le signal de luminance d'image associé à un dispositif de prédétermination du marquage horizontal,
- un dispositif d'analyse couleurs dont l'entrée est desti¬ née à recevoir les trois composantes de couleur, constituant l'image vidéo,
- et un dispositif d'extraction de route relié aux sorties du dispositif d'analyse contours et régions et du dispositif d'analyse couleurs.
L'invention a également pour objet l'application de ce procédé dans un système de détection d'obstacles applicable à la circulation automobile où l'analyse de séquences d'images vidéo routières conduit à l'extraction de routes dans les images et à la localisation éventuelle d'obstacles lorsque le masque de la route est discontinu. L'invention sera mieux comprise et d'autres caractéristi¬ ques apparaîtront à l'aide de la description qui suit en réfé¬ rence aux figures annexées .
La figure 1 est un schéma général d'un système de détec¬ tion d'obstacles applicable à la sécurité automobile ; La figure 2 est le schéma synoptique du dispositif d'ana¬ lyse d'images pour l'extraction de routes selon l'invention ;
La figure 3 est un organigramme du procédé d'analyse d'images mis en oeuvre pour l'extraction de routes ;
La figure 4 est un organigramme détaillé de la phase de calcul des gradients à partir du signal de luminance ;
La figure 5 est l'organigramme de la phase d'analyse couleur ;
La figure 6 est un schéma explicatif ;
La figure 7 est un organigramme de la phase de remplis - sage du masque de la route ;
FE L Les figures 8 et 9 sont des schémas explicatifs de la fonction remplissage ;
La figure 10 est un schéma synoptique illustrant la mise en oeuvre du procédé selon l'invention en combinaison avec un procédé de détection d'obstacles, dans un système de détection d'obstacles appliqué à la sécurité automobile .
Comme indiqué ci-dessus l'invention concerne principale¬ ment l'extraction de la route et la détection d'anomalies sur les voies de roulement telles que par exemple des problèmes de revêtement sur la chaussée, ou des objets ou véhicules entrant dans la zone de sécurité limitée autour du véhicule roulant, à partir d'une analyse de séquence d'images routières .
La diversité des conditions naturelles d'éclairement et des aspects de la chaussée nécessite un procédé d'extraction "robuste" . En partant de l'hypothèse qu'à tout instant le véhicule roule sur la route et que la camr-ra, fixée par exemple au niveau du rétroviseur intérieur, reçoit les informations liées à la route et aux éventuels obstacles s'y trouvant, le dispositif de vision proposé "apprend" , de manière itérative, puis "reconnaît" l'apparence du revêtement de la chaussée . Le procédé d'extraction de la surface de la route dans l'image est fondé sur l'analyse de caractéristiques des voies de roulement en champ proche (apprentissage) et sur la segmentation de la route en perspective (reconnaissance) . Le traitement d'images a pour but de rechercher les attributs de caractérisation nécessai¬ res, c est-à-dire des informations contours/régions et des don¬ nées spécifiques couleurs liées à la composition colorimétrique de la chaussée par rapport au fond.
Pour la mise en oeuvre de ce traitement l'invention uti- lise des opérateurs simples, faciles à mettre en oeuvre dans une architecture dédiée à cette fonction . Un seul capteur vidéo est utilisé pour la mise en oeuvre du procédé d'analyse comme décrit ci-après, ce qui est un facteur économique important quant au coût de réalisation . Cependant, l'adjonction d'autres capteurs du même type (caméra CCD) ou d'autres types (lidar, radar,
FEUILLE DE REMP gyromètre . . . ) permet d'augmenter les possibilités d'analyse telles la stéréo -vision, la reconstruction d'informations tridi¬ mensionnelles et la détection active d'obstacles sur la route, dans un système composite de détection d'obstacles . La structure d'un tel système composite de détection d'ob¬ stacles est illustrée sur la figure 1.
L'environnement du véhicule est analysé par exemple à partir de 4 types d'informations : Des informations détectées par un radar 1, des informations détectées par un lidar 2, des images prises par une caméra CCD, 3 (utilisant un capteur à transfert de charges) , et des images prises par une caméra infrarouge IR, 4. Les signaux issus du radar et du lidar sont traités par un dispositif de traitement de signal 5, tandis que les images obtenues des caméras sont traitées par un dispositif de traitement d'images 6. Un dispositif de fusion 7 de l'ensemble des données résultant de ces traitements est alors utilisé pour générer des images et/ou des alarmes sur un ensem¬ ble de visualisation et de déclenchement d'alarmes 8 disposé sur le tableau de bord du véhicule. Le procédé selon l'invention concerne plus particulière¬ ment le traitement d'images mis en oeuvre par le dispositif 6 pour l'extraction de routes de ces images .
La figure 2 est le schéma synoptique du dispositif d'ana¬ lyse d'images pour l'extraction de routes selon l'invention. L'image de l'environnement du véhicule est prise par la caméra
CCD, 3. A partir des trois signaux analogiques de couleur fournis par cette caméra, un ensemble 10 comportant un conver¬ tisseur analogique-numérique, convertit ces trois signaux en suites de valeurs numériques ; à ce convertisseur sont associés classiquement dans l'ensemble 10 un circuit de base de temps et une mémoire d'images ; ces images sont transmises d'une part à un dispositif d'analyse de couleurs, 11, et d'autre part à un dispositif de conversion 12 effectuant la combinaison des compo¬ santes de couleur pour restituer une suite de valeurs numéri- ques caractérisant la luminance Y des points d'image. La suite des valeurs de luminance est transmise à un dispositif d'analyse de contours et de régions 13. Les informations issues d'une part du dispositif d'analyse de couleurs 11 et d'autre part du dispositif 13 sont transmises à un dispositif d'extraction de routes et de localisation d'obstacles 15.
Le procédé de traitement proprement dit comporte donc trois étapes :
- La première étape consiste en une analyse conjointe des contours et régions pour la détection de la route. Elle utilise l'information luminance du signal vidéo.
- La seconde étape, parallèle à la première, repose sur une analyse des signaux de couleurs (R-V-B) , afin d'établir un masque global sur l'image, destiné à confirmer la présence et la position de la route. - La troisième étape consiste à utiliser judicieusement, comme décrit en détails ci-après, les informations extraites par l'analyse contours/régions et l'analyse de couleurs, pour abou¬ tir à une détection précise de la route.
Les voies de roulement, ou routes, une fois extraites, permettent une détermination de la zone de manoeuvre du véhi¬ cule.
L'étape d'analyse contours/régions du traitement est une étape essentielle du procédé . Elle utilise le signal de lumi¬ nance, avec la possibilité d'effectuer un sous -échantillonnage temporel (analyse en trame) pour réduire le temps de traitement, ceci permettant une architecture plus simple (liée au temps de calcul) . L'organigramme détaillé de cette étape d'analyse con¬ tours/régions effectuée par le dispositif 13 est illustré sur la figure 3. L'image source est lue dans une mémoire d'image dans une étape 100. Pour cela les valeurs du signal de luminance d'une trame sont stockées dans un tableau itab , de dimension (icol, ilig) données , icol et ilig étant respectivement les nombres de colonnes et de lignes du tableau . Chaque élément de ce tableau
FEUILLE DE est codé sur 8 bits, le signal de luminance étant quantifié sur 256 niveaux.
Le calcul de l'amplitude des contours s'effectue dans une étape 130 à l'aide d'opérateurs gradient qui sont des masques de convolution connus, de type "PREWITT", en horizontal et en vertical. Ces masques de convolution, de dimension faible (5x5) se prêtent bien à une réalisation temps réel grâce à la structure de leur noyau (addition et soustraction binaire) .
Les masques horizontaux et verticaux utilisés sont repré- sentes sur la figure 4 qui détaille l'organigramme de la phase
130 de calcul des gradients sur le signal de luminance. L'image source est convoluée par les masques 5x5, respectivement horizontal et vertical, ce qui conduit aux valeurs de gradient horizontal GH et vertical GV. L'amplitude du gradient G en chaque point est alors calculée par la formule
G = y GH2+GV2
Une image des contours est alors formée par l'image des amplitudes des gradients ainsi calculés.
On obtient ainsi à la fin de la phase 130 un tableau de dimension (icol, ilig) représentant le résultat du calcul de l'image de l'amplitude des contours, codée sur 16 bits pour chaque point d'image.
Le calcul de la caractéristique région se fait dans une étape 131 (figure 3) à partir de cette image des amplitudes des gradients du signal de luminance. A partir de l'image des contours obtenue dans l'étape précédente, cette opération con¬ siste à effectuer un filtrage moyenneur sur l'image des ampli¬ tudes des gradients, de support faible (masques 5x5) . Le but est d'obtenir une information relative à l'énergie du signal dans un voisinage local du point considéré, en évitant les pro¬ blèmes de bruit et de détection quadratique. L'énergie, calculée de manière classique, est égale au carré du signal à mesurer dans une fenêtre centrée sur le point courant. Pour diminuer le temps de calcul et en raison des résultats proches obtenus , seule la valeur simple de ce signal a été utilisée dans un mode de réalisation de l'invention. En sortie , un tableau de dimen¬ sion (icol, ilig) est alors obtenu, représentant le résultat du calcul de la caractéristique "région" , codé sur 8 bits pour chaque point d'image . Cette nouvelle "image" est notée INRJ .
Une prédétermination des bords de route est alors effectuée dans une étape 132 à partir de l'image INRJ : un seuillage est effectué pour ne retenir que les niveaux hauts relatifs aux contours des régions. Une première détection des bords de route est alors obtenue avec une meilleure "confiance" que celle qui aurait été obtenue avec un simple seuillage sur l'image origi¬ nale. Cette étape est complétée par un traitement destiné à rendre connexes les segments de contours détectés .
L'analyse des composantes couleurs , étape 110 sur la fi- gure 3, effectuée par le dispositif d'analyse couleurs 11 de la figure 2 permet de valider le masque de la route obtenu par l'analyse du signal de luminance (contours/régions) . Il ne s'agit pas ici d'aboutir à une segmentation de la scène comme décrit ci-dessus, au sens classique du terme, mais plutôt de prendre en compte les qualités intrinsèqties de l'information présente dans ces signaux couleurs, pour aboutir à une segmen¬ tation de la route confirmée avec une bonne fiabilité, et une robustesse importante . De plus , il est nécessaire que cette procédure de segmentation de la route soit effectuée à une ca- dence vidéo ou quasi- temps réel.
La méthode de segmentation utilisée dans la phase d'ana¬ lyse couletir du procédé selon l'invention et décrite ci-après a été motivée par l'aspect architecture en vτιe d'une réalisation en circuits rapides, ainsi que par les hypothèses selon lesquel- les on peut trouver des informations caractéristiques spécifiant l'appartenance ou non à la route des régions analysées .
Selon l'invention l'analyse couleurs effectue une parti¬ tion en 2 classes seulement : route et non-route . Un point d'image est représenté par un triplet de valeurs de couleurs
FEUILLE DE REMPLA R-V-B . L'espace des caractéristiques à traiter est donc immédia¬ tement défini.
L'hypothèse de départ est que la discrimination de la route peut s'accomplir par le fait que celle-ci ne comporte pas de dominante colorimétrique verte ni rouge. Les constituants des chaussées font généralement que le revêtement a une teinte bleue ou grise.
L'analyse couleur, dont l'organigramme est illustré par la figure 5 cherche les points d'image pour lesquels l'écart entre les informations discriminantes des 2 classes "route" et
"non-route" est maximum. L'analyse couleur détermine les points où l'écart maximum existe entre la composante moyenne bleue et les composantes moyennes rouge ou verte. Pour cela une boucle d'analyse couleur de l'image 111 décrit les points successifs de l'image et commande à partir des composantes couleurs rouge, verte, bleue le calcul de valeurs :
Soient VAL-R, VAL-V et VAL-B, les valeurs respectives des composantes rouge, verte et bleu, d'un point d'image, moyennées sur des bloc 3x3 autour du point et soit Max-R-V, la valeur maximum des 2 composantes VAL-R et VAL-V calculées dans une étape 112. Une valeur VAL-PIX du masque couleur est attribuée au point d'image analysé étape 114, si le test 113 est vérifié, c'est-à-dire la composante moyenne bleue du point est d'intensité inférieure ou égale à la valeur MAX-R-V, sinon le masque est mis à zéro étape 115. Cette valeur VAL-PIX est égale à l'écart entre les valeurs MAX-R-V et VAL-B .
Au cours du test 116, si, l'écart VAL-PIX est reconnu comme supérieur à un seuil donné S-MASK, le point considéré est affecté à la classe "non-route" , étape 117. Les points de ce masque ne représentent qu'une partie de la classe non-route, mais ils sont avantageusement positionnés de telle façon qu'ils renforcent généralement la détermination des frontières et des bords de route .
FEUILLE DE Il est possible d'améliorer la détection, en réalisant un filtrage passe-bas de type moyenneur, de support (3x3) , avant la décision d'affectation des points au masque "non route" .
L'opération de moyennage s'effectue en temps réel vidéo, à l'aide de circuits rapides .
La dernière étape de la phase d'extraction de la route est alors effectuée à partir de la fusion des informations précé¬ demment obtenues à partir des deux analyses des signaux de luminance et de couleur, pour extraire de façon précise les voies de roulement, ou routes . Cetteétape 150 (figure 3) est l'extraction de la route à partir de la superposition des informations contours et masque "non -route" .
Le problème de la détection de la route est résolu par le remplissage, ou "coloriage" de la région délimitée par les bords de route devenus, par les différentes opérations précédentes, des segments connexes. L'intérêt d'une fermeture des régions par le masque "non-route" réside dans la possibilité de couvrir une zone entière sans "débordement" , en évitant d'avoir un masque comportant des points de fuite. Cette phase d'extraction 150 effectuée par le dispositif d'extraction 15 (Figure 2) est illustrée par les figures 6 à 9 et consiste, dans un premier temps, à repérer un point intérieur aux contours désignés correspondant à la route, de manière automatique en prenant l'hypothèse de présence de la route de- vant le véhicule ; après quoi un algorithme de "remplissage" propage le remplissage de la route, suivant les directions de balayage horizontale et verticale , jusqu'aux points de contours où le remplissage s'arrête. Ces points contours, sont les points frontières route-bords, contours issus de la luminance et limites du masque "non-route" .
Suivant un mode de réalisation, donné à titre d'exemple , le procédé d'extraction fait appel pour le remplissage à la notion de connectivité . La procédure de remplissage du masque route est décrite ci-après à l'aide des variables suivantes illustrées sur la figure 6 et est illustrée par la figure 7 :
FEUILLE DE - l'image de départ est de dimension (COL, LIG) ;
- la caméra fixe le centre optique de visée du véhicule, et l'hypothèse de départ est que la route est située devant celui-ci ; - (IPC, IPL) sont les coordonnées du point courant et
(ICD, ILD) celles au point de départ P. de l'analyse, respectivement en colonne et en ligne avec par exemple : ILD=LIG-100 et ICD=COL/2 pour que le point d'initialisation P. soit centré en ligne, et placé au bas de l'image correspondant à l scène proche du véhicule, ceci afin d'éviter les problèmes d'obstacles éventuels à une distance plus lointaine. Une phase d'initialisation 151 fait alors appel à un sous programme SP-COLOR 152 , qui colorie tous les points de la ligne du point de départ entre les limites constituées par les points de contour sur cette ligne, comme le montre la figure 8.
Cette initialisation sur la ligne du point de départ étant terminée, le remplissage du masque de la route peut alors effectivement commencer. Il permet de rechercher ligne par ligne les points appartenant à la route susceptibles d'être "coloriés" à partir de l'analyse d'une fenêtre (3x3) centrée sur le point courant de la ligne en cours de balayage. La condition du test effectué est que le point doit être différent d'un point contour ou d'un point déjà colorié, et qu'il doit avoir au moins 3 points voisins coloriés. La figure 9 illustre les huit possibili- tés qui conduisent au coloriage du point courant s'il n'est pas soit un point du contour, soit déjà marqué : Le point courant est le point central de la fenêtre 3x3 noté * et les points voisins déjà coloriés sont marqués "x" .
Les bornes du masque de la route à colorier résultant de Q la fusion des informations contours et bords de route sont mémo¬ risées dans une étape 153. Un sens de balayage vertical pour l'analyse ligne par ligne est fixé dans une étape 154 au moyen d'un index d'itération verticale , d'abord à +1 par exemple . L'analyse est effectuée ligne par ligne par une boucle ligne ~ 155. Puis une boucle de recherche ligne est effectuée, 156 ,
FEUILLE DE R avec, pour initier un sens de balayage de la ligne , un index ic mis à +1, puis à -1. Le test 157 de la fenêtre 3. 3 autour du point courant est alors mis en oeuvre pour chaque point de la ligne par un sous programme de recherche ligne SP-RECH qui après chaque itération du rang de la colonne, IPC≈IPC+i^ du point courant, teste si ce point doit être colorié ou non, selon les configurations illustrées par la figure 8 c'est-à-dire s'il appartient au masque de la route . Lorsque le point est colorié une valeur "FLAG-COLOR" associée à ce point et initialement à 0 est mise à 1. Lorsque le point courant est un point de contour, un retour au point d'initialisation de la ligne et un changement d'index colonne i =-1 permettent de décrire , à partir de ce point, l'autre demi-ligne jusqu'à l'autre un point de contour. La recherche des points à colorier sur cette ligne pour obtenir le masque de la route est alors terminée et la même recherche est effectuée sur une ligne adjacente par itération du rang de la ligne IPL=IPL+ir
Le coloriage de la zone commence par la ligne ILREF d'ordonnée ILD et se termine à la ligne IFINLIG=LIG-40. Lorsque la dernière ligne utile est coloriée, l'indice de ligne est ramené à l'indice ILD de départ et le même procédé est utilisé pour le marquage de la zone supérieure de la coordonnée ligne ILD jusqu'à la ligne d'arrêt du remplissage de coordonnée verticale ILMIN à partir d'un index vertical modifié i. = - 1. La ligne d'arrêt ILMIN est donnée par une ligne "contotirs haut" détectée à la fin de l'analyse des contours et fermant le masqtie route . Cette étape marque tous les points intérieurs aux points contours en leur affectant un niveau noté "niv-route" et aboutit à la formation d'un "masque de la route" . Comme indiqué ci-dessus, l'information contours /ré ion s permet une détection des bords de route . Elle permet également d'établir une localisation des obstacles potentiels situés sur la route, devant le véhicule .
L'information couleur accentue la confiance du masque de la route obtenu initialement, surtout dans le cas où il n'existe
FEUILLE DE REMP pas de bords francs aux frontières de la chaussée. Ce deuxième masque permet une fermeture des zones d'accotement, favorisant ainsi l'obtention d'un masque global de la route .
La figure 10 illustre la structure générale d'un système de sécurité automobile mettant en oeuvre à partir des signaux issus de la caméra numérisés et mis en mémoire dans le conver¬ tisseur à mémoire 10 un processus d'extraction de la route et de localisation de candidats obstacles 100, tel que décrit ci-dessus qui est associé à un processus de détection d'obstacles 200 basé sur d'autres données, comme décrit en référence à la figure 1.
Le procédé selon l'invention tel que décrit ci-dessus vise à déterminer les voies de roulement sur la chaussée, à partir d'un processus d'analyse statique des signaux de luminance et de couleur. Ce procédé peut ensuite être complété phase complé¬ mentaire pour permettre une localisation des objets sur la route, et une pré -détermination des obstacles majeurs par une analyse dynamique. En effet une analyse dynamique est néces¬ saire pour séparer les différents types d'objets détectés par 0 détection de mouvement dans les séquences d'images, afin de repérer des objets sur la route et à localiser les obstacles . L'image segmentée résultante met alors en évidence les obstacles situés sur la route.
L'invention n'est pas limitée à la description précise du 5 procédé donnée ci-dessus. En particulier, pour la phase d'extrac¬ tion de la route, la méthode par connectivité peut être rempla¬ cée par toute autre méthode permettant de remplir le masque de la route dont les contours ont été déterminés par l'image des amplitudes des gradients et confirmés par l'analyse couleur, par Q exemple une méthode de type vectorielle ou toute autre méthode adaptée qui permettrait d'augmenter la rapidité du traitement. De même, les dimensions de fenêtres pour le moyennage peuvent être modifiées tout comme les autres paramètres, dont les valeurs numériques ont été données à titre ^ dlexemple, sans ~ sortir du cadre de l'invention.
FEUILLE DE REMPLA

Claims

REVENDICATIONS
1. Procédé d'analyse de séquences d'images routières , prises par une caméra embarquée à bord d'un véhicule roulant pour l'extraction de routes dans les images , caractérisé en ce qu'il comporte : - une première étape d'analyse (130, 131, 140) de l'infor¬ mation luminance des signaux vidéo images pour extraire les contours et régions des images et établir un masque de la route,
- une deuxième étape (110) , d'analyse des signaux vidéo couleurs au cours de laquelle une partition de l'image est réali- sée sur les points qui de manière certaine ne peuvent appartenir à la route,
- une troisième étape (150) qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs, pour l'extraction finale de la route .
2. Procédé selon la revendication 1, caractérisé en ce que l'étape d'analyse de la luminance comporte
- une phase (130) de calcul des gradients sur le signal de luminance, les amplitudes des gradients calculés aux différents points d'image constituant une image de contours , ~ une phase de calcul d'une caractéristique région définis¬ sant un masque de la route à partir de l'image des contours au cours de laquelle un filtrage moyenneur (131) dans un voisinage local du point courant est effectué et donne pour chaque point d'image une valeur caractéristique de l'énergie du signal dans le voisinage local considéré, puis une étape (132) de seuillage pour ne retenir que les valeurs d'énergie supérieures à un seuil, associées aux segments de contours image des bords de route dans l'image, et de traitement des segments de contour pour les rendre connexes , et enfin de remplissage de la région délimitée par les bords de route .
FEUILLE DE R
3. Procédé selon l'une des revendications 1 et 2, caracté¬ risé en ce que l'étape d'analyse couleurs (110) utilise le fait que dans les séquences images routières, les routes ne compor¬ tent pas de dominante colorimétrique verte ou rouge et comporte - une phase (112) de calcul de composantes moyennes des trois couleurs fondamentales autour d'un point courant, et de détermination de la composante moyenne maximum entre les deux composantes verte et rouge,
- une comparaison (113) de cette valeur maximum et de la valeur de la composante moyenne bleue, suivie d'une phase de test (116) de la différence entre ces valeurs par rapport à un seuil, les points pour lesquels cette différence est supérieure au seuil étant de manière certaine situés en dehors de la route.
4. Procédé selon l'une des revendications 1 à 3, caractéri- se en ce que l'étape (150) de combinaison des informations rela¬ tives au masque de la route établies au cours de la première étape et les informations relatives à la zone d'image en dehors de la route obtenues dans la deuxième étape établit précisément les voies de roulement contenues dans les séquences images rou- tières initiales et éventuellement de localiser des obstacles sur ces voies de roulement.
5. Procédé selon l'une quelconque des revendications précé¬ dentes, caractérisé en ce que l'étape d'analyse de luminance et l'étape d'analyse couleurs sont effectuées en parallèle-
5 6 - Dispositif d'analyse de séquences d'images routières issues d'une caméra (3) et disponibles sous forme de composan¬ tes numériques de couleur et après conversion des composantes de couleur, sous forme d'une composante de luminance, destiné à la mise en oeuvre du procédé d'analyse selon l'une des reven- Q dications 1 à 5, caractérisé en ce qu'il comporte
- un dispositif d'analyse contour et régions (13) dont l'entrée est destinée à recevoir le signal de luminance d'image,
FEUILLE DE RE - un dispositif d'analyse couleurs (11) dont l'entrée est destinée à recevoir les trois composantes de couleur, consti¬ tuant l'image vidéo,
- et un dispositif (15) d'extraction de route relié aux sorties du dispositif d'analyse contours et régions et du dispo¬ sitif d'analyse couleurs .
7. Application du procédé selon l'une des revendications 1 à 5 à la détection d'obstacles sur voies de roulement, caractéri¬ sé en ce que l'analyse de séquences d'images vidéo routières conduit à l'extraction de routes dans les images et à la locali¬ sation éventuelle d'obstacles lorsque le masque de la route est discontinu .
8. Application selon la revendication 7, caractérisé en ce qu'un dispositif de fusion de données destiné à recevoir simulta- nément les informations issues d'un dispositif d'analyse de séquences d'images selon la revendication 6 et des informations issues du traitement de signaux issus d'autres moyens détecteurs d'obstacles (1, 2) , est prévu pour générer des informations relatives aux obstacles détectés sur la route telle qu'analysée par la caméra et résultant des séquences d'images d'une part, et telle qu'analysée par les autres moyens détecteurs d'autre part, ce dispositif de fusion de données étant reliée à un ensemble de visualisation et d'alarmes (8) .
FEUILLE DE REMPLACEMENT
PCT/FR1992/000329 1991-03-22 1992-04-14 Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles WO1993021596A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
FR9103502A FR2674354A1 (fr) 1991-03-22 1991-03-22 Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles.
PCT/FR1992/000329 WO1993021596A1 (fr) 1991-03-22 1992-04-14 Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles
EP92910047A EP0588815B1 (fr) 1991-03-22 1992-04-14 Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles
JP4509516A JPH06508946A (ja) 1991-03-22 1992-04-14 障害物を検出するための道路画像のシーケンス分析方法および装置
DE69231152T DE69231152T2 (de) 1992-04-14 1992-04-14 Verfahren und vorrichtung zur auswertung von strassenbildsequenzen für die erkennung von hindernissen
US08/715,248 US5706355A (en) 1991-03-22 1996-09-19 Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9103502A FR2674354A1 (fr) 1991-03-22 1991-03-22 Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles.
PCT/FR1992/000329 WO1993021596A1 (fr) 1991-03-22 1992-04-14 Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles
US08/715,248 US5706355A (en) 1991-03-22 1996-09-19 Method of analyzing sequences of road images, device for implementing it and its application to detecting obstacles

Publications (1)

Publication Number Publication Date
WO1993021596A1 true WO1993021596A1 (fr) 1993-10-28

Family

ID=27252422

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR1992/000329 WO1993021596A1 (fr) 1991-03-22 1992-04-14 Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles

Country Status (3)

Country Link
US (1) US5706355A (fr)
FR (1) FR2674354A1 (fr)
WO (1) WO1993021596A1 (fr)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0738946A1 (fr) * 1995-04-17 1996-10-23 Honda Giken Kogyo Kabushiki Kaisha Dispositif de guidage automatique pour véhicule
KR100317789B1 (ko) * 1996-08-28 2002-04-24 모리시타 요이찌 국지적위치파악장치및그방법
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2706211B1 (fr) * 1993-06-08 1995-07-21 Thomson Csf Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre.
FR2749419B1 (fr) * 1996-05-31 1998-08-28 Sagem Procede et dispositif d'identification et de localisation d'objets fixes le long d'un trajet
IT1284976B1 (it) 1996-10-17 1998-05-28 Sgs Thomson Microelectronics Metodo per l'identificazione di strisce segnaletiche di corsie stradali
TR199700058A3 (tr) * 1997-01-29 1998-08-21 Onural Levent Kurallara dayali hareketli nesne bölütlemesi.
JP3759280B2 (ja) * 1997-04-15 2006-03-22 富士通株式会社 道路監視用事象検知装置
US6204858B1 (en) * 1997-05-30 2001-03-20 Adobe Systems Incorporated System and method for adjusting color data of pixels in a digital image
US6205242B1 (en) * 1997-09-29 2001-03-20 Kabushiki Kaisha Toshiba Image monitor apparatus and a method
US6141776A (en) * 1998-04-29 2000-10-31 The Boeing Company Data-driven process generator
DE19938266A1 (de) * 1999-08-12 2001-02-15 Volkswagen Ag Verfahren und Einrichtung zur elektronischen bzw. elektronisch visuellen Erkennung von Verkehrszeichen
US6233510B1 (en) * 1999-10-15 2001-05-15 Meritor Heavy Vehicle Technology, Llc Method and system for predicting road profile
US6297844B1 (en) 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
US6678394B1 (en) 1999-11-30 2004-01-13 Cognex Technology And Investment Corporation Obstacle detection system
US20010031068A1 (en) * 2000-04-14 2001-10-18 Akihiro Ohta Target detection system using radar and image processing
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US7167575B1 (en) 2000-04-29 2007-01-23 Cognex Corporation Video safety detector with projected pattern
US6469734B1 (en) 2000-04-29 2002-10-22 Cognex Corporation Video safety detector with shadow elimination
US6819779B1 (en) 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
US7639842B2 (en) * 2002-05-03 2009-12-29 Imagetree Corp. Remote sensing and probabilistic sampling based forest inventory method
AU2003256435A1 (en) * 2002-08-16 2004-03-03 Evolution Robotics, Inc. Systems and methods for the automated sensing of motion in a mobile robot using visual data
DE10253510A1 (de) * 2002-11-16 2004-05-27 Robert Bosch Gmbh Vorrichtung und Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug
US7684624B2 (en) * 2003-03-03 2010-03-23 Smart Technologies Ulc System and method for capturing images of a target area on which information is recorded
JP4319857B2 (ja) * 2003-05-19 2009-08-26 株式会社日立製作所 地図作成方法
US8326084B1 (en) 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
EP1734476A4 (fr) * 2004-03-29 2007-06-06 Pioneer Corp Dispositif et méthode d'analyse de la vue de la route
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US7359555B2 (en) * 2004-10-08 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Detecting roads in aerial images using feature-based classifiers
WO2006090449A1 (fr) * 2005-02-23 2006-08-31 Fujitsu Limited Procede, dispositif et systeme de traitement d'image et programme informatique
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7929798B2 (en) 2005-12-07 2011-04-19 Micron Technology, Inc. Method and apparatus providing noise reduction while preserving edges for imagers
DE102006060893A1 (de) * 2006-05-12 2007-11-15 Adc Automotive Distance Control Systems Gmbh Vorrichtung und Verfahren zum Bestimmen eines Freiraums vor einem Fahrzeug
DE102007012458A1 (de) * 2007-03-15 2008-09-18 Robert Bosch Gmbh Verfahren zur Objektbildung
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
JP5272042B2 (ja) * 2011-05-12 2013-08-28 富士重工業株式会社 環境認識装置および環境認識方法
CN102393744B (zh) * 2011-11-22 2014-09-10 湖南大学 一种无人驾驶汽车的导航方法
CN102514572B (zh) * 2012-01-17 2014-05-28 湖南大学 一种道路偏离预警方法
KR20140019501A (ko) * 2012-08-06 2014-02-17 현대자동차주식회사 장애물 인식을 위한 분류기의 생성방법
JP5996421B2 (ja) * 2012-12-26 2016-09-21 ヤマハ発動機株式会社 障害物検出装置及びそれを用いた車両
CN103310006B (zh) * 2013-06-28 2016-06-29 电子科技大学 一种车辆辅助驾驶系统中的感兴趣区域提取方法
RU2014104445A (ru) * 2014-02-07 2015-08-20 ЭлЭсАй Корпорейшн Формирования изображения глубины с использованием информации о глубине, восстановленной из амплитудного изображения
KR102261329B1 (ko) * 2015-07-24 2021-06-04 엘지전자 주식회사 안테나, 차량용 레이더, 및 이를 구비하는 차량
JP6612135B2 (ja) * 2016-01-14 2019-11-27 日立オートモティブシステムズ株式会社 車両検出装置および配光制御装置
US11557132B2 (en) * 2020-10-19 2023-01-17 Here Global B.V. Lane marking
US20220291701A1 (en) * 2021-03-10 2022-09-15 Flir Commercial Systems, Inc. Thermal imaging for navigation systems and methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0361914A2 (fr) * 1988-09-28 1990-04-04 Honda Giken Kogyo Kabushiki Kaisha Appareil et méthode d'appréciation de la trajectoire

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4630109A (en) * 1985-02-28 1986-12-16 Standard Telephones & Cables Public Limited Company Vehicle tracking system
JPS62155140A (ja) * 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
US4797738A (en) * 1986-05-19 1989-01-10 Kabushiki Kaisha Tohken Color recognition apparatus
JP2669031B2 (ja) * 1989-02-28 1997-10-27 日産自動車株式会社 自律走行車両
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JPH03218581A (ja) * 1989-11-01 1991-09-26 Hitachi Ltd 画像セグメンテーション方法
JPH03201110A (ja) * 1989-12-28 1991-09-03 Toyota Central Res & Dev Lab Inc 自律走行車の位置方位検出装置
GB9020082D0 (en) * 1990-09-14 1990-10-24 Crosfield Electronics Ltd Methods and apparatus for defining contours in coloured images
EP0488828B1 (fr) * 1990-11-30 1996-08-14 Honda Giken Kogyo Kabushiki Kaisha Appareil de commande d'un mobile se déplaçant de façon autonome et méthode d'évaluation de donnés de celui-ci
US5301239A (en) * 1991-02-18 1994-04-05 Matsushita Electric Industrial Co., Ltd. Apparatus for measuring the dynamic state of traffic
US5535314A (en) * 1991-11-04 1996-07-09 Hughes Aircraft Company Video image processor and method for detecting vehicles

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0361914A2 (fr) * 1988-09-28 1990-04-04 Honda Giken Kogyo Kabushiki Kaisha Appareil et méthode d'appréciation de la trajectoire

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PROCEEDINGS OF THE 22 ND ASILOMAR CONFERENCE ON SIGNALS,SYSTEMS AND COMPUTERS, PACIFIC GROVE,CALIFORNIE,VOL1 ,31 OCTOBRE 1988 F. CARTOSIO ET AL. 'a fuzzy data-fusion approach to segmentation of colour images' *
PROCEEDINGS OF THE FIRST INTERNATIONAL CONFERENCE ON COMPUTER VISION, LONDRES , 8-11 JUIN 1987 NEW YORK pages 557 - 566 DARVIN KUAN ET AL. 'autonomous land vehicle road following' *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
EP0738946A1 (fr) * 1995-04-17 1996-10-23 Honda Giken Kogyo Kabushiki Kaisha Dispositif de guidage automatique pour véhicule
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
KR100317789B1 (ko) * 1996-08-28 2002-04-24 모리시타 요이찌 국지적위치파악장치및그방법
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system

Also Published As

Publication number Publication date
FR2674354B1 (fr) 1995-05-05
FR2674354A1 (fr) 1992-09-25
US5706355A (en) 1998-01-06

Similar Documents

Publication Publication Date Title
WO1993021596A1 (fr) Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles
EP2713308B1 (fr) Procédé et système d'utilisation d'empreintes digitales pour suivre des objets en mouvement dans une vidéo
Chen et al. Velodyne-based curb detection up to 50 meters away
FR2752969A1 (fr) Procede pour detecter un objet a partir d'images stereoscopiques
Deepika et al. Obstacle classification and detection for vision based navigation for autonomous driving
Cabani et al. Color-based detection of vehicle lights
FR3042283B1 (fr) Methode de traitement d'une image radar de type sar et methode de detection de cible associee
EP0588815B1 (fr) Procede et dispositif d'analyse de sequences d'images routieres pour la detection d'obstacles
JP2022512290A (ja) 色覚困難の知覚を改善する多重スペクトル多重偏光（ｍｓｍｐ）フィルタ処理
FR3074941A1 (fr) Utilisation de silhouettes pour une reconnaissance rapide d'objets
FR3085219A1 (fr) Appareil de detection d'objet en mouvement et procede de detection d'objet en mouvement
CN107194343A (zh) 基于位置相关的卷积与Fire模型的红绿灯检测方法
EP3729327A1 (fr) Methode de reconnaissance d'objets dans une scene observee en trois dimensions
FR2858447A1 (fr) Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications
Barodi et al. An enhanced approach in detecting object applied to automotive traffic roads signs
FR2706211A1 (fr) Procédé de traitement d'images routières et de suivi d'obstacles, et dispositif pour sa mise en Óoeuvre.
EP0863488A1 (fr) Procédé de détection de contours de relief dans une paire d'images stéréoscopiques
Lertniphonphan et al. 2d to 3d label propagation for object detection in point cloud
Broggi et al. Artificial vision in extreme environments for snowcat tracks detection
EP0810496B1 (fr) Procédé et dispositif d'identification et de localisation d'objets fixes le long d'un trajet
Matthews Visual collision avoidance
Ganesan et al. An Image Processing Approach to Detect Obstacles on Road
Sagar et al. A Vison Based Lane Detection Approach Using Vertical Lane Finder Method
EP0359314B1 (fr) Système de traitement d'images
Babu et al. Development and performance evaluation of enhanced image dehazing method using deep learning networks

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FR GB GR IT LU MC NL SE

WWE Wipo information: entry into national phase

Ref document number: 1992910047

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1992910047

Country of ref document: EP

ENP Entry into the national phase

Ref country code: US

Ref document number: 1995 477714

Date of ref document: 19950607

Kind code of ref document: A

Format of ref document f/p: F

ENP Entry into the national phase

Ref country code: US

Ref document number: 1996 715248

Date of ref document: 19960919

Kind code of ref document: A

Format of ref document f/p: F

WWG Wipo information: grant in national office

Ref document number: 1992910047

Country of ref document: EP