WO2004038646A1 - Prüfung von bildaufnahmen von personen - Google Patents

Prüfung von bildaufnahmen von personen Download PDF

Info

Publication number
WO2004038646A1
WO2004038646A1 PCT/EP2003/011429 EP0311429W WO2004038646A1 WO 2004038646 A1 WO2004038646 A1 WO 2004038646A1 EP 0311429 W EP0311429 W EP 0311429W WO 2004038646 A1 WO2004038646 A1 WO 2004038646A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
head
person
face area
picture
Prior art date
Application number
PCT/EP2003/011429
Other languages
English (en)
French (fr)
Inventor
Stefan Gehlen
Michael Brauckmann
Martin Werner
Original Assignee
Viisage Technology Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32050006&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2004038646(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Viisage Technology Ag filed Critical Viisage Technology Ag
Priority to AU2003274009A priority Critical patent/AU2003274009A1/en
Priority to US10/532,548 priority patent/US7715596B2/en
Publication of WO2004038646A1 publication Critical patent/WO2004038646A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern

Definitions

  • the invention relates to a test method for taking pictures of people, in particular for portrait pictures.
  • Specified quality requirements for a picture of a person are parameterized using threshold values and compliance with the quality requirements is checked when the method is carried out by comparing the determined characteristic values of the picture with the threshold values.
  • the method enables an objective check to be carried out to determine whether a person's admission is suitable for person identification in accordance with previously defined criteria.
  • Devices for carrying out the method are also provided.
  • a signature comparison or a genetic comparison (“genetic fingerprint”)
  • the visual comparison that takes place during face recognition can be carried out easily and quickly for everyone and without technical aids.
  • An identity check on face detection is always made through a comparison of two images: (1) a reference image, which is present either as a real portrait, for example in the form of a card image, a search image. or any other portrait image, or constructed as a physical or imaginary image from memory or a description, e.g. a phantom image, and (2) a comparison image to be compared with the reference image, whereupon - depending on the agreement - the identity is determined or negated becomes.
  • a reference image which is present either as a real portrait, for example in the form of a card image, a search image. or any other portrait image, or constructed as a physical or imaginary image from memory or a description, e.g. a phantom image
  • Such identity checks are usually still carried out by people and not by machine, such as in a traffic control or passport control, where the reference picture is an identification picture and the comparison picture is an imaginary picture that the comparative person makes of the face of the person to be checked.
  • machine image processing methods are very complex and prone to errors if the underlying images are of poor quality. Criteria also play a role here, which one would not consider as a quality feature from the start. For example, the head pose is of great importance for the informative value of a machine image comparison: according to the current state of the art, frontal images are much better than other poses, such as half profiles.
  • this object is achieved by the method of claim 1, the data processing device of claim 13 or 15 and the system of claim 16.
  • Another aspect of the invention is to modify images which do not meet the criteria, if possible, in such a way that the appropriately modified person images match the criteria.
  • the method described in claim 12, the data processing device of claim 14 and 15 and the system of claim 16 are provided.
  • test method according to the invention for digitized person photographs comprises the steps: segmenting the person photograph into a background area and a head or face area, analyzing the head or face area in order to determine at least one characteristic value, comparing the at least one characteristic value with at least one predetermined threshold value.
  • the threshold values represent quality criteria, whereby - depending on the type of criterion - a corresponding characteristic value is greater than its associated threshold value, smaller than its associated threshold value, or between an associated lower threshold value and an associated upper threshold value. to meet the relevant quality criteria.
  • lower threshold values are useful for image resolution and image sharpness
  • upper threshold values for contamination or other image damage e.g. locally damaged or missing image data
  • a "live image" recorded by a camera is also included in the picture, which of course should meet the same quality criteria for identification procedures etc. as a passport photo, etc., and should be checked with regard to these criteria. If the quality of the live image does not meet the quality requirements , the recording process has to be aborted or repeated ..
  • a typical application for this is, for example, the automated image comparison at passport control, in which the person recorded live is compared with the image stored in the ID card, please complete this point in the patent specification.
  • the person picture or the portrait picture can be segmented directly into a face area and a background (rest of the picture).
  • a different one Weighting of different head areas can be achieved by segmenting the person or portrait into a background and a head area, and in the simplest case using different weight factors over the head area. In many cases, a non-linear weighting of these areas is preferred in addition.
  • One of the simplest segmentation methods is based on color separation and either assumes a certain color spectrum for the facial area and / or a certain color spectrum for the background area. Above all, the former can be carried out in many cases, e.g. Passport photos are usually taken against a plain background.
  • the segmentation step can also be carried out in such a way that the person image or the portrait is first segmented into a background area and a head area, and then the head area further into a face area and into the area surrounding the face (for example hair, neck, etc.) is segmented.
  • Another simple segmentation method is based on the fact that the background of people or portrait pictures is in most cases out of focus or at least considerably less sharp than the head / face area.
  • the blurring is expressed in - compared to sharp image areas - lower local brightness variations and less abrupt color changes.
  • an object recognition method can be used for segmentation, for example the graph matching method ("graph matching", which is well known in the art, cf. German patent 4406 020, method for automated recognition of objects) or further developments, such as the hierarchical image model adaptation HGM (see European Patent Application No. 01 118 536.0)
  • graph matching which is well known in the art, cf. German patent 4406 020, method for automated recognition of objects
  • HGM hierarchical image model adaptation HGM
  • Other object recognition methods are based, for example, on eigenvalue approaches, such as the method known as “Eigenfaces” (M. Turk, A.
  • Pentland “Eigenfaces for recognition”, Journal of Cognitive Neuroscience, 3 (1), pp 71-86, 1991) or on the analysis of local object properties ("Local Feature Analysis", JS Penev, JJ Atick, JJ Local feaure analysis: A general statistical theory for object representation, Network: Computation in neural systems, 7, pp. 477-500).
  • the geometric properties include, for example, the area proportion of the head / face area in the overall picture, the position or orientation of the head or face area in the image, the head / face shape, the width / height of the head / face area measured in terms of the number of pixels, etc. It was empirically determined that a person saw a minimal resolution of at least 100 pixels in the horizontal dimension and at least 125 pixels in the vertical dimension, in order to be able to make reasonably reliable statements with an image comparison method when identifying a person.
  • analyzing the head / face area comprises determining at least one rendering property of the head / face area.
  • These reproduction properties include the contrast, the color distribution, the image sharpness, the brightness, overexposure, etc.
  • Another reproduction property is the "degree of soiling", which plays an important role when The digitized portrait picture or the person picture was created from a dirty or damaged original.
  • the analysis of the head or face area includes the localization of sub-areas (e.g. eyes, mouth, nose) in the head or face area.
  • the localization or extraction of such sub-areas can be carried out again using segmentation methods, for example. Among other things, it can be determined which o parts of the face are shown (or recognizable) and which are not, whether
  • Eyes or mouth are closed or open, whether there are skin marks or scars, whether glasses or facial / ear jewelry are present, etc.
  • the localized sub-areas are not only determined, that is, their presence or absence, but again examined separately.
  • a particularly important property that can be determined is the eye color; but also Their properties of the eyes, nose, mouth, in particular their shape, can be examined and characteristic values according to the shape, color, etc. can be determined.
  • the person picture / portrait picture with regard to global i.e. criteria that apply to the entire picture are examined and corresponding characteristic values are determined.
  • global criteria include: size, resolution, gray values, brightness, contrast, color distribution, color balance, texture, etc.
  • properties such as area, resolution, brightness, contrast, color, color distribution, color balance, texture, etc. can also be examined.
  • a person picture / portrait picture does not meet at least one quality criterion or a predetermined number and / or combination of quality criteria according to the above-described methods, it is decided that the picture does not meet the specified quality standards and thus for person recognition, and in particular for automated person recognition, is not suitable.
  • the quality criteria can be divided into “soft” and “hard” criteria.
  • Hard criteria are those that cannot be easily changed without arbitrary assumptions. For red eyes, which often occur with pictures taken with a flash, it is usually not possible without additional information to change the eye color in green, blue, etc. However, if such information is available, such a correction may well be justifiable.
  • Soft criteria are criteria in which an image correction can be carried out on the basis of justifiable assumptions, so that the correspondingly corrected image complies with the corresponding specified quality criteria. These include, for example, color, possibly also brightness and contrast.
  • the method comprises a step in which it is determined whether a negatively checked image, after performing an image correction, could meet the specified quality criteria.
  • this method can be carried out in such a way that it is ascertained whether a look at a negatively checked image, even after an image correction has been carried out, could be sufficient to comply with the specified quality criteria. If this is not the case, it is assumed that the image could meet the specified quality criteria after performing an image correction.
  • the invention also provides a correction method for digitized person shots and, in particular, portrait images, in particular for images that did not meet at least one quality criterion in the test method according to the invention, which — optionally or in a suitable combination — comprises the following steps: correct at least an image rendering property on the entire image / in the head or face area / in the background area, and correcting at least one geometric property of a head or face area shown in the person image or the portrait image.
  • the invention further provides data processing devices in order to carry out the test method according to the invention according to claim 1 or the correction method described in claim 12, or both methods.
  • the data processing device can be, for example, a CPU that reads digitized image data from a memory, processes it, and outputs the processed image data or the results of the checking or correction methods.
  • the invention also provides a system for quality checking and correction of digitized person photographs, which comprises a device for storing digitized image data and at least one of the data processing devices according to the invention.
  • the device for storing digitized image data can be provided locally together with the data processing device (s), but also separately therefrom, for example as a remotely provided database with reading and possibly also writing capability, which can be accessed, for example, via the Internet ,
  • Either the data to be examined or reference image data or both types of image data can be stored in the memory device.
  • the system according to the invention further comprises a device for generating digitized image data, for example a scanner or a digital camera.
  • the generated image data can then be stored in the storage device described above and - simultaneously or if desired - examined with regard to their properties (quality).
  • the system comprises a display device in order to indicate whether a checked image or a corrected image satisfies predetermined quality criteria.
  • FIG. 1 is a schematic flow diagram of a particularly preferred embodiment of the method according to the invention.
  • FIG. 1 represents the flowchart of a quality inspection for a person picture, here: a portrait picture, which is carried out according to the principles of the present invention.
  • the reference symbol 1 symbolizes the image digitization / image transmission
  • the reference symbol 2 the examination of the image for global criteria (ie criteria that apply to the entire image)
  • the reference symbol 3 the segmentation (head / face detection) and the checking of criteria in the head- / Face area and possibly also in the background area
  • reference number 4 the checking of local criteria in the face area
  • reference number 5 optionally image correction method
  • reference number 6 the signaling of the result and / or the data export.
  • the image digitization / image transmission described in block 1 comprises the generation of a digitized image (if necessary) and the reading in of a digitized image to a computer unit which carries out the steps of the subsequent blocks 2-6.
  • image data If the image to be examined (image data) is not in digital form, a digitized image can be generated from it using a scanner. If a certain image format is particularly desirable for carrying out the method, a format conversion can be carried out before or after the reading. Common formats for digital image data are e.g. JPG, JPEG, TIFF, BMP, all of which are well known in the art and need not be described in detail.
  • the image data can of course also be transmitted via the Internet.
  • step 2 the scanned image is examined with regard to global criteria.
  • the compression factor can be determined, for example, in the case of electronically transmitted JPEG images from the file description.
  • the compression factor determined in this way is compared with predetermined limits. If this threshold is undershot, a negative test result is achieved.
  • compression factors over 12.5 to 1 have proven to be problematic, for example in the JPEG method.
  • the portrait image digitized using a scanner or already digitally present image is analyzed with regard to its image resolution.
  • the image resolution in the x and y directions is compared with predetermined thresholds.
  • a minimum image resolution of 100 pixels (x direction, image width) and 125 pixels (y direction, image height) has proven itself for the head / face area.
  • the sharpness of the image is preferably assessed on the basis of the high-frequency spectral components in the image.
  • an estimator for the noise process can also be used and the noise spectrum can be subtracted.
  • the spectral components relevant for face recognition can be determined by calculating the corresponding spatial frequencies. Suitable threshold values for the expected value and variance of the relevant spectral components can be made from reference image data, from which the quality of the image sharpness can be determined in relation to the “face recognition” task.
  • the global image brightness is given by the mean value of the gray values of the image. Whether the brightness of a portrait image is within a specified tolerance range can be determined by comparing the mean gray value against an upper and a lower threshold.
  • the image contrast is the ratio of the brightness of neighboring surface elements of an image.
  • the variance of the image or of image regions or the histogram of the entire image or of one or more subregions can be determined in a simplified manner.
  • a lower threshold for sufficient contrast can be determined by statistical analysis on a suitable image data set.
  • Overexposure can be detected by reaching global saturation values or by significant changes in brightness in the image.
  • an area and shape measurement of the area (s) affected by the overexposure are advantageously carried out.
  • the available color information which is usually in RGB representation, is first transformed into a suitable color space (eg HSV: "Hue-Saturation-Value", or HSI: “Hue-Saturation-Intensity). Then the statistics of the present image material are determined, and only the information in the region of the face should be used, since the color and texture of the background are generally unknown, although there may be an exception in cases where the background is also specified and should be largely identical across all of the database.
  • a suitable color space eg HSV: "Hue-Saturation-Value”
  • HSI Human-Saturation-Intensity
  • the statistics can be compared with model parameters. This is done either directly, for example, by comparing histograms (eg minimizing the cross entropy) or using descriptive parameters (in the simplest case, eg by determining the mean and variance and comparing them with the speaking model values; if necessary, a transformation of the distributions can follow in order to correct the deviations).
  • histograms eg minimizing the cross entropy
  • descriptive parameters in the simplest case, eg by determining the mean and variance and comparing them with the speaking model values; if necessary, a transformation of the distributions can follow in order to correct the deviations.
  • Contamination effects or other disturbances can influence the picture quality in different ways. Large-scale contamination can e.g. show in an uncorrectable color balance. Smaller disturbances are shown by a residual analysis between the original and media-filtered image. As an alternative or in addition, morphological operators are used.
  • the intensity distribution of the image can be transformed nonlinearly by changing the gamma value. Values for can be set either manually and after visual inspection or automatically.
  • An example of gamma correction is the correction of the known characteristics of different image processing and display hardware (eg monitor gamma, scanner gamma).
  • the aim of segmentation is to separate the individual objects of a scene from each other and from the background.
  • general methods for segmenting objects can be used, but of course also particularly advantageously, special methods for segmenting faces.
  • Thresholding is based, for example, on the fact that the objects differ from the background by their gray value and is therefore used almost exclusively in processes with controlled boundary conditions, in particular controlled lighting.
  • Each pixel is compared against the threshold and, depending on the outcome of the comparison operation, marked as either a background or an object.
  • Multi-stage approaches are often used in the special methods for the detection and segmentation of faces.
  • a "de-rotation" of the possible facial region is attempted.
  • a (with restrictions) frontal face is symmetrical to the nose.
  • the determination of the axis of symmetry for example by a cepstrum analysis and subsequent de-rotation, so that the If the axis of symmetry is vertical, this results in a region that potentially contains an upright face.
  • faces can be segmented in a suitable color space by forming threshold values.
  • Other approaches eg from Rowley, are based on the classification of a pyramidial transformation of the image region by neural classifiers that have been trained using sample data.
  • a preferred method for segmenting the face uses the aforementioned graph matching method or an addition to the method (eg HGM ).
  • the examination of features in the facial area / background includes:
  • Eye detection is a problem that has been known in image processing for a long time and solutions of various levels of complexity are proposed:
  • Jain et al. propose a method in which - based on an initial detection of the face - the eyes based on the distribution of chrominance and luminance in the . Face to be detected.
  • the original color distributions are subjected to morphological operations and then detected by thresholding on an image pyramid.
  • Other methods are based on pattern comparison methods, either implicitly using neural classifiers, or explicitly by modeling and comparing the geometric properties (e.g. in the form of a search for the circles surrounding the pupil, the arches of the eyebrows etc.).
  • the distance of the eyes from the picture edge can alternatively be used.
  • the distance of the left eye to the upper and lower edge of the image calculated in pixels is determined and compared with predefined limits. Analog measurements are carried out for the right eye. From empirical studies, threshold values of approximately 40 pixels for the distance between the eyes and the respective image edge and approximately 80 pixels for the distance between the eye axis and the lower to the lower edge of the image have proven successful.
  • the distance between these positions is determined and compared with a given threshold.
  • a given threshold As beneficial to the Personal identification has proven to be a distance of at least 50 pixels (pixels) between the eye centers.
  • the portrait is checked for frontoparallel rotation by calculating the angle of rotation of the face in relation to a normal axis. If the position of the eye centers is known, this angle of rotation can be calculated by determining the projected eye distance in the x and y directions and by corresponding trigonometric relationships. Since an exact determination of the eye centers is often problematic also due to possible image disturbances, the following more robust method can alternatively or additionally be carried out:
  • the calculated angle of rotation is compared with predetermined thresholds. If necessary, the image can be rotated by a corresponding linear image operation in such a way that the resulting image is no longer rotated or is within the predetermined thresholds.
  • the relative rotation in space can be determined from a set of point correspondences (of 8 or more pairs of points) between the image and a model using the method known in the literature as the 8-point algorithm. References to the latter methods are: “Complete Dense Estimation using Level Set Methods", O. Faugeras and R. Keriven, Europe- an Conference on Computer Vision, 1998; and "The Fundamental Matrix: Theory, Algorithms, and Stability Analysis ", QT Lu ⁇ ng and O. Faugeras, 1995.
  • the depth rotation can be compensated for, for example, by adapting the parameters of a 3D head model onto which the color or gray values of the present face are projected.
  • the 3D model of the image thus calculated is then derotated by the previously determined rotation parameters, preferably in a standard view.
  • the calculated rotation angles are also compared with predefined thresholds in the case of depth rotation. If necessary, the described method can be used to transform the image such that the resulting image is no longer rotated or is again within the predetermined thresholds.
  • the course of the background is also important for optimal image recognition.
  • specifications are typically made with regard to a uniform, color-homogeneous background.
  • the background can be analyzed for brightness (medium brightness, variance), contrast, color and texture using the methods already described. If typical limit values are exceeded unsuitable images, ie images in which the background is considered to be uneasy or dominant for the viewer, are rejected or sent to a correction process in which the background is replaced by electronic image manipulation for a more suitable background. Backgrounds are advantageously formed for the pixel-by-pixel exchange that have constant brightness and color.
  • the object background visible in the image does not meet the test conditions, this can be replaced by image manipulation techniques with another background that corresponds to the test conditions. This is done by pixel by pixel Overwrite the area marked as background during segmentation, in the simplest case each pixel being assigned a constant color and brightness.
  • a favorable background color and brightness can advantageously also be selected by taking the object under consideration itself into account, so that the contrast difference between the object and the background is optimized.
  • the object background visible in the image does not meet the test conditions, this can be replaced by image manipulation techniques with another background that corresponds to the test conditions. This is achieved by overwriting the area marked as image background during segmentation, in the simplest case, each pixel being assigned a constant color and brightness.
  • a favorable background color and brightness can advantageously also be selected by taking the object under consideration itself into account, so that the contrast difference between the object and the background is optimized.
  • a method based on a graph matching method can be used.
  • the similarities of the local nodes or node groups can be assessed. This happens either by checking whether the similarity to model nodes (e.g. in the form of examples) is large enough, or explicitly by classifying between the positive case and the associated negative case (e.g. similarity to "normal" open eyes, closed eyes) Eye, eye patch).
  • Evaluate reference models e.g. in the form of the sum of the absolute amount of all position deviations from the reference node in the case of an open or a closed mouth.
  • the decision can then be made by comparison with a threshold.
  • the check for headgear can be carried out according to the following pragmatic approach: After successful graph positioning, the nodes that describe the upper border of the head can be evaluated. Here it is advisable to check the color and shape. The former is possible by analyzing the original image, the latter by similarity with model images. If there are significant deviations in one of the two cases, headgear may be present. Such images should be supplied by a human operator for safety visual inspection (block 6).
  • the image on which the test method is based (or, if applicable, the corrected image) corresponds to the specified quality criteria. If this is the case, the image (or possibly the corrected image) can be recorded, for example, in a database, transferred to an identity document, etc.
  • the method described with reference to the figure only serves to illustrate the principles on which the present invention is based. The scope of the invention is defined by the following claims.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control For Baths (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Es wird ein Prüfverfahren für digitalisierte Personenaufnahmen, insbesondere Personenaufnahmeer, bereitgestellt, sowie Vorrichtungen zur Durchführung des Verfahrens. Das Verfahren ist insbesondere zum Überprüfen der Eignung einer Personenaufnahme für eine Personenidentifizierung verwendbar. Es umfasst die Schritte: Segmentieren der Personenaufnahme in einen Hintergrundbereich und einen Kopf- oder Gesichtsbereich, Analysieren des Kopf- oder Gesichtsbereichs, um wenigstens einen Kennwert zu ermitteln, Vergleichen des wenigstens einen Kennwerts mit wenigstens einem vorbestimmten Schwellwert.

Description

Prüfung von Bildaufnahmen von Personen
Gebiet der Erfindung
Die Erfindung betrifft ein Prüfverfahren für Bildaufnahmen von Personen, insbesondere für Porträtbilder. Vorgegebene Qualitätsanforderungen an eine Personen- aufnähme (ein Porträtbild) werden durch Schwellwerte parametrisiert und bei der Durchführung des Verfahrens die Einhaltung der Qualitätsanforderungen über einen Vergleich der.ermittelten Kennwerte des Bildes mit den Schwellwerten über-., prüft. Das Verfahren erlaubt es, objektiv zu prüfen, ob sich eine Personenaufnahme gemäß zuvor festgelegter Kriterien für eine Personenidentifizierung eignet. Ferner werden Vorrichtungen zum Durchführen des Verfahrens bereitgestellt.
Stand der Technik
Das älteste und auch heute noch am weitesten verbreitete Verfahren zur Erken- nung bzw. Überprüfung der Identität einer Person ist die Gesichtserkennung.
Im Unterschied zu einem Fingerabdruckvergleich, einem Unterschriftsvergleich oder einem genetischen Vergleich („genetischer Fingerabdruck") ist der bei der Gesichtserkennung erfolgende visuelle Vergleich für jedermann einfach und schnell und ohne technische Hilfsmittel durchzuführen.
Eine Identitätsüberprüfung über Gesichtserkennung erfolgt immer über einen Vergleich zweier Bilder: (1) eines Referenzbildes, das entweder als reales Porträt vorliegt, z.B. in Form eines Ausweisbildes, eines Fahndungsbildes,. oder irgendeines anderen Porträtbildes, oder als physisches oder imaginäres Abbild aus der Erinnerung oder einer Beschreibung konstruiert wird, z.B. ein Phantombild, und (2) eines Vergleichsbildes, das mit dem Referenzbild zu vergleichen ist, worauf - je nach Übereinstimmung - die Identität festgestellt oder negiert wird.
Derartige Identitätsüberprüfungen werden in der Regel immer noch durch Personen und nicht maschinell durchgeführt, wie z.B. bei einer Verkehrskontrolle oder einer Passkontrolle, wo das Referenzbild ein Ausweisbild ist und das Vergleichsbild ein imaginäres Abbild, das sich die vergleichende Person vom Gesicht der zu ü- berprüfenden Person macht. Maschinelle Bildverarbeitungsverfahren sind wegen der großen Menge an zu verarbeitender Bildinformation sehr aufwendig und fehleranfällig bei mangelhafter Qualität der zugrundeliegenden Bilder. Es spielen dabei auch Kriterien eine Rolle, die man von vornherein nicht als Qualitätsmerkmal ansehen würde. So ist z.B. die Kopfpose von sehr großer Bedeutung für die Aussagekraft eines maschinellen Bildvergleichs: frontale Bilder eignen sich nach heutigem Stand der Technik viel besser als andere Posen, wie z.B. Halbprofile.
Ob visuell durch, eine Person, oder maschinell: „ein entscheidendes- Kriterium für die. Aussagekraft einer Identitätsprüfung ist die Qualität der verwendeten Porträtbilder, worunter nicht nur Wiedergabequalitäten wie Auflösung, Bildschärfe, Kontrast, Bildhelligkeit, Verschmutzungsgrad, etc. eine Rolle spielen, sondern auch die Art der Präsentation des abgebildeten Gesichts. Vor allem für maschinelle Verfahren stellen Porträts niedriger Qualität nahezu unüberbrückbare Probleme bei einem Bildvergleich.
Die Identitätsprüfung von Personen über Fingerabdrucksvergleich, Unterschrifts- vergleich, etc. wird zunehmend durch halbautomatische Verfahren unterstützt oder durch automatisierte Verfahren durchgeführt. Auch hier kommt es auf die Qualität der verwendeten Fingerabdrücke bzw. Unterschriften an. Für Unterschriften beschreibt z.B. die Druckschrift US 6,363,162 A ein System und ein Verfahren zur Prüfung der Qualität von Unterschriften, wobei ein Binärbild des die Unterschrift aufweisenden Dokuments erstellt wird, der Hintergrund von der Unterschrift getrennt wird, und darauf die Unterschrift untersucht und ausgewertet wird. Auf Porträtbilder ließe sich dieses Verfahren aber wegen der ungleich höheren Komplexität dieser Bilder nicht oder nur in sehr eingeschränkter Form übertragen.
Es sind zwar im Bereich der Druck- und Fototechnik Verfahren und Systeme bekannt, die den Kontrast, Farbe und Helligkeit von Bildern automatisch prüfen und gegebenenfalls Korrekturen durchführen. Dies basiert jedoch immer auf Verfahren, die entweder das gesamte Bild oder vorgegebene Bildausschnitte analysieren. Zum Extrahieren von Strukturen oder gar der Identifizierung von Objekten im Bild sind diese Verfahren nicht geeignet. Ein weiteres Problem ist, dass allgemeine Qualitätskriterien für Porträtbilder nur vage definiert sind und bislang nur durch visuelle Inspektion überprüft werden. So ist z.B. das prinzipielle Aussehen eines deutschen Ausweisbildes anhand von Krite- 5 rien und Beispielen festgelegt. Ob jedoch ein solches Bild dann für einen Ausweis zugelassen wird, unterliegt der subjektiven Einschätzung eines oder mehrerer Beamter/Angestellter.
Eine präzisere Definition von Qualitätskriterien ist aber nur dann sinnvoll, wenn de- 0 ren Einhaltung auch objektiv überprüft werden kann. Eine objektives Kontrollverfah- .. ren für. Porträtbilder, bei dem.geprüft.wjrd, ob ein Bild -tatsächlich vorgegebenen
Kriterien entspricht oder nicht, ist bislang aber nicht bekannt.
Beschreibung der Erfindung 5
Es ist eine Aufgabe der Erfindung, die oben beschriebenen Nachteile und Unwägbarkeiten bei der Qualitätskontrolle von Personenaufnahmen und speziell Porträtbildern zu beseitigen.
o Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass Verfahren und Vorrichtungen bzw. Systeme bereit gestellt werden, mittels derer für Personenaufnahmen vorgegebene Qualitätskriterien objektiv überprüfbar sind.
Speziell wird diese Aufgabe durch das Verfahren von Anspruch 1 , die Datenverar- 5 beitungseinrichtung von Anspruch 13 bzw. 15 und das System gemäß Anspruch 16 gelöst.
Ein weiterer Aspekt der Erfindung ist, den Kriterien nicht entsprechende Bilder - falls möglich - so zu modifizieren, dass die entsprechend modifizierten Personen- o aufnahmen den Kriterien entsprechen. Hierzu werden das in Anspruch 12 beschriebene Verfahren, die Datenverarbeitungseinrichtung von Anspruch 14 bzw. 15 und das System von Anspruch 16 bereit gestellt.
Vorteilhafte Weiterbildungen der Erfindung werden in den Unteransprüchen ange- 5 geben. Das erfindungsgemäße Prüfverfahren für digitalisierte Personenaufnahmen umfasst die Schritte: Segmentieren der Personenaufnahme in einen Hintergrundbereich und einen Kopf- oder Gesichtsbereich, Analysieren des Kopf- oder Gesichts- bereichs, um wenigstens einen Kennwert zu ermitteln, Vergleichen des wenigstens einen Kennwertes mit wenigstens einem vorbestimmten Schwellwert.
Die Schwellwerte stehen stellvertretend für Qualitätskriterien, wobei - je nach Art des Kriteriums - ein entsprechender Kennwert größer als sein zugehöriger Schwellwert, kleiner als sein zugehöriger Schwellwert, oder zwischen einem zuge- hörigen unteren Schwellwert und einem zugehörigen oberen Schwellwert liegen .. .. muss, um das betreffende Qualitätskriterium zu erfüllen.
Beispielsweise sind für die Bildauflösung und Bildschärfe untere Schwellwerte zweckmäßig, für die Bildgröße (Datenmenge) und Bildhelligkeit jeweils untere und ein obere Schwellwerte, für eine Verschmutzung oder andere Bildschäden (z.B. lokal beschädigte oder fehlende Bilddaten) obere Schwellwerte.
Unter Personenaufnahme fällt auch ein beispielsweise durch eine Kamera aufgenommenes „Livebild", das für Identifizierungsverfahren etc. natürlich den gleichen Qualitätskriterien entsprechen soll, wie ein Passbild, etc., und hinsichtlich dieser Kriterien geprüft werden soll. Falls die Qualität der Liveaufnahme nicht den Qualitätsansprüchen genügt, ist der Aufnahmeprozess abzubrechen bzw. zu wiederholen. Eine typische Anwendung hierfür ist beispielsweise der automatisierte Bildvergleich bei der Passkontrolle, bei dem die live aufgenommene Person mit dem im Ausweis hinterlegten Bild verglichen wird. Bitte diesen Punkt in der Patentschrift ergänzen.
Da die Haare einer Person eine der am einfachsten manipulierbaren Eigenschaften sind, ist es in vielen Fällen zweckmäßig, zur Personenidentifizierung über einen Bildvergleich nicht den gesamten Kopf, sondern lediglich das Gesicht heranzuziehen (oder wenigstens das Gesicht deutlich stärker zu gewichten als die Haare). Die Ohren werden dabei als Bestandteil des Gesichts aufgefasst. Die Personenaufnahme bzw. das Porträtbild kann in diesem Fall direkt in einen Gesichtsbereich und einen Hintergrund (Rest des Bildes) segmentiert werden. Eine unterschiedliche Gewichtung verschiedener Kopfbereiche kann erreicht werden, indem die Personenaufnahme bzw. das Porträt in einen Hintergrund- und einen Kopfbereich seg- mentiert wird, und im einfachsten Fall über den Kopfbereich unterschiedliche Gewichtsfaktoren verwendet werden. In vielen Fällen ist in Ergänzung eine nichtlinea- re Gewichtung dieser Bereiche bevorzugt.
Eines der einfachsten Segmentierverfahren basiert auf farblicher Trennung und nimmt entweder für den Gesichtsbereich ein bestimmtes Farbspektrum und/oder für den Hintergrundbereich ein bestimmtes Farbspektrum an. Vor allem Ersteres kann in vielen Fällen durchgeführt werden, da z.B. Passbilder in der Regel vor einem unifarbenen Hintergrund aufgenommen werden. Der Segmentierschritt kann auch so durchgeführt werden, dass die Personenaufnahme bzw. das Porträt zuerst in einen Hintergrundbereich und einen Kopfbereich segmentiert wird, und anschließend der Kopfbereich weiter in einen Gesichtsbereich und in den das Gesicht um- gebenden Bereich (z.B. Haare, Hals etc.) segmentiert wird.
Ein anderes einfaches Segmentierverfahren beruht darauf, dass der Hintergrund von Personenaufnahmen bzw. Porträtbildern in den meisten Fällen unscharf oder wenigstens wesentlich weniger scharf als der Kopf-/Gesichtsbereich ist. Die Un- schärfe äußerst sich in - im Vergleich mit scharfen Bildbereichen - geringeren lokalen Helligkeitsvariationen und weniger abrupten Farbänderungen.
Zusätzlich oder alternativ zu diesen einfachen Segmentierungsverfahren kann zur Segmentierung ein Objekterkennungsverfahren verwendet werden, beispielsweise das in der Technik wohlbekannte Graphenanpassungsverfahren („graph matching", vgl. deutsches Patent 4406 020, Verfahren zur automatisierten Erkennung von Objekten) oder Weiterentwicklungen, wie die hierarchische Bildmodellanpassung HGM (vgl. europäische Patentanmeldung Nr. 01 118 536.0). Andere Objekterkennungsverfahren basieren z.B. auf Eigenwertansätzen, so das unter der Bezeich- nung „Eigenfaces" bekannte Verfahren (M. Turk, A. Pentland: "Eigenfaces for re- cognition", Journal of Cognitive Neuroscience, 3(1), pp 71-86, 1991) oder auf der Analyse von lokalen Objekteigenschaften („Local Feature Analysis", J.S. Penev, J.J. Atick, J.J. Local feaure analysis: A general statistical theory for object representation, Network: Computation in neural Systems, 7, pp. 477-500). In einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens umfasst das
Analysieren des Kopf- oder Gesichtsbereiches das Ermitteln wenigstens einer geometrischen Eigenschaft des Kopf- oder Gesichtsbereiches, wobei der Begriff „ge- 5 ometrische Eigenschaft" im weitesten Sinne zu verstehen ist: Die geometrischen Eigenschaften umfassen z.B. den Flächenanteil des Kopf-/Gesichtsbereiches im Gesamtbild, die Lage oder Orientierung des Kopf- oder Gesichtsbereiches im Bild, die Kopf-/Gesichtsform, die in der Anzahl von Bildpunkten gemessene Breite/Höhe des Kopf-/Gesichtsbereiches, etc. So wurde empirisch festgestellt, dass ein Ge- 0 sieht eine minimale Auflösung von wenigstens 100 Bildpunkten in horizontaler Ausdehnung und mindestens.125 Bildpunkten in vertikaler Ausdehnung besitzen sollte, . um mit einem Bildvergleichsverfahren bei einer Personenidentifizierung einigermaßen verlässliche Aussagen treffen zu können.
5 In einer weiteren bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens umfasst das Analysieren des Kopf-/Gesichtsbereiches das Ermitteln wenigstens einer Wiedergabeeigenschaft des Kopf-/Gesichtsbereiches. Zu diesen Wiedergabeeigenschaften, die stark von den Aufnahmebedingungen beeinflusst werden, zählen der Kontrast, die Farbverteilung, die Bildschärfe, die Helligkeit, Überstrah- o lungen, etc. Eine weitere Wiedergabeeigenschaft ist der „Verschmutzungsgrad", der insbesondere dann eine wichtige Rolle spielt, wenn das digitalisierte Porträtbild bzw. die Personenaufnahme aus einem verschmutzten oder beschädigtem Original erstellt wurde.
5 In einer besonders bevorzugten und vorteilhaften Weiterbildung umfasst das Analysieren des Kopf- oder Gesichtsbereiches das Lokalisieren von Subbereichen (z.B. Augen, Mund, Nase) im Kopf- oder Gesichtsbereich. Das Lokalisieren oder Extrahieren solcher Subbereiche kann beispielsweise wieder über Segmentierungsverfahren durchgeführt werden. Hierbei kann unter anderem ermittelt werden, welche o Gesichtsteile auf dem Bild abgebildet (bzw. erkennbar) sind und welche nicht, ob
Augen oder Mund geschlossen oder geöffnet sind, ob Hautmale oder Narben vorliegen, ob eine Brille oder Gesichts-/Ohrschmuck vorhanden ist, etc. Vorzugsweise werden die lokalisierten Subbereiche nicht nur ermittelt, also ihre An- oder Abwesenheit festgestellt, sondern wiederum separat untersucht. Eine besonders wichti- 5 ge Eigenschaft, die dabei ermittelt werden kann, ist die Augenfarbe; aber auch an- dere Eigenschaften der Augen, der Nase, des Mundes, insbesondere deren Form, können untersucht und Kennwerte entsprechend der Form, Farbe, etc. ermittelt werden.
In einer vorteilhaften Weiterbildung der oben genannten Verfahren wird als weiterer - und vorzugsweise als erster - Schritt die Personenaufnahme/das Porträtbild hinsichtlich globaler, d.h. für das gesamte Bild geltender Kriterien untersucht und entsprechende Kennwerte ermittelt. Zu diesen globalen Kriterien gehören: Größe, Auflösung, Grauwerte, Helligkeit, Kontrast, Farbverteilung, Farbbalance, Textur, etc. Ferner kann nach dem Segmentieren nicht nur eine Analyse des Vordergrundes ,. (d.h. des Gesichts- oder Kopfbereiches) durchgeführt werden, sondern natürlich ....... auch eine solche des Hintergrundbereiches. Hierbei können ebenfalls Eigenschaften wie Flächenanteil, Auflösung, Helligkeit, Kontrast, Farbe, Farbverteilung, Farbbalance, Textur, etc. untersucht werden.
Erfüllt eine Personenaufnahme/ein Porträtbild den oben beschriebenen Verfahren wenigstens ein Qualitätskriterium oder eine vorbestimmte Anzahl und/oder Kombination von Qualitätskriterien nicht, so wird entschieden, dass das Bild die vorgegebenen Qualitätsmaßstäbe nicht erfüllt und somit zur Personenerkennung, und ins- besondere zur automatisierten Personenerkennung, nicht geeignet ist.
Die Qualitätskriterien können gegebenenfalls in „weiche" und „harte" Kriterien aufgeteilt werden. „Harte" Kriterien sind solche, die ohne willkürliche Annahmen nicht ohne Weiteres geändert werden können. So ist es bei roten Augen, die häufig bei mit Blitzlicht aufgenommenen Bildern auftreten, ohne Zusatzinformation i.d.R. nicht möglich, die Augenfarbe in Grün, Blau, etc. zu ändern. Liegt aber solche Information vor, so kann eine solche Korrektur durchaus vertretbar sein. „Weiche" Kriterien sind Kriterien, bei denen eine Bildkorrektur auf Grundlage begründbarer Annahmen durchgeführt werden kann, so dass das entsprechend korrigierte Bild die entspre- chenden vorgegebenen Qualitätskriterien einhält. Zu diesen zählen beispielsweise Farbe, ggf. auch Helligkeit und Kontrast. Obwohl eine hohe Bildauflösung prinzipiell erwünscht ist, kann eine zu hohe Auflösung die oben beschriebenen Bildverarbeitungsverfahren derart verlangsamen, dass eine Bildkorrektur von Vorteil sein kann, bei der die Auflösung verringert wird, ohne dass dabei ein entscheidender Informa- tionsverlust auftritt. Wie oben ausgeführt, ist es also unter Umständen möglich, ein ursprünglich negativ geprüftes Bild nach Durchführen von Bildkorrekturmaßnahmen so zu modifizieren, dass das modifizierte Bild den Qualitätskriterien genügt. Daher umfasst das Verfahren in einer bevorzugten Weiterbildung einen Schritt, in dem ermittelt wird, ob ein negativ geprüftes Bild nach Durchführen einer Bildkorrektur den vorgegebenen Qualitätskriterien genügen könnte.
In der Praxis kann dieses Verfahren so durchgeführt werden, dass ermittelt wird, ob für ein negativ geprüftes Bild auch nach Durchführen einer Bildkorrektur keine Aus- „ sieht auf Einhaltung der vorgegebenen Qualjtätskriterien genügen könnte. Ist dies, nicht der Fall, so wird angenommen, dass das Bild nach Durchführen einer Bildkorrektur den vorgegebenen Qualitätskriterien genügen könnte.
Wie bereits mehrfach erwähnt stellt die Erfindung ferner ein Korrekturverfahren für digitalisierte Personenaufnahmen und insbesondere Porträtbilder bereit, insbesondere für solche Bilder, die bei dem erfindungsgemäßen Prüfverfahren wenigstens ein Qualitätskriterium nicht erfüllt haben, welches - wahlweise oder in geeigneter Kombination - die folgenden Schritte umfasst: Korrigieren wenigstens einer Bild- Wiedergabeeigenschaft am gesamten Bild/im Kopf- oder Gesichtsbereich/im Hintergrundbereich, und Korrigieren wenigstens einer geometrischen Eigenschaft eines in der Personenaufnahme bzw. dem Porträtbild dargestellten Kopf- oder Gesichtsbereiches.
Die Erfindung stellt ferner Datenverarbeitungseinrichtungen bereit, um das erfindungsgemäße Prüfverfahren gemäß Anspruch 1 bzw. das in Anspruch 12 beschriebene Korrekturverfahren, oder auch beide Verfahren durchzuführen. Die Datenverarbeitungseinrichtung kann beispielsweise eine CPU sein, die aus einem Speicher digitalisierte Bilddaten ausliest, diese verarbeitet, und die verarbeiteten Bilddaten bzw. die Ergebnisse der Prüf- oder Korrekturverfahren ausgibt.
Die Erfindung stellt femer ein System zur Qualitätsprüfung und Korrektur digitalisierter Personenaufnahmen bereit, welches eine Einrichtung zum Speichern von digitalisierten Bilddaten und wenigstens eine der erfindungsgemäßen Datenverar- beitungseinrichtungen umfasst. Die Einrichtung zum Speichern von digitalisierten Bilddaten kann lokal zusammen mit der (den) Datenverarbeitungseinrichtung(en) vorgesehen sein, aber auch separat davon, z.B. als eine entfernt vorgesehene Datenbank mit Lese- und u.U. auch Schreibmöglichkeit, auf die etwa über das Internet zugegriffen werden kann.
In der Speichereinrichtung können entweder die zu untersuchenden Daten abgelegt werden, oder Referenzbilddaten, oder beiderlei Arten von Bilddaten.
In einer bevorzugten Weiterbildung umfasst das erfindungsgemäße System ferner eine Vorrichtung zum Erzeugen digitalisierter Bilddaten, beispielsweise einen Scanner oder eine Digitalkamera. Die erzeugten Bilddaten können dann in der o- ben beschriebenen Speichereinrichtung gespeichert werden und - gleichzeitig oder wenn erwünscht - hinsichtlich ihrer Eigenschaften (Qualität) untersucht werden.
In einer weiteren bevorzugten Weiterbildung umfasst das System eine Anzeigevorrichtung, um anzuzeigen, ob ein geprüftes Bild oder ein korrigiertes Bild vorgegebenen Qualitätskriterien genügt.
Das Wesen der Erfindung und bevorzugte Methoden zur Durchführung des erfindungsgemäßen Verfahrens wird nachfolgend unter Bezugnahme auf die beigefügte Figur erläutert:
Fig.1 ist ein schematisches Flussdiagramm einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.
Das in Figur 1 gezeigte Flussdiagramm stellt das Ablaufschema einer Qualitätsprüfung bei einer Personenaufnahme, hier: eines Porträtbilds, dar, die gemäß den Prinzipien der vorliegenden Erfindung durchgeführt wird.
In diesem Flussdiagramm symbolisiert das Bezugszeichen 1 die Bilddigitalisie- rung/Bildübertragung, das Bezugszeichen 2 die Prüfung des Bildes auf globale Kriterien (d.h. für das gesamte Bild geltende Kriterien), das Bezugszeichen 3 die Segmentierung (Kopf-/Gesichtsfindung) und die Überprüfung von Kriterien im Kopf- /Gesichtsbereich und gegebenenfalls auch im Hintergrundbereich, das Bezugszeichen 4 die Überprüfung von lokalen Kriterien im Gesichtsbereich, das Bezugszeichen 5 (optionale) Bildkorrekturverfahren, und das Bezugszeichen 6 die Signalisierung des Ergebnisses und/oder den Datenexport.
Es sei darauf hingewiesen, dass die in der Figur angegebene Reihenfolge exemplarisch und nicht in allen Einzelheiten für die Eriϊndung zwingend ist. Beispielweise können einige Korrekturverfahren schon vor dem Block 5 durchgeführt werden.
Die im Block 1 beschriebene Bilddigitalisierung/Bildübertragung umfasst das Erzeugen eines digitalisierten Bildes (falls notwendig) und das Einlesen eines digitalisierten Bildes zu einer Rechnereinheit, die die Schritte der nachfolgenden Blöcke 2-6 durchführt.
Falls das zu untersuchende Bild (Bilddaten) nicht in digitaler Form vorliegt, so kann mittels eines Scanners daraus ein digitalisiertes Bild erzeugt werden. Falls für die Durchführung des Verfahrens ein bestimmtes Bildformat besonders erwünscht ist, so kann vor oder nach dem Einlesen noch eine Formatkonversion durchgeführt werden. Gängige Formate für digitale Bilddaten sind z.B. JPG, JPEG, TIFF, BMP, die alle in der Technik wohlbekannt sind und nicht näher beschrieben werden müssen. Das Übertragen der Bilddaten kann selbstverständlich auch über das Internet erfolgen.
Im Schritt 2 wird das eingelesene Bild hinsichtlich globaler Kriterien untersucht.
Hierzu gehören:
- die Prüfung des Kompressionsfaktors bei elektronisch übermittelten Bildern
- die Prüfung der Bildgröße/Bildauflösung - die Prüfung der Bildschärfe
- die Prüfung [und gegebenenfalls Korrektur der globalen Bildhelligkeit]
- die Prüfung [und gegebenenfalls Korrektur] eines Grauwert- bzw. Beleuchtungsgradienten.
- die Prüfung [und gegebenenfalls Korrektur des Bildkontrastes] - die Prüfung des Bildes auf Glanzlichter - die Prüfung der Farbverteilung [und gegebenenfalls Korrektur der Farbbalance]
- die Überprüfung, ob „Verschmutzungseffekte" oder sonstige Störungen (z.B. Stempelaufdrucke) im Bild vorhanden sind
[- die Gammakorrektur]
Bezugnehmend auf die in eckigen Klammern [...] angegebenen Schritte sei ausdrücklich betont, dass die für den Block 5 angegebene Bildkorrektur - was die globalen Bildwiedergabeeigenschaften anbelangt - unter Umständen mit Vorteilen für das Verfahren - in den Block 2 vorgezogen werden kann.
Diese einzelnen Verfahrensschritte werden .nachfolgend näher beschrieben.
Der Kompressionsfaktors kann beispielsweise bei elektronisch übermittelten JPEG- Bildern aus der Dateibeschreibung ermittelt werden. Der so ermittelte Kompressi- onsfaktor wird mit vorgegebenen Schranken verglichen. Beim Unterschreiten dieser Schwelle wird ein negatives Prüfergebnis erzielt. Für die Gesichtserkennung haben sich beispielsweise bei JPEG-Verfahren Kompressionsfaktoren über 12,5 zu 1 als problematisch erwiesen.
Danach wird das mithilfe eines Scanners digitalisierte Porträtbild oder bereits digital vorliegendend Bild bezüglich seiner Bildauflösung analysiert. Die Bildauflösung in x- und y-Richtung wird mit vorgegebenen Schwellen verglichen. Im Falle der Personenerkennung hat sich für den Kopf-/Gesichtsbereich eine minimale Bildauflösung von 100 Bildpunkten (x-Richtung, Bildbreite) und 125 Bildpunkten (y- Richtung, Bildhöhe) bewährt.
Die Bildschärfe wird bevorzugt anhand der hochfrequenten spektralen Anteile im Bild beurteilt. Zur Trennung von Signal und Rauschen, welches ebenfalls hochfrequente Anteile verursacht, kann zusätzlich ein Schätzer für den Rauschprozess hinzugezogen werden und das Rauschspektrum subtrahiert werden. Die für die Gesichtserkennung relevanten spektralen Anteile können durch Berechnung der entsprechenden Ortsfrequenzen ermittelt werden. Aus Referenzbilddaten können geeignete Schwellwerte für Erwartungswert und Varianz der relevanten spektralen Anteile erfolgen, aus der die Güte der Bildschärfe bezogen auf die Aufgabe „Ge- Sichtserkennung" ermittelt werden kann. Die globale Bildhelligkeit ist durch den Mittelwert der Grauwerte des Bildes gegeben. Ob die Helligkeit eines Porträtbildes innerhalb eines vorgegebenen Toleranzbereiches liegt, kann durch Vergleich des mittleren Grauwertes gegen eine obere und eine untere Schwelle ermittelt werden.
Der Bildkontrast ist das Verhältnis der Helligkeiten von benachbarten Flächenelementen eines Bildes. Vereinfacht kann zur Prüfung eines Bildes auf hinreichenden Kontrast die Varianz des Bildes bzw. von Bildregionen oder das Histogramm des gesamten Bildes bzw. einer/mehrerer Subregionen ermittelt werden. Eine untere Schwelle für einen hinreichenden Kontrast kann durch statistische Analyse auf einem geeigneten Bilddatensatz ermittelt werden.
Glanzlichter, d.h. Reflektionen der Objektoberfläche infolge von übermäßiger oder gerichteter Beleuchtung, führen zu lokal begrenzten, atypischen Überstrahlungen. Überstrahlungen können durch das Erreichen von globalen Sättigungswerten oder durch deutliche lokale Helligkeitssprünge im Bild erkannt werden. Zur Minimierung von Fehlern wird neben der eigentlichen Helligkeitsanalyse vorteilhafterweise eine Flächen- und Formmessung der von der Überstrahlung betroffenen Fläche(n) durchgeführt.
Zur Überprüfung der Farbverteilung und der Farbbalance wird die vorhandene Farbinformation, die meist in RGB-Darstellung vorliegt, zunächst in einen geeigneten Farbraum transformiert (z.B. HSV: „Hue-Saturation-Value", oder HSI: „Hue- Saturation-Intensity). Anschließend wird die Statistik des vorliegenden Bildmaterials bestimmt. Geeigneterweise sollte hierbei nur die Information in der Region des Gesichtes genutzt werden, da Farbe und Beschaffenheit des Hintergrundes in der Regel unbekannt sind. Eine Ausnahme kann jedoch in Fällen vorliegen, in denen auch der Hintergrund spezifiziert ist und über die Gesamtheit des Datenbestandes weitgehend identisch sein soll.
Ist die Statistik bestimmt, kann diese mit Modellparametern verglichen werden. Dies geschieht entweder direkt z.B. über den Vergleich von Histogrammen (z.B. Minimierung der Kreuzentropie) oder über deskriptive Parameter (im einfachsten Fall z.B. über Bestimmung von Mittelwert und Varianz und Vergleich mit den ent- sprechenden Modellwerten; gegebenenfalls kann sich eine Transformation der Verteilungen anschließen, um die Abweichungen zu korrigieren).
Verschmutzungseffekte oder sonstige Störungen können in unterschiedlichster Weise die Bildqualität beeinflussen. Großflächige Verschmutzungen können sich z.B. in einer nicht korrigierbaren Farbbalance zeigen. Kleinere Störungen zeigen sich durch eine Residuenanalyse zwischen Original- und Mediangefiltertem Bild. Alternativ oder ergänzend kommen morphologische Operatoren zum Einsatz.
Die Aussteuerung G eines Films oder einer Kamera auf eine Lichtintensität I und damit der Grauwert ist in der Regel nichtlinear sondern gehorcht einer Potenzfunktion der Form G = ly. Durch eine Änderung des Gammawertes kann die Intensitätsverteilung des Bildes nichtlinear transformiert werden. Werte für können entweder manuell und nach visueller Inspektion oder automatisch eingestellt werden. Ein Beispiel für die Gammakorrektur ist die Korrektur der bekannten Kennlinien unterschiedlicher Bildverarbeitungs- und Displayhardware (z.B. Monitorgamma, Scan- nergamma).
Nun zum Block 2 des in der Figur 1 gezeigten Flussdiagramms.
Ziel der Segmentierung ist es, die einzelnen Objekte einer Szene voneinander und vom Hintergrund zu trennen. Hierbei können allgemeine Verfahren zur Segmentierung von Objekten, aber natürlich besonders vorteilhaft auch spezielle Verfahren zur Segmentierung von Gesichtern zum Einsatz kommen.
Bei den allgemeinen Verfahren haben sich die unterschiedlichsten Ansätze bewährt, wie z.B. Thresholding, Multispektrales Thresholding, aber auch Pixelklassifikation und Optimierungsverfahren, die mittels Relaxation eine Segmentierung zu erreichen suchen.
Thresholding basiert beispielsweise darauf, dass sich die Objekte vom Hintergrund durch ihren Grauwert unterscheiden und findet daher fast ausschließlich in Verfahren mit kontrollierten Randbedingungen, insbesondere kontrollierter Beleuchtung, Verwendung. Jeder Pixel wird gegen die Schwelle verglichen und je nach Ausgang der Vergleichsoperation entweder als Hintergrund oder als Objekt gekennzeichnet. Bei den speziellen Verfahren zur Detektion und Segmentierung von Gesichtern werden oft mehrstufige Ansätze verwendet.
Vor der eigentlichen Detektion kann z.B. eine „De-Rotation" der möglichen Gesichtsregion versucht werden. Hierbei geht man von der Prämisse aus, dass ein (mit Einschränkungen) frontales Gesicht symmetrisch zur Nase ist. Die Bestimmung der Symmetrieachse z.B. durch eine Cepstrumanalyse und anschließende De-Rotation, so dass die Symmetrieachse senkrecht steht, ergibt dann eine Regi- on, in der potentiell ein aufrechtes Gesicht enthalten ist.
Für die Gesichtsdetektion werden ebenfalls unterschiedliche Verfahren vorgeschlagen und verwendet. Näheres zu diesem Thema findet sich in den Veröffentlichungen „Neural Network-Based Face Detection", Rowley et al. , IEEE Trans, on" Pattern Analysis and Machine Intelligence, Vol. 20, Nr. 1, Seiten 23-38, 1998, und „Face Detection in Color Images", Jain et al., IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, Nr. 5, Seiten 696-706, 2002. So können Gesichter z.B. durch Schwellwertbildung in einem geeigneten Farbraum segmentiert werden. Andere Ansätze, z.B. von Rowley, basieren auf der Klassifikation einer pyramidialen Transformation der Bildregion durch neuronale Klassifikatoren, die anhand von Beispieldaten trainiert wurden. Ein bevorzugtes Verfahren zur Segmentierung des Gesichtes verwendet das bereits genannte Graphmatchingverfah- ren bzw. eine Ergänzung des Verfahrens (z.B. HGM).
Die ebenfalls noch zum Block 3 gehörige Prüfung von Merkmalen im Gesichtsbereich/Hintergrund umfasst:
- Verfahren zum Finden der Augenposition
- Verfahren zur Prüfung der Kopf-/Gesichtsposition im Bild (Abstand der Augen zueinander, Abstand zum Bildrand)
- Verfahren zum Ermitteln der Kopfgröße
- Verfahren zur Prüfung und Analyse der Kopfpose (frontoparallele Rotation; Tiefenrotation/Nickbewegungen)
Die einzelnen Verfahren werden nachfolgend näher beschrieben. Finden der Augenposition:
Für die Bewertung der Einhaltung einer vorgegebenen Spezifikation für ein Bild ist in der Regel die Lage der Augen von besonderem Interesse. Augenfindung ist ein in der Bildverarbeitung bereits seit langen bekanntes Problem, zu dem Lösungsansätze unterschiedlichster Komplexität vorgeschlagen werden:
Jain et al. (s.o.) schlagen ein Verfahren vor, bei dem - basierend auf einer initialen Detektion des Gesichtes - die Augen anhand der Verteilung von Chrominanz und Luminanz im. Gesicht detektiert werden. Die ursprünglichen Farbverteilungen werden morphologischen Operationen unterzogen und anschließend mittels Thresholding auf einer Bildpyramide detektiert.
Andere Verfahren basieren auf Mustervergleichsverfahren, entweder implizit mittels neuronaler Klassifikatoren, oder aber explizit durch Modellierung und Vergleich der geometrischen Eigenschaften (z.B. in Form der Suche nach den Kreisen der Umrandung der Pupille, den Bögen der Augenbrauen etc.).
Prüfung der Augenposition im Bild:
Für eine günstige Positionierung des Gesichtes innerhalb des Bildes kann hilfsweise der Abstand der Augen vom Bildrand benutzt werden. Es wird der in Bildpunkten berechnete Abstand des linken Auges zum oberen und unteren Bildrand ermittelt und mit vorgegebenen Schranken verglichen. Analoge Messungen werden für das rechte Auge durchgeführt. Aus empirischen Untersuchungen haben sich Schwellwerte von etwa 40 Pixel für den Abstand der Augen zum jeweiligen Bildrand und etwa 80 Pixel für den Abstand der Augenachse zum unteren zur unteren Bildkante bewährt.
Prüfung des Augenabstandes:
Nach Ermittlung der Augenposition im Bild wird die Distanz zwischen diesen Positionen ermittelt und mit einer gegebenen Schwelle verglichen. Als vorteilhaft für die Personenidentifikation hat sich ein Abstand von mindestens 50 Pixel (Bildpunkten) zwischen den Augenzentren erwiesen.
Prüfung der frontoparallelen Rotation:
Die Prüfung des Portraits auf frontoparallele Rotation erfolgt durch Berechnung des Drehwinkels des Gesichtes bezogen auf eine Normalachse. Bei bekannter Lage der Augenzentren kann durch Ermittlung des projektierten Augenabstandes in x- und y-Richtung und durch entsprechende trigonometrische Beziehungen dieser Drehwinkel berechnet werden. Da eine exakte Ermittlung der Augenzentren auch infolge etwaiger Bildstörungen oftmals problematisch ist, kann alternativ oder ergänzend das folgende robustere Verfahren durchgeführt werden:
1. Erzeugen einer verschiebungsinvarianten Repräsentation des Bildes, welche jedoch noch Rotationsinformation enthält. Diese ist beispielsweise gegeben durch den Betrag der Fourier-Transformierten des Bildes.
2. Erzeugen einer verschiebungsinvarianten Repräsentation des gespiegelten Bildes.
3. Messung der Verschiebung des Drehwinkels in dieser Repräsentation beispielsweise durch Transformation in Polarkoordinaten und Messung der Verschiebung entlang des Winkels beispielsweise durch korrelationsbasierte Verfahren
Für die Prüfung der Bildqualität wird der berechnete Drehwinkel mit vorgegebenen Schwellen verglichen. Gegebenenfalls kann das Bild durch eine entsprechende lineare Bildoperation so gedreht werden, dass das resultierende Bild nicht mehr gedreht ist oder innerhalb der vorgegebenen Schwellen liegt.
Prüfung der Tiefenrotation:
Aus einem Satz von Punktkorrespondenzen (von 8 oder mehr Punktepaaren) zwischen Bild und einem Modell kann mit Hilfe des in der Literatur als 8-Point- Algorithmus bekannten Verfahrens die relative Drehung im Raum bestimmt werden (Fundamental Matrix/Essential Matrix.) Als Literaturangaben zu den letztgenannten Verfahren seien genannt: „Complete Dense Estimation using Level Set Methods", O. Faugeras und R. Keriven, Europe- an Conference on Computer Vision, 1998; sowie „The Fundamental Matrix: Theory, Algorithms, and Stability Analysis", Q.T. Luσng und O. Faugeras, 1995.
Die Kompensation der Tiefenrotation kann beispielsweise durch Adaption der Parameter eines 3D-Kopfmodells erfolgen, auf das die Färb- bzw. Grauwerte des vorliegenden Gesichts projiziert werden. Das so berechnete 3D-Modell des Bild wird anschließend um die vorher ermittelten Rotationsparameter derotiert, vorzugsweise in eine Normansicht.
Für die Prüfung der Bildqualität werden auch im Falle der Tiefenrotation die berechneten Drehwinkel mit vorgegebenen Schwellen verglichen. Durch das be- schriebene Verfahren kann gegebenenfalls das Bild so transformiert werden, dass das resultierende Bild nicht mehr gedreht ist oder wieder innerhalb der vorgegebenen Schwellen liegt.
Neben der optimalen Aufnahme des Kopf-/Gesichtsbereichs ist aber auch der Ver- lauf des Hintergrundes für eine optimale Bilderkennung von Bedeutung. Für Passfotos werden deshalb typischerweise Vorgaben hinsichtlich eines einheitlichen, farblich homogenen Hintergrundes gemacht. Nach erfolgter Objektlokalisierung und -Segmentierung (d.h. des Kopfes oder des Gesichtes) kann der Hintergrund („Restbild") mit den bereits beschriebenen Verfahren auf Helligkeit (mittlere Helligkeit, Varianz), Kontrast, Farbe und Textur analysiert werden. Bei Überschreiten von typischen Grenzwerten können ungeeignete Bilder, d.h. solche, bei dem der Hintergrund für den Betrachter als unruhig oder dominant angesehen wird, zurückgewiesen oder einem Korrekturverfahren zugeführt werden, bei welchem der Hintergrund durch elektronische Bildmanipulation gegen einen geeigneteren Hintergrund ersetzt wird. Für den pixelweisen Austausch bilden sich vorteilhafterweise Hintergründe an, die eine konstante Helligkeit und Farbe aufweisen.
Falls der im Bild sichtbare Objekthintergrund nicht den Prüfbedingungen genügt, kann dieser durch Bildmanipulationstechniken durch einen anderen Hintergrund ersetzt werden, der den Prüfbedingungen entspricht. Dies wird durch pixelweises Überschreiben der während der Segmentierung als Bildhintergrund markierten Bereichs realisiert, wobei im einfachsten Fall jedem Bildpunkt eine konstante Farbe und Helligkeit zugeordnet wird. Die Selektion einer günstigen Hintergrundfarbe und Helligkeit kann vorteilhafterweise auch durch Berücksichtigung des betrachteten Objektes selbst geschehen, so dass der Kontrastunterschied zwischen Objekt und Hintergrund optimiert wird.
Falls der im Bild sichtbare Objekthintergrund nicht den Prüfbedingungen genügt, kann dieser durch Bildmanipulationstechniken durch einen anderen Hintergrund ersetzt werden, der den Prüfbedingungen entspricht. Dies wird durch pixelweises Überschreiben der während der Segmentierung als Bildhintergrund markierten Bereichs realisiert, wobei im einfachsten Fall jedem Bildpunkt eine konstante Farbe und Helligkeit zugeordnet wird. Die Selektion einer günstigen Hintergrundfarbe und Helligkeit kann vorteilhafterweise auch durch Berücksichtigung des betrachteten Objektes selbst geschehen, so dass der Kontrastunterschied zwischen Objekt und Hintergrund optimiert wird.
Nun zu Block 4, d.h. dem Überprüfen lokaler Kriterien im Kopf-/Gesichtsbereich.
Hierbei sei zuallererst die Prüfung des Bildbereichs auf Vollständigkeit genannt, z.B. Prüfung, ob beide Augen, Nase, Mundpartie sichtbar sind, ob Gesichtsbegrenzung aus dem Bild „herausläuft" (Segmentierung vollständig innerhalb des Bildes).
Zur Überprüfung, ob alle wesentlichen Teile des Gesichts sichtbar sind, bietet sich z.B. ein Verfahren auf Basis eines Graphmatchingverfahrens (z.B. HGM) an. Nach erfolgtem Matching (d.h. Anpassung) und Platzieren der Knoten, welche auf der Gesamtbewertung des Graphen beruhen und damit von lokalen Störungen nur wenig beeinflusst werden, können die Ähnlichkeiten der lokalen Knoten oder Knotengruppen bewertet werden. Dies geschieht entweder dadurch, dass geprüft wird, ob die Ähnlichkeit zu Modellknoten (z.B. in Form von Beispielen) groß genug ist, oder aber explizit durch Klassifikation zwischen dem betrachteten Positiv- und dem zugehörigen Negativfall (z.B. Ähnlichkeit zu „normalem" geöffneten Auge, geschlossenem Auge, Augenklappe). Zusätzlich kann durch Vergleich der Maxima und Minima der Koordinaten des positionierten Graphen mit den Bilddimensionen geprüft werden, ob (a) das Gesicht im Bild vollständig vorhanden ist, und (b) Größe und Position des Gesichtes mit den Vorgaben im Rahmen der ebenfalls vorgegebenen tolerierbaren Abweichungen übereinstimmen.
In speziellen Fällen kann es nützlich sein, das Tragen von Brillen separat zu detek- tieren. So ist z.B. denkbar, dass die Vorgaben nur Bildaufnahmen ohne Brille gestatten.
Ein mögliches Verfahren hierfür ist die Verwendung des von L. Wiskott erstmals beschriebenen Verfahrens des Bunchgraphmatchings mit annotierten Graphen: „Face recognition and gender determination", L. Wiskott et.al., International Workshop on Automatic Face- and Gesture-Recognition, Seiten 92-97, Zürich, 26.- 28.06.1995. Hierbei wird nach erfolgter Platzierung des Graphen geprüft, welcher Knoten des Graphstacks dem Knoten des aktuellen Graphen am ähnlichsten ist. Wurden der Graphstack zuvor annotiert, z.B. in der Form, dass das zugehörige Bild einen Brillenträger zeigt, so wird diese Annotation auch dem aktuellen Knoten zugewiesen. Durch abschließende Auswertung der Annotationen aller aktueller Kno- ten (z.B. Mehrheitsentscheid) kann auf das Tragen bzw. nicht Tragen einer Brille im aktuellen Bild geschlossen werden.
Von besonderer Bedeutung ist die Überprüfung - und gegebenenfalls die Manipulation -der Augenpartie.
Ein Ansatz zur Unterscheidung zwischen geschlossenen und offenen Augen wurde bereits oben skizziert. Nach erfolgter Graphpositionierung kann insbesondere auf einfache Weise aus der Auswertung der Farbinformation an der Position der Augenknoten auf das im Zusammenhang mit der Verwendung von Blitzlichtern auftre- tende „rote Augen" Problem geschlossen werden. Ebenso ist eine Korrektur durch Veränderung der Farbinformation in der entsprechenden Region möglich.
Für die Überprüfung der Mundregion gilt sinngemäß das gleiche wie für den Augenbereich. Zusätzlich ergibt sich jedoch noch die Möglichkeit, die Abweichung der Lage der aktuellen Knotenpositionen von den Knoten entsprechender Knoten von , .
Referenzmodellen zu bewerten, z.B. in Form der Summe des Absolutbetrages aller Positionsabweichungen gegenüber den Referenzknoten im Falle eines offenen bzw. eines geschlossenen Mundes. Die Entscheidung kann dann im einfachsten Fall durch Vergleich mit einer Schwelle getroffen werden.
Die Prüfung auf eine Kopfbedeckung lässt sich gemäß dem folgenden pragmatischen Ansatz durchführen: Nach erfolgreicher Graphpositionierung können die Knoten, die die obere Kopfumrandung beschreiben, ausgewertet werden. Hierbei bietet sich die Überprüfung der Farbe und der Form an. Erstere ist durch Analyse des Originalbildes, letztere durch Ähnlichkeit mit Modellbildern möglich. Ergeben sich signifikante Abweichungen in einem der beiden Fälle, könnte eine Kopfbedeckung vorliegen. Derartige Bilder sollten zur Sicherheit der visuellen Inspektion durch einen menschlichen Operator zugeführt werden (- Block 6) .
Nun wird auf Block 5 (Bildkorrektur) Bezug genommen, sofern die entsprechenden Verfahren nicht schon in einen der vorangegangenen Blöcke 2 bis 4 vorgezogen und bereits oben beschrieben wurden.
Hierbei sind insbesondere Verfahren zur Kontrast-, Helligkeits- und Farbkorrektur im Kopf-/Gesichtsbereich zu nennen. In Ergänzung zu den bereits genannten Korrekturverfahren („Manipulationsverfahren") werden hierbei Korrekturen nicht global, sondern auf den Kopf-/Gesichtsbereich beschränkt durchgeführt. Die genannten histogrammbasierten Adaptionsverfahren oder Farbraumtransformationen sind entsprechend auf diese durch Segmentierung erhaltenen Bereiche umzuset- zen.
Abschließend wird auf Block 6 von Figur 1 Bezug genommen.
Nach Durchführen der oben genannte Verfahren muss an einen Nutzer signalisiert werden, ob das dem Prüfverfahren zugrundeliegende Bild (oder gegebenenfalls das korrigierte Bild) den vorgegebenen Qualitätskriterien entspricht. Ist dies der Fall, so kann das Bild (oder gegebenenfalls das korrigierte Bild) z.B. in eine Datenbank aufgenommen werden, auf ein Identitätsdokument übertragen werden, etc. Das anhand der Figur beschriebene Verfahren dient lediglich zur Veranschaulichung der Prinzipien, auf denen die vorliegende Erfindung basiert. Der Schutzumfang der Erfindung wird durch die nachfolgenden Patentansprüche definiert.

Claims

Patentansprüche
1. Prüfverfahren für digitalisierte Personenaufnahmen, insbesondere zum Ü- berprüfen der Eignung einer Personenaufnahme für eine Personenidentifizierung, mit den Schritten: 5
Segmentieren der Personenaufnahme in einen Hintergrundbereich und einen Kopf- oder Gesichtsbereich,
Analysieren des Kopf- oder Gesichtsbereichs, um wenigstens einen Kenn- 0 wert zu ermitteln,
Vergleichen des wenigstens einen Kennwerts mit wenigstens einem vorbestimmten Schwellwert.
5 2. Verfahren nach Anspruch 1 , bei welchem das Segmentieren das Durchführen eines Objekterkennungsverfahrens umfasst.
3. Verfahren nach einem der vorangegangenen Ansprüche, bei welchem das Analysieren des Kopf- oder Gesichtsbereichs das Ermitteln wenigstens ei- o ner geometrischen Eigenschaft des Kopf- oder Gesichtsbereichs umfasst.
4. Verfahren nach Anspruch 3, bei welchem die wenigstens eine zu ermittelnde geometrische Eigenschaft des Kopf- oder Gesichtsbereichs eine Größe und/oder Form und/oder Lage und/oder Orientierung des Kopf- oder 5 Gesichtsbereichs in der Personenaufnahme umfasst.
5. Verfahren nach einem der vorangegangenen Ansprüche, bei welchem das Analysieren des Kopf- oder Gesichtsbereichs das Ermitteln wenigstens einer Wiedergabeeigenschaft des Kopf- oder Gesichtsbereichs umfasst. 0
Verfahren nach Anspruch 5, bei welchem die wenigstens eine zu ermittelnde Wiedergabeeigenschaft einen Kontrast und/oder eine Farbverteilung und/oder eine Bildschärfe und/oder eine Helligkeit und/oder einen Verschmutzungsgrad und/oder ein Maß für eine Überstrahlung im Kopf- oder Gesichtsbereich umfasst.
7. Verfahren nach einem der vorangegangenen Ansprüche, bei welchem das Analysieren des Kopf- oder Gesichtsbereichs das Lokalisieren von Subbe- reichen im Kopf- oder Gesichtsbereich umfasst.
8. Verfahren nach Anspruch 7, mit dem weiteren Schritt: 0 Analysieren des wenigstens einen lokalisierten Subbereichs.
9. Verfahren nach einem der vorangegangenen Ansprüche, mit dem Schritt:
5 Analysieren der Personenaufnahme hinsichtlich globaler Kriterien, die für die gesamte Personenaufnahme gelten.
10. Verfahren nach einem der vorangegangenen Ansprüche, mit dem Schritt:
0 Analysieren des Hintergrundbereichs der Personenaufnahme.
11. Verfahren nach einem vorangegangenen Ansprüche, mit dem Schritt:
Ermitteln ob eine negativ geprüfte Personenaufnahme nach Durchführen ei- 5 ner Bildkorrektur den vorgegebenen Qualitätskriterien genügen könnte.
12. Korrekturverfahren für digitalisierte Personenaufnahmen, insbesondere für eine Personenaufnahme, die bei einem Prüfverfahren nach einem der vorangegangenen Ansprüche wenigstens ein Qualitätskriterium nicht erfüllt, o umfassend:
Korrigieren wenigstens einer Bildwiedergabeeigenschaft der gesamten Aufnahme und/oder dem Kopf- oder Gesichtsbereich und/oder am Hintergrundbereich, und/oder 5 Korrigieren wenigstens einer geometrischen Eigenschaft eines in der Personenaufnahme dargestellten Kopf- oder Gesichtsbereichs.
13. Eine Datenverarbeitungseinrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11.
14. Eine Datenverarbeitungseinrichtung zur Durchführung des Verfahrens nach Anspruch 12.
15. Eine Datenverarbeitungseinrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 11 und zur Durchführung des Verfahrens nach Anspruch 12.
16. Ein System zur Qualitätsprüfung und Korrektur digitalisierter Personenauf- nahmen, umfassend:
eine Einrichtung zum Speichern von digitalisierten Bilddaten,
eine Datenverarbeitungseinrichtung gemäß Anspruch 12 und eine Daten- Verarbeitungseinrichtung gemäß Anspruch 13, oder
eine Datenverarbeitungseinrichtung gemäß Anspruch 14.
17. Ein System nach Anspruch 16, umfassend:
eine Vorrichtung zum Erzeugen digitalisierter Bilddaten.
18. Ein System nach Anspruch 16 oder 17, umfassend:
eine Anzeigevorrichtung, um anzuzeigen, ob eine geprüfte Aufnahme oder eine korrigierte Aufnahme vorgegebenen Qualitätskriterien genügt.
PCT/EP2003/011429 2002-10-24 2003-10-15 Prüfung von bildaufnahmen von personen WO2004038646A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
AU2003274009A AU2003274009A1 (en) 2002-10-24 2003-10-15 Method for controlling photographs of people
US10/532,548 US7715596B2 (en) 2002-10-24 2003-10-15 Method for controlling photographs of people

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02023745A EP1413972B1 (de) 2002-10-24 2002-10-24 Prüfung von Bildaufnahmen von Personen
EP02023745.9 2002-10-24

Publications (1)

Publication Number Publication Date
WO2004038646A1 true WO2004038646A1 (de) 2004-05-06

Family

ID=32050006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2003/011429 WO2004038646A1 (de) 2002-10-24 2003-10-15 Prüfung von bildaufnahmen von personen

Country Status (6)

Country Link
US (1) US7715596B2 (de)
EP (1) EP1413972B1 (de)
AT (1) ATE412223T1 (de)
AU (1) AU2003274009A1 (de)
DE (1) DE50212936D1 (de)
WO (1) WO2004038646A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020202946A1 (de) 2020-03-08 2021-09-09 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen des Zugangs zu einem Gerät sowie Kraftfahrzeug

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8023155B2 (en) * 2005-03-31 2011-09-20 Hubin Jiang Imaging system with quality audit capability
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
US20070116376A1 (en) * 2005-11-18 2007-05-24 Kolterman James C Image based correction for unwanted light signals in a specific region of interest
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
DE102006005617B4 (de) 2006-02-06 2023-10-12 Bundesdruckerei Gmbh Verfahren zur Bewertung der Qualität eines Bildes, Verfahren zur Herstellung eines Dokuments, Computerprogrammprodukt und elektronisches Gerät
EP1821196B1 (de) * 2006-02-15 2008-08-13 Jaycrypto Limited Verfahren und Vorrichtung zum Erzeugen von Initialwerten für einen Zufallszahlengenerator
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置，個人識別方法
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8009903B2 (en) * 2006-06-29 2011-08-30 Panasonic Corporation Image processor, image processing method, storage medium, and integrated circuit that can adjust a degree of depth feeling of a displayed high-quality image
WO2008020038A1 (en) * 2006-08-16 2008-02-21 Guardia A/S A method of identifying a person on the basis of a deformable 3d model
JP5024067B2 (ja) * 2007-01-19 2012-09-12 コニカミノルタホールディングス株式会社 顔認証システム、方法及びプログラム
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
FR2915301A1 (fr) * 2007-04-20 2008-10-24 Groupe Ecoles Telecomm Procede de comparaison d'images d'une biometrie entre au moi ns une image de reference et au moins une image de test dont on cherche a evaluer un degre de correlation avec l'image d e reference
JP5116513B2 (ja) * 2008-03-10 2013-01-09 キヤノン株式会社 画像表示装置及びその制御方法
EP2113865A1 (de) * 2008-04-30 2009-11-04 Siemens AG Österreich Verfahren zum Prüfen von Porträtfotos
JP2010026804A (ja) * 2008-07-18 2010-02-04 Olympus Corp 画像処理装置、画像処理プログラム、および画像処理方法
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
JP5544764B2 (ja) * 2009-06-09 2014-07-09 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
EP2995986B1 (de) 2011-08-24 2017-04-12 Rockwell Collins, Inc. Datenanzeige
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
EP2842003B1 (de) 2012-04-25 2019-02-27 Rockwell Collins, Inc. Holographisches weitwinkeldisplay
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US20140270409A1 (en) * 2013-03-15 2014-09-18 Eyelock, Inc. Efficient prevention of fraud
US9495526B2 (en) 2013-03-15 2016-11-15 Eyelock Llc Efficient prevention of fraud
WO2014186213A2 (en) * 2013-05-14 2014-11-20 Google Inc. Providing visual effects for images
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
DE102013105457A1 (de) * 2013-05-28 2014-12-04 Bundesdruckerei Gmbh Verfahren zum Bewerten einer Bildqualität eines Bildes
US9286508B2 (en) * 2013-07-25 2016-03-15 Morphotrust Usa, Llc System and method for creating a virtual backdrop
US9286685B2 (en) * 2013-07-25 2016-03-15 Morphotrust Usa, Llc System and method for creating a virtual backdrop
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US20150089446A1 (en) * 2013-09-24 2015-03-26 Google Inc. Providing control points in images
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US9369625B2 (en) * 2014-08-12 2016-06-14 Kodak Alaris Inc. System for producing compliant facial images for selected identification documents
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
EP3245551B1 (de) 2015-01-12 2019-09-18 DigiLens Inc. Lichtfeldanzeigen mit wellenleiter
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
JP6867947B2 (ja) 2015-01-20 2021-05-12 ディジレンズ インコーポレイテッド ホログラフィック導波路ライダー
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
JP6277984B2 (ja) * 2015-03-23 2018-02-14 株式会社Ｊｖｃケンウッド 画像補正装置、画像補正方法及び画像補正プログラム
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
US10425406B2 (en) * 2015-04-01 2019-09-24 Branch Banking And Trust Company Card-personalization system
US9703805B2 (en) * 2015-05-29 2017-07-11 Kabushiki Kaisha Toshiba Individual verification apparatus, individual verification method and computer-readable recording medium
CN108474945B (zh) 2015-10-05 2021-10-01 迪吉伦斯公司 波导显示器
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
CN109154717B (zh) 2016-04-11 2022-05-13 迪吉伦斯公司 用于结构光投射的全息波导设备
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
WO2019079350A2 (en) 2017-10-16 2019-04-25 Digilens, Inc. SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY
US11080750B2 (en) * 2017-10-24 2021-08-03 International Business Machines Corporation Product presentation
US10671887B2 (en) 2017-12-05 2020-06-02 Axis Ab Best image crop selection
CA3087070A1 (en) * 2017-12-30 2019-07-04 Yecheng WU Backdrop color detection
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
CN111566571B (zh) 2018-01-08 2022-05-13 迪吉伦斯公司 波导单元格中全息光栅高吞吐量记录的系统和方法
CN112088332A (zh) 2018-03-16 2020-12-15 迪吉伦斯公司 包含双折射控制的全息波导及用于它们的制造的方法
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
EP3924759A4 (de) 2019-02-15 2022-12-28 Digilens Inc. Verfahren und vorrichtungen zur herstellung einer holografischen wellenleiteranzeige mit integrierten gittern
JP2022525165A (ja) 2019-03-12 2022-05-11 ディジレンズ インコーポレイテッド ホログラフィック導波管バックライトおよび関連する製造方法
EP3980825A4 (de) 2019-06-07 2023-05-03 Digilens Inc. Wellenleiter mit durchlässigen und reflektierenden gittern sowie zugehörige herstellungsverfahren
JP2022543571A (ja) 2019-07-29 2022-10-13 ディジレンズ インコーポレイテッド 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置
CN110598555B (zh) * 2019-08-12 2023-05-12 创新先进技术有限公司 一种图像的处理方法、装置及设备
EP4022370A4 (de) 2019-08-29 2023-08-30 Digilens Inc. Evakuierungs-bragg-gitter und herstellungsverfahren
US11074340B2 (en) 2019-11-06 2021-07-27 Capital One Services, Llc Systems and methods for distorting CAPTCHA images with generative adversarial networks
RU2761776C1 (ru) * 2020-10-14 2021-12-13 Федеральное государственное бюджетное образовательное учреждение высшего образования "Кубанский государственный технологический университет" (ФГБОУ ВО "КубГТУ") Способ опознавания личности по рисунку вен ладони
DE102021114402A1 (de) 2021-06-03 2022-12-08 Bundesdruckerei Gmbh Verfahren und Vorrichtung zum Bestimmen eines digitalen biometrischen Passbilds für ein Sicherheitsdokument sowie Verfahren zum Personalisieren eines Sicherheitsdokuments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264985A (ja) * 1991-02-20 1992-09-21 Hamamatsu Photonics Kk 画像認識システム
US5963656A (en) * 1996-09-30 1999-10-05 International Business Machines Corporation System and method for determining the quality of fingerprint images
EP0984386A2 (de) * 1998-09-05 2000-03-08 Sharp Kabushiki Kaisha Verfahren und Vorrichtung zum Wahrnehmen eines menschlichen Gesichtes und ein Beobachternachführdisplay
US20010046330A1 (en) * 1998-12-29 2001-11-29 Stephen L. Shaffer Photocollage generation and modification
WO2002035453A1 (en) * 2000-10-24 2002-05-02 Alpha Engineering Co., Ltd. Fingerprint identifying method and security system using the same

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975969A (en) * 1987-10-22 1990-12-04 Peter Tal Method and apparatus for uniquely identifying individuals by particular physical characteristics and security system utilizing the same
US5148477A (en) * 1990-08-24 1992-09-15 Board Of Regents Of The University Of Oklahoma Method and apparatus for detecting and quantifying motion of a body part
US5163094A (en) * 1991-03-20 1992-11-10 Francine J. Prokoski Method for identifying individuals from analysis of elemental shapes derived from biosensor data
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
CN1045129C (zh) * 1993-03-29 1999-09-15 松下电器产业株式会社 个人识别装置
US5629752A (en) * 1994-10-28 1997-05-13 Fuji Photo Film Co., Ltd. Method of determining an exposure amount using optical recognition of facial features
US5625704A (en) * 1994-11-10 1997-04-29 Ricoh Corporation Speaker recognition using spatiotemporal cues
US5805745A (en) * 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
US6151403A (en) * 1997-08-29 2000-11-21 Eastman Kodak Company Method for automatic detection of human eyes in digital images
US6252976B1 (en) * 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6389181B2 (en) * 1998-11-25 2002-05-14 Eastman Kodak Company Photocollage generation and modification using image recognition
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
US6658148B1 (en) * 2000-06-06 2003-12-02 Matsushita Electric Works, Ltd. Image processing method and apparatus
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US7082222B2 (en) * 2001-01-10 2006-07-25 Koninklije Philips Electronics N.V. System and method for optimizing control parameter settings in a chain of video processing algorithms
US6920236B2 (en) * 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7068841B2 (en) * 2001-06-29 2006-06-27 Hewlett-Packard Development Company, L.P. Automatic digital image enhancement
US7327891B2 (en) * 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
US7362354B2 (en) * 2002-02-12 2008-04-22 Hewlett-Packard Development Company, L.P. Method and system for assessing the photo quality of a captured image in a digital still camera
JP2003250047A (ja) * 2002-02-22 2003-09-05 Konica Corp 画像処理方法、記憶媒体、画像処理装置、及び画像記録装置
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7315630B2 (en) * 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
JP4396387B2 (ja) * 2004-05-13 2010-01-13 オムロン株式会社 画像補正装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264985A (ja) * 1991-02-20 1992-09-21 Hamamatsu Photonics Kk 画像認識システム
US5963656A (en) * 1996-09-30 1999-10-05 International Business Machines Corporation System and method for determining the quality of fingerprint images
EP0984386A2 (de) * 1998-09-05 2000-03-08 Sharp Kabushiki Kaisha Verfahren und Vorrichtung zum Wahrnehmen eines menschlichen Gesichtes und ein Beobachternachführdisplay
US20010046330A1 (en) * 1998-12-29 2001-11-29 Stephen L. Shaffer Photocollage generation and modification
WO2002035453A1 (en) * 2000-10-24 2002-05-02 Alpha Engineering Co., Ltd. Fingerprint identifying method and security system using the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Frequently asked questions", TELE CONNECT VIDEOSYSTEMEN, Hilversum, Nederland, XP002226854 *
PATENT ABSTRACTS OF JAPAN vol. 017, no. 051 (P - 1479) 2 February 1993 (1993-02-02) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020202946A1 (de) 2020-03-08 2021-09-09 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen des Zugangs zu einem Gerät sowie Kraftfahrzeug

Also Published As

Publication number Publication date
ATE412223T1 (de) 2008-11-15
AU2003274009A1 (en) 2004-05-13
DE50212936D1 (de) 2008-12-04
US7715596B2 (en) 2010-05-11
EP1413972A1 (de) 2004-04-28
US20060153429A1 (en) 2006-07-13
EP1413972B1 (de) 2008-10-22

Similar Documents

Publication Publication Date Title
EP1413972B1 (de) Prüfung von Bildaufnahmen von Personen
DE60213032T2 (de) Gerät zur Gesichtsdetektion, Gerät zur Detektion der Gesichtspose, Gerät zur Extraktion von Teilbildern und Verfahren für diese Geräte
DE602004005984T2 (de) Gesichtsidentifikationsverifikation unter verwendung von vorder- und seitenansichten
DE69833999T2 (de) Verfahren zur automatischen erkennung menschlicher augen in digitalbildern
DE69906403T2 (de) Verfahren und Gerät zum Detektieren eines gesichtsähnlichen Gebiets
DE60116949T2 (de) Gesichtserfassungsverfahren
DE60215743T2 (de) Verfahren und Rechnerprogrammprodukt zur Lagebestimmung von Gesichtsmerkmalen
EP1288859A1 (de) Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
EP1293933A1 (de) Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
DE112015001656T5 (de) Bildverarbeitungsverfahren und -vorrichtung
EP1288858A1 (de) Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotographischen Bilddaten
EP1288860A1 (de) Verfahren zur Verarbeitung digitaler fotografischer Bilddaten, welches ein Verfahren zum automatischen Erkennen von rote-Augen-Defekten umfasst
DE112008000020B4 (de) Vorrichtung und Programm zur Korrektur der Irisfarbe
DE112018008131B4 (de) Zustandsbestimmungseinrichtung, zustandsbestimmungsverfahren und zustandsbestimmungsprogramm
DE102016122649B3 (de) Biometrisches Verfahren
DE102011054658A1 (de) Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
DE112020005864T5 (de) Verfahren und Einrichtung zur Verifizierung der Authentizität eines Produkts
DE102017220752A1 (de) Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm
CN111192241A (zh) 一种人脸图像的质量评估方法、装置及计算机存储介质
DE10250781B4 (de) Verfahren und Vorrichtung zur automatischen Segmentierung eines Vordergrundobjektes in einem Bild
DE19754909C2 (de) Verfahren und Vorrichtung zur Erfassung und Bearbeitung von Abbildungen biologischen Gewebes
DE102019114666A1 (de) Rote-augen-korrektur-techniken
EP2113865A1 (de) Verfahren zum Prüfen von Porträtfotos
EP3944139A1 (de) Vorrichtung und verfahren zur erzeugung einer brillenglaslosen oder brillenlosen abbildung einer periokularen region einer bebrillten person
DE102021133868A1 (de) Mikroskopiesystem und Verfahren zum Modifizieren von Mikroskopbildern im Merkmalsraum eines generativen Netzes

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006153429

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10532548

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10532548

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP