DE102006032484B4 - Auf Gesichtsmerkmale örtlich begrenztes und umfassendes Echtzeit-Video-Morphing - Google Patents

Auf Gesichtsmerkmale örtlich begrenztes und umfassendes Echtzeit-Video-Morphing Download PDF

Info

Publication number
DE102006032484B4
DE102006032484B4 DE102006032484A DE102006032484A DE102006032484B4 DE 102006032484 B4 DE102006032484 B4 DE 102006032484B4 DE 102006032484 A DE102006032484 A DE 102006032484A DE 102006032484 A DE102006032484 A DE 102006032484A DE 102006032484 B4 DE102006032484 B4 DE 102006032484B4
Authority
DE
Germany
Prior art keywords
facial features
video feed
morphing
facial
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102006032484A
Other languages
English (en)
Other versions
DE102006032484A1 (de
Inventor
Paul Fremont Mcalpine
Todd Santa Clara Hernandez
John San Francisco Bateman
Remy Belmont Zimmermann
Philippe Mountain View Depallens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Logitech Europe SA
Original Assignee
Logitech Europe SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Logitech Europe SA filed Critical Logitech Europe SA
Publication of DE102006032484A1 publication Critical patent/DE102006032484A1/de
Application granted granted Critical
Publication of DE102006032484B4 publication Critical patent/DE102006032484B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00297—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with a television signal recorder, e.g. for recording facsimile images on a VCR
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3267—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of motion picture signals, e.g. video clip

Abstract

Verfahren zum Modifizieren eines Videobildes, umfassend:
Empfangen einer Live-Video-Einspeisung einschließlich eines Bildes vom Gesicht einer Person;
Erkennen einer Vielzahl von Gesichtsmerkmalen aus der Live-Video-Einspeisung;
Auswählen mindestens eines ersten der Gesichtsmerkmale;
Auswählen einer Modifizierung des ersten Gesichtsmerkmals;
Anwenden der Modifizierung auf die Live-Video-Einspeisung zum Erstellen einer modifizierten Video-Einspeisung; und
Bereitstellen der modifizierten Video-Einspeisung an ein Anwendungsprogramm.

Description

  • Die vorliegende Erfindung betrifft das Modifizieren von Video-Bildern.
  • Schon seit einiger Zeit gibt es Software, mit der Bilder, wie z. B. das Gesicht einer Person, modifiziert werden können. US-Patent Nr. 5,825,941 ist ein Beispiel für Software, die einem Patienten ermöglicht, die Ergebnisse einer vorgeschlagenen plastischen Chirurgie anzusehen, noch bevor diese durchgeführt wird. Andere Software ermöglicht es Anwendern, statische Bilder zu modifizieren, die gespeichert und ausgedruckt werden können, wie z. B. durch das Variieren der Gesichtsmerkmale oder das Morphing (= Umwandlung) zweier Gesichter. Die veröffentlichte US-Patentanmeldung Nr. 20050026685 zeigt ein System zum Morphing von Videospiel-Charakteren. Die veröffentlichte US-Patentanmeldung 20040201666 zeigt, wie mit der Benutzerstimme oder mit anderen Eingaben ein virtueller Charakter modifiziert werden kann.
  • Eine Reihe von Patentanmeldungen bezieht sich auf das Modifizieren von Avatar-Bildern für den Gebrauch beim Instant Messaging (Sofortnachrichtenübermittlung). Diese Anwendungen erlauben es einem Anwender, das Avatar-Bild, welches den Anwender repräsentiert, individuell zu gestalten. Beispielsweise zeigt das veröffentlichte US-Patentanmeldung Nr. 20030043153 die Ermittlung von Gesichtsausdrücken aus einer Video-Einspeisung durch eine Web-Kamera und das Abbilden dieser Gesichtsmerkmale in einem Avatar-Bild. Ein Vektor zur Animation wird auf einen Vektor zur Zielmischung abgebildet. Jede Morphing-Zielaufnahme kann einen Gesichtsausdruck abbilden, wie zum Beispiels einen neutralen Gesichtsausdruck, einen überraschten Gesichtsausdruck, einen bösen Gesichtsausdruck oder einen lächelnden Gesichtsausdruck.
  • Ferner sei auf die US 6,504,546 B1 verwiesen, die ein Verfahren offenbart, bei dem Objekte modelliert werden, um dreidimensionale photorealistische Animationen zu erzeugen. Ein dreidimensionales Objekt wird durch einen Satz separater dreidimensionaler Ebenen definiert, wobei jede Ebene einen Bereich des Objekts umfasst, der während der Animation visuelle Änderungen durchläuft. Es wird ein Video einer sprechenden Person aufgenommen, wobei die Aufnahmebedingungen kontrolliert werden. Einzelbilder und kurze Videosequenzen werden dann verwendet um Bitmap-Daten zu erzeugen, aus denen eine Datenbank für jede dreidimensionale Ebene aufgebaut wird. Diese Datenbank wird dann zur Animation einer sprechenden Person auf der Grundlage eines in Sprache umgewandelten Textes verwendet.
  • Schließlich wird auf die Veröffentlichung von V. Glanz und T. Vetter: „A Morphable model For The Synthesis Of 3D Faces”, MPI für biologische Kybernetik, Tübingen, ACM 1999, Seiten 187 bis 194; eHB verwiesen, die ein Verfahren zum Modellieren von 3D-Gesichtern offenbart. Dabei wird zuerst eine Datenbank aus Laserscans von je 100 männlichen und weiblichen Gesichtern aufgebaut. Jedes Gesicht wird durch einen Form- und einen Texturvektor beschrieben. Ein neues Gesicht kann dann als Linearkombination der Beispielgesichter aus der Datenbank dargestellt werden. Auf diese Weise kann aus einem 2D-Bild eines Gesichts ein 3D-Modell erstellt werden. Bei diesem Modell können dann der Gesichtsausdruck oder Gesichtsmerkmale verändert werden.
  • Die vorliegende Erfindung liefert ein Verfahren zur Modifizierung bzw. Morphing eines Videobildes gemäß Anspruch 1 sowie eine Vorrichtung gemäß Anspruch 6. Es wird die Einspeisung eines Live-Videos empfangen, welche ein Bild vom Gesicht einer Person beinhaltet. Eine Reihe von Gesichtsmerkmalen wird von der Live-Video-Einspeisung erkannt. Eines oder mehrere dieser Gesichtsmerkmale werden ausgewählt und modifiziert. Die Modifizierung wird an die Live-Video-Einspeisung appliziert, um ein gemorphtes Bild zu produzieren. Durch das Morphing können z. B. lustige Effekte wie übergroße oder zu kleine Augen, Lippen usw. produziert werden.
  • In einem Ausführungsbeispiel kann der Anwender die Modifizierung bestimmter Gesichtsmerkmale direkt auswählen. Der Anwender kann beispielsweise die Lippen dicker machen, den Mund verbreitern etc. Der Anwender kann dann an Augen, Nase, Ohren, etc. ähnliche Änderungen gesondert durchführen. Außerdem kann der Anwender auswählen, ob er einen Hut oder andere Accessoires, die das Gesicht überlagern, verwenden möchte.
  • In einem anderen Ausführungsbeispiel kann der Anwender zwischen mehreren Gesichtsausdrücken wählen. Der ausgewählte Ausdruck verändert dann automatisch die einzelnen Gesichtsmerkmale, die nötig sind, um diesen Ausdruck zu erhalten. Durch die Auswahl eines lächelnden Gesichtsausdruckes beispielsweise werden die Lippen und der Mund angehoben hin zu einem Lächeln. Zusätzlich können Lachlinien oder Grübchen und ein Funkeln der Augen erzeugt werden. Abwechselnd kann ein anderer „Ausdruck”, wie z. B. ein jüngeres Alter, durch Glätten der Haut erzeugt werden, um Falten zu beseitigen, und es können die Gesichtsmerkmale modifiziert werden, um ein definierteres Kinn, Augen etc. zu erzeugen.
  • In einem Ausführungsbeispiel sorgt ein Kamera-Treiber für die Einspeisung eines Videos von einer Web-Kamera, zum Beispiel eine USB-Video-Einspeisung, um eine Gesichtsmerkmal-Erkennungssoftware zur Verfügung zu stellen. Diese Software gibt dann den Ort der identifizierten Gesichtsmerkmale an ein separates Morphing-Softwaremodul weiter. Das Morphing-Softwaremodul reagiert dann auf Eingaben des Anwenders, mit denen die Modifizierungen der verschiedenen Gesichtsmerkmale ausgewählt und angewendet werden können. Diese Modifizierungen werden dann auf die Video-Einspeisung angewendet, um eine Videoausgabe zu erzeugen, die in Echtzeit nur leicht verzögert ist.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist ein Diagramm, das das System und die Benutzerebenen der Software in einem Ausführungsbeispiel des Systems darstellt, das die Morphing-Merkmale der vorliegenden Erfindung aufweist.
  • 2 ist ein Blockdiagramm eines Ausführungsbeispiels eines Systems, das die Morphing-Merkmale der vorliegenden Erfindung aufweist.
  • 3A und 3B sind Diagramme eines schwebenden Dialogfensters und eines herunterklappenden Auswahlmenüs in einem Ausführungsbeispiel der Erfindung.
  • 4 ist ein Diagramm eines Ausführungsbeispiels eines Bildschirms einer Benutzerschnittstelle zur Auswahl des Morphing-Typs.
  • 5A und 5B sind Diagramme eines Ausführungsbeispiels eines Bildschirms einer Benutzerschnittstelle für direktes manuelles Morphing von Gesichtsmerkmalen.
  • 6 ist ein Diagramm eines Bildschirms einer Benutzerschnittstelle zur Auswahl eines Gesichtsausdruckes.
  • 7 ist ein Screen-Shot eines Ausführungsbeispiels einer Instant Messenger-Anwendung, das das Morphing-Merkmal der Erfindung aufweist.
  • Ausführliche Beschreibung der Erfindung
  • System
  • 1 stellt den Ablauf eines Ausführungsbeispiels der Erfindung dar. Ein eingehendes Video 100 wird an eine Video-Warteschlange 102 weiter geleitet und von der Morphing-Maschine 104 der vorliegenden Erfindung empfangen. Die Video-Warteschlange kann direkt für Anwendungen 106 bereitgestellt werden, wie durch Pfeil 108 dargestellt, oder aber an die Morphing-Maschine. Die Morphing-Maschine stellt dann eine modifizierte Video-Warteschlange für die Anwendungen zur Verfügung, wie durch Pfeil 110 dargestellt.
  • Die modifizierte Video-Warteschlange kann von jeder Anwendung genutzt werden, die Live-Video-Eingaben benutzt. Dies beinhaltet Instant Messaging-Anwendungen (MSN Messenger, Yahoo Messenger, AOL Messenger, etc.) genauso wie auch Videoerfassungs-Anwendungen (wenn zum Beispiel ein Künstler das Video auf einer Diskette aufnimmt). Dies bedeutet, dass das Morphing stattfinden kann, bevor das Video auf der Diskette aufgenommen und gespeichert wird oder bevor es an den Gesprächspartner am anderen Ende des Kommunikationskanals gesendet wird. Dies funktioniert, weil die Morphing-Maschine in den Systemebenen-Anteil der Software integriert ist, welcher sie transparent macht für Anwendungen, die den Video-Datenstrom nutzen und die über der Systemebene an der Benutzerebene liegen. Auf diese Art und Weise ist die vorliegende Erfindung generisch – d. h. sie kann mit jeder Video-Anwendung koexistieren und entsprechend der Einstellungen im Quick assistant-Modus (Schnellassistent-Modus) ihre Eingänge modifizieren.
  • 2 ist ein Blockdiagramm eines Ausführungsbeispiels eines Systems, das das Morphing der vorliegenden Erfindung beinhaltet. Eine Web-Kamera 10 ist durch einen USB-Bus 12 mit einem Computer 14 verbunden. Der USB-Bus 12 dient dabei als Video-Einspeisung von der Kamera zum Computer. Alternativ könnte eine kabellose USB-Einspeisung vorgesehen sein oder es könnte irgendein anderer Bus oder irgendeine andere Schnittstelle verwendet werden, um das Video bereitzustellen. Außerdem könnte eine andere Kamera als eine Web-Kamera, oder irgendeine andere Video-Quelle genutzt werden. Außerdem könnte die Video-Quelle vom Computer selbst oder aus einem Netzwerk von einer entfernten Quelle kommen.
  • Der Computer 14 enthält einen Kameratreiber 16, der das Live-Video empfängt und es weiter leitet an das Gesichtsmerkmal-Erkennungssoftware-Modul 18. Das Gesichtsmerkmal-Erkennungssoftware-Modul 18 kann jede Software sein, die Informationen bezüglich Gesichtsmerkmalen aus einem Videobild ziehen kann, wie z. B. die Software, die Neven Vision produziert, ein Technologieunternehmen für Maschinen-Sehen mit Niederlassungen in Santa Monica, Kalifornien.
  • Die gefundenen Informationen bezüglich von Gesichtsmerkmalen werden an ein Morphing-Modul 20 geleitet. Das Morphing-Modul antwortet auf Anwendereingaben, um Gesichtsmerkmale zu selektieren, den Morphing-Typ zu ermitteln und das Morphing anzuwenden. Die Anwendereingabe kann durch ein Peripheriegerät erfolgen wie z. B. eine Tastatur 22 oder eine Maus 24 mit angeschlossenem Tastaturtreiber 26 und Maustreiber 28. Nach der Durchführung des Morphingprozesses wird die Video-Einspeisung an die Anwendungssoftware 30 bereitgestellt. Die Anwendungssoftware könnte eine Instant Messenger-Anwendung, eine Video-Konferenz-Anwendung oder eine andere Anwendung sein, die Video verwendet. In einem Ausführungsbeispiel beträgt die Verzögerung, die durch den Gebrauch der Gesichtsmerkmal-Erkennungs- und Morphing-Software verursacht wird, weniger als ein Einzel-Videobild.
  • Morphing Schnellassistent (Morphing Quick Assistant)
  • 3A zeigt ein schwebendes Dialogfenster 32. Es handelt sich um ein Schnellassistent-Programm (Quick assistant program), das sich öffnet und auf dem Bildschirm erscheint, wenn Live-Video angefordert wird. Diese automatische Aktivierung wird durch die Kamera- oder Video-Treiber-Software ausgeführt, die erkennt, wenn eine Anfrage für eine Video-Einspeisung einer Anwendung eingeht, wie z. B. von einer Instant Messenger-Anwendung. Der Schnellassistent erscheint nahe des Fensters des Programms, das das Live-Video angefordert hatte, so dass es scheint, als ob es Teil dieser Anwendung sei. Ein Beispiel für Instant Messaging wird in 7 gezeigt. Der Vorteil liegt darin, dass die Morphing-Anwendung mit Anwendungen Dritter arbeitet, welche eine Video-Einspeisung nutzen und nicht modifiziert werden müssen, um die Morphing-Maschine aufzunehmen. Der Anwender wird normalerweise annehmen, dass der Schnellassistent Teil dieser Anwendung Dritter ist. Dies steigert die Benutzerfreundlichkeit und Akzeptanz der neuen Technik.
  • 3B zeigt eine heruntergeklappte Menüauswahl 34 des Schnellassistent-Dialogfensters 32. Es werden Beispiele für Optionen gezeigt, in anderen Ausführungsbeispielen können andere bereitgestellt werden. Der Anwender kann die Funktion für die Gesichtsverfolgung ein- oder ausschalten und er kann die Verfolgung von mehreren Gesichtern einschalten. Die Gesichtsverfolgung kann für das Gesichtsmerkmal-Erkennungs-Modul notwendig sein oder auch nicht. Der Anwender kann die Video-Effekt-Auswahl anklicken und ein anderes Dialogfenster erscheint, so wie die Beispiel in 4 oder 5A es zeigen. Das Menü kann Optionen beinhalten, die nicht Teil der Morphing-Merkmale sind, aber welche der Anwender vielleicht gleichzeitig zu modifizieren wünscht, wie z. B. die Kameraposition. Die Optionen können es dem Anwender ermöglichen, einen Video-Morphing-Effekt zu aktivieren, einen Effekt auszuwählen oder ins Internet zu gehen, um mehr Effekte herunterzuladen.
  • Optionen
  • 4 ist ein Diagramm eines Ausführungsbeispiels eines Schnittstellenbildschirms 40 für das Morphing-Modul, mit dem die Auswahl verschiedener Optionen durch einen Benutzer möglich ist. Dieses Fenster ist in einem Ausführungsbeispiel das erste Fenster, das der Anwender sieht, wenn er auf die Video-Effekt-Auswahl in 3B klickt. Eine erste Schaltfläche 42 steht für die Auswahl manueller Einstellungen. Dies ermöglicht dem Anwender, unabhängig und direkt die Gesichtsmerkmale der Augen, Nase, Mund, etc. einzustellen. Mit der Schaltfläche 44 können Ausdrücke ausgewählt werden. Dies sind Ausdrücke wie z. B. Lächeln, Stirnrunzeln, Ärger, Alter etc. Die Auswahl eines dieser Ausdrücke, wie z. B. Ärger, löst automatisch die entsprechende Anpassung mehrerer Gesichtsmerkmale aus, ohne dass der Anwender jede einzelne selbst einstellen muss. Wenn beispielsweise „Ärger” ausgewählt wird, dann kann die Software automatisch die Mundposition, die Augenbrauen, Stirnrunzeln, Wangenfältchen etc. einstellen. Die Schaltfläche 46 für Accessoires ermöglicht dem Anwender, dem Videobild verschiedene Accessoires zuzufügen. So kann zum Beispiel ein Hut auf dem Kopf platziert werden, ein Schal um den Hals, Ohrringe oder anderer Schmuck, Piercings, Tattoos etc.
  • Das Morphing-Modul erlaubt eine virtuelle Veränderung einer Person. Die Größe der Augen kann verändert werden, und ihre Position kann leicht modifiziert werden. Die Farbe der Iris kann verändert werden. Die Lippen können breiter oder schmäler gemacht oder auf andere Weise betont werden. Eine Vielzahl anderer Modifikationen ist möglich.
  • Manuelle Auswahl
  • 5A ist ein Diagramm eines Ausführungsbeispiels einer Benutzerschnittstelle 50 für manuelle Einstellungen der Gesichtsmerkmale. Fenster 50 beinhaltet eine Reihe von Schaltflächen oder ein herunterklappendes Menü 56, welches die Auswahl besonderer Merkmale ermöglicht, wie z. B. Lippen betonen, Augen betonen, Augenbrauen formen, Irisfarbe ändern oder Falten entfernen etc. Wenn eine bestimmte Schaltfläche ausgewählt wird, erscheint ein spezielles Modifikationsfenster, worin das jeweilige Gesichtsmerkmal ausgewählt werden kann.
  • Wenn die Betonung der Lippen ausgewählt wird, dann erscheint das Fenster 58 der 5B. In dem dargestellten Beispiel werden separate Anpassungsregler angezeigt für Fülle, Breite, Farbsättigung und Bogenform. Andere Gesichtsmerkmale lassen verschiedene Kombinationen von Einstellungsoptionen mit verschiedenen Eingabemethoden erscheinen. Wenn nach dem Auswählen der gewünschten Effekte die Vorschau-Schaltfläche angeklickt wird, erscheint ein Vorschaufenster, wie in 7 unten gezeigt, zur Vorschau in Echtzeit. In einem Ausführungsbeispiel werden die Einstellungen von 5B zur gleichen Zeit wie das Vorschaufenster oder im Vorschaufenster angezeigt, um dem Anwender die Effekte beim Bewegen der verschiedenen Regler zu zeigen. Man wird es schätzen, dass noch andere Eingaben als durch Regler möglich sind.
  • Auswahl der Ausdrücke
  • 6 ist ein Diagramm eines Ausführungsbeispiels eines Benutzerschnittstellen-Bildschirms 60 zur Auswahl einzelner Gesichtsausdrücke. Eine herunter klappende Menüauswahl 62 wird bereitgestellt. Der Anwender kann eine gewünschte Auswahl treffen. Auf solch einer Auswahl erscheint dann ein Fenster ähnlich wie das in 5B mit passenden Einstellungs-Schaltflächen. Für die Auswahl „Alter” steht dann beispielsweise ein Regler-Icon zur Verfügung, mit dem der Anwender linear einen Zeiger bewegen kann für jüngeres oder älteres Alter. Die Software fügt dann die nötigen Einstellungen automatisch den verschiedenen Gesichtsmerkmalen zu.
  • Vorschaubildschirm
  • 7 zeigt ein Ausführungsbeispiel eines Vorschaufensters. Ein Instant Messenger-Fenster 70 und ein Videofenster 72 sind dargestellt. Daneben ist das schwebende Dialogfenster oder ein Schnellassistent 32. Eine herunterklappende Menüauswahl 74 neben dem Schnellassistenten hebt den dargestellten Effekt hervor. In dem dargestellten Beispiel wird ein berühmter Effekt gezeigt, nämlich „Spock”, bei dem die Ohren des Anwenders spitz gemacht werden und die Augenbrauen bogenförmig. Wie logisch die Ergebnisse sind, liegt an dem Anwender. Alternative Ausführungsbeispiele sind möglich, so z. B. zusätzliche Dialogfenster, die andere Einstellungen oder Einstellungskombinationen erlauben. Der Spock-Effekt könnte z. B. angewendet werden und der Anwender könnte davon getrennt auch die Lippen oder Augen verändern oder einen Hut hinzufügen.
  • Variationen
  • In einem Ausführungsbeispiel bewegt sich die durchgeführte Umgestaltung des Gesichtes (z. B. vollere Lippen) mit der Person mit. In einigen früheren Anwendungen wurde die Umgestaltung an der Frontansicht des Gesichts durchgeführt. In einem Ausführungsbeispiel der vorliegenden Erfindung werden die 3D-Position des Kopfes und die Gesichtsmerkmale lokalisiert und die Umgestaltung wird von einer Frontposition auf die aktuelle Position des Anwenders abgestimmt. Dadurch wird die Umgestaltung (z. B. volle Lippen) aufrecht erhalten, sogar wenn das Gesicht nicht von vorne dargestellt wird und wenn die Person den Kopf dreht, so dass die Lippen oder andere Merkmale immer noch natürlich aussehen, nur „voller”. Dies wird erreicht, indem ein 3D-Bild für jedes Merkmal gespeichert und modifiziert wird oder indem ein Algorithmus für 3D-Einstellungen während der Übertragung verwendet wird.
  • In einem Ausführungsbeispiel ist die vorliegende Erfindung in der Lage, die Modifikationen auf Live-Video während der Übertragung zuzuführen mit einer Verzögerung von weniger als einem einzelnen Videobild. Dies ist möglich, da nur bestimmte Gesichtsmerkmale umgewandelt oder modifiziert werden, nicht das gesamte Gesicht. In einem Ausführungsbeispiel werden weniger als 20% oder weniger als 10% des Videos modifiziert. Dies beschränkt die Menge des nötigen Bearbeitungsvorganges und erhöht die Geschwindigkeit, mit der das Morphing ausgeführt werden kann.
  • In einem anderen Ausführungsbeispiel wählt der Anwender, dass der Morphing-Prozess angewandt wird, noch bevor das Video an die Software des Anwendungsprogramms geleitet wird. In einem anderen Ausführungsbeispiel kann der Anwender die Einstellungen auch z. B. während der Übertragung durchführen bzw. das Morphing oder das Verändern des Videobildes inmitten einer Instant Messaging-Konversation durchführen.
  • In einem Ausführungsbeispiel wird die Erfindung in die Video-Warteschlange integriert, so dass sie für jedes Anwendungsprogramm transparent ist. Das Anwendungsprogramm muss nicht modifiziert werden, um die vorliegende Erfindung, welche auf der Treiberebene der Video-Einspeisung angewendet wird, aufzunehmen.
  • In einem anderen Ausführungsbeispiel werden beliebte Morphing-Kombinationen als Makro oder als einzelne Gesichtsausdrücke gespeichert. Diese werden auf einer Webseite, die für Anwender zugänglich ist, zur Verfügung gestellt. Die Anwender können auch ihre eigenen Kombinationen entwerfen und sie auf die Webseite hochladen, um sie so mit anderen Anwendern zu teilen. Morphing-Einstellungen von Gesichtszügen ähnlich denen berühmter Personen können als Makro auf der Webseite zum Herunterladen gespeichert werden.
  • In einem Ausführungsbeispiel, beispielsweise einem Konferenztelefonat mit vielen teilnehmenden Personen, kann die Morphing-Funktion unabhängig von verschiedenen Gesichtsmerkmalen angewendet werden. Dadurch könnte man einer Person die Augen vergrößern, eine andere könnte ein dauerhaftes Lächeln erhalten, eine andere könnte verärgert und eine weitere Person jünger aussehen.
  • Zusätzlich kann ein komplettes Bild umgewandelt werden, so z. B. Effekte, die denen in einem Spiegelkabinett ähnlich sind. Wenn die Effekte einfach gehalten werden, können sie in Echtzeit ohne unangemessene Verzögerung appliziert werden. Eine Verzögerung wird auch durch die Fähigkeit, die Gesichtsmerkmal-Erkennungssoftware zu umgehen, reduziert, da diese nicht benötigt wird, wenn das gesamte Bild umgewandelt wird. In einem Ausführungsbeispiel verursacht das Morphing eine Verzögerung von weniger als 20 Millisekunden.
  • Wie für Fachleute selbstverständlich ist, kann die vorliegende Erfindung in anderen speziellen Formen verkörpert werden, ohne von deren wesentlichen Eigenschaften abzuweichen. Das Morphing könnte z. B. für Gesichtsmerkmale von Haustieren, also z. B. bei einem Hund, angewendet werden oder auf irgendwelche anderen Bilder. Die Morphing-Maschine könnte immer ausgelegt sein, wenn eine Video-Einspeisung durch ein Anwendungsprogramm gewünscht wird, oder nur für bestimmte Typen von Anwendungsprogrammen, zu erscheinen. Folglich soll auf beigefügte Ansprüche Bezug genommen werden, die den Umfang der beanspruchten Erfindung darlegen.

Claims (11)

  1. Verfahren zum Modifizieren eines Videobildes, umfassend: Empfangen einer Live-Video-Einspeisung einschließlich eines Bildes vom Gesicht einer Person; Erkennen einer Vielzahl von Gesichtsmerkmalen aus der Live-Video-Einspeisung; Auswählen mindestens eines ersten der Gesichtsmerkmale; Auswählen einer Modifizierung des ersten Gesichtsmerkmals; Anwenden der Modifizierung auf die Live-Video-Einspeisung zum Erstellen einer modifizierten Video-Einspeisung; und Bereitstellen der modifizierten Video-Einspeisung an ein Anwendungsprogramm.
  2. Verfahren nach Anspruch 1, wobei das Auswählen von mindestens einem ersten der Gesichtsmerkmale umfasst: Auswählen eines Gesichtsausdrucks; und Modifizieren einer Vielzahl der Gesichtsmerkmale, um den Gesichtsausdruck zu erreichen.
  3. Verfahren nach Anspruch 1 oder 2, wobei es sich bei dem Anwendungsprogramm um ein Instant-Messaging-Programm handelt.
  4. Verfahren nach einem der Ansprüche 1 bis 3, weiterhin umfassend: Anzeigen einer graphischen Benutzerschnittstelle, die die Verfügbarkeit der Auswahlschritte beim Erkennen der Live-Video-Einspeisung anzeigt.
  5. Das Verfahren nach einem der Ansprüche 1 bis 4, weiterhin umfassend: Anzeigen einer graphischen Benutzerschnittstelle, die die Verfügbarkeit der Auswahlschritte beim Erkennen des Anwendungsprogramms anzeigt.
  6. Vorrichtung zur Modifizierung eines Videobildes, umfassend: eine Live-Videoeingangs-Einspeisung einschließlich eines Bildes vom Gesicht einer Person; ein Merkmalerkennungssoftwaremodul, das so konfiguriert ist, dass es eine Vielzahl von Gesichtsmerkmalen der Live-Video-Einspeisung erkennen kann; ein Morphing-Softwaremodul, das so konfiguriert ist, dass es eine Anzeige von erkannten Gesichtsmerkmalen von der Merkmalerkennungssoftware erhält und die Auswahl von mindestens einem ersten von den Gesichtsmerkmalen ermöglicht, die Auswahl einer Modifikation für das erste Gesichtsmerkmal und die Anwendung der Modifikation auf die Live-Video-Einspeisung, um eine modifizierte Video-Einspeisung zu erzeugen; und eine modifizierte Video-Einspeisungs-Ausgabe, die ein Anwendungsprogramm ansteuert.
  7. Vorrichtung nach Anspruch 6, wobei das Morphing-Softwaremodul weiterhin konfiguriert ist, um Folgendes zu ermöglichen: eine Auswahl eines Gesichtsausdruckes; und eine Modifizierung einer Vielzahl von Gesichtsmerkmalen, um den Gesichtsausdruck zu erhalten.
  8. Vorrichtung nach Anspruch 6 oder 7, wobei das Morphing-Softwaremodul weniger als 20 Prozent der Live-Videoeingangs-Einspeisung modifiziert.
  9. Vorrichtung nach einem der Ansprüche 6 bis 8, die weiterhin einen Schnellassistenten zum Zugriff auf die Morphing-Videosoftware beinhaltet.
  10. Vorrichtung nach Anspruch 9, wobei der Schnellassistent so konfiguriert ist, dass er nahe des Anwendungsprogramms, das die Live-Video-Einspeisung nutzt, schwebt.
  11. Vorrichtung zum Modifizieren eines Videobildes, umfassend: eine Live-Videoeingangs-Einspeisung, die ein Bild vom Gesicht einer Person beinhaltet, eine Merkmalerkennungssoftware, die so konfiguriert ist, dass sie eine Vielzahl von Gesichtsmerkmalen aus der Video-Einspeisung erkennen kann; ein Morphing-Softwaremodul, das so konfiguriert ist, dass es eine Anzeige von erkannten Gesichtsmerkmalen von der Merkmalerkennungssoftware erhält und die Auswahl von mindestens einem ersten von den Gesichtsmerkmalen ermöglicht, und die Auswahl einer Modifikation für das erste Gesichtsmerkmal und die Anwendung der Modifikation auf die Video-Einspeisung, um eine modifizierte Video-Einspeisung zu erzeugen; das Morphing-Softwaremodul, das weiter konfiguriert ist, um die Auswahl eines Ausdruckes zu ermöglichen und um eine Vielzahl der Gesichtsmerkmale zu modifizieren, um den Ausdruck zu erreichen; wobei das Morphing-Softwaremodul weniger als 20 Prozent der Videoeingangs-Einspeisung modifiziert; einen Schnellassistenten zum Zugriff auf die Morphing-Videosoftware, wobei der Schnellassistent so konfiguriert ist, dass er nahe des Anwendungsprogramms, das die Video-Einspeisung nutzt, schwebt. und eine modifizierte Video-Einspeisungs-Ausgabe, die ein Anwendungsprogramm ansteuert.
DE102006032484A 2005-07-14 2006-07-13 Auf Gesichtsmerkmale örtlich begrenztes und umfassendes Echtzeit-Video-Morphing Active DE102006032484B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/183,179 2005-07-14
US11/183,179 US7209577B2 (en) 2005-07-14 2005-07-14 Facial feature-localized and global real-time video morphing

Publications (2)

Publication Number Publication Date
DE102006032484A1 DE102006032484A1 (de) 2007-02-15
DE102006032484B4 true DE102006032484B4 (de) 2009-09-24

Family

ID=37657374

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006032484A Active DE102006032484B4 (de) 2005-07-14 2006-07-13 Auf Gesichtsmerkmale örtlich begrenztes und umfassendes Echtzeit-Video-Morphing

Country Status (3)

Country Link
US (2) US7209577B2 (de)
CN (1) CN1901665A (de)
DE (1) DE102006032484B4 (de)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070165022A1 (en) * 1998-07-15 2007-07-19 Shmuel Peleg Method and system for the automatic computerized audio visual dubbing of movies
US9064344B2 (en) * 2009-03-01 2015-06-23 Facecake Technologies, Inc. Image transformation systems and methods
JP2006081156A (ja) * 2004-08-13 2006-03-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
EP2057445A1 (de) * 2004-10-13 2009-05-13 Siemens Aktiengesellschaft Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system
US8606950B2 (en) * 2005-06-08 2013-12-10 Logitech Europe S.A. System and method for transparently processing multimedia data
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing
US20070035665A1 (en) * 2005-08-12 2007-02-15 Broadcom Corporation Method and system for communicating lighting effects with additional layering in a video stream
EP1984898A4 (de) * 2006-02-09 2010-05-05 Nms Comm Corp Übergangsloses morphing zwischen persönlichen virtuellen figuren für videotelefonie
WO2007140609A1 (en) * 2006-06-06 2007-12-13 Moreideas Inc. Method and system for image and video analysis, enhancement and display for communication
GB2447976B (en) * 2007-03-30 2011-04-27 Sony Uk Ltd Apparatus and method of image capture
WO2008151420A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Automatic feature mapping in inheritance based avatar generation
FR2917931A1 (fr) * 2007-06-22 2008-12-26 France Telecom Procede et systeme de mise en relation entre des personnes dans un systeme de telecommunications.
JP5052263B2 (ja) * 2007-09-04 2012-10-17 オリンパスイメージング株式会社 画像処理装置および画像処理方法
US8184925B1 (en) 2007-10-22 2012-05-22 Berridge & Associates System for converting a photograph into a portrait-style image
US20090124866A1 (en) * 2007-11-09 2009-05-14 The Quantum Group, Inc. Intelligent personal health profile
EP2263190A2 (de) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action-bilderfassung
JP5084696B2 (ja) * 2008-10-27 2012-11-28 三洋電機株式会社 画像処理装置、画像処理方法及び電子機器
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US20100142755A1 (en) * 2008-11-26 2010-06-10 Perfect Shape Cosmetics, Inc. Method, System, and Computer Program Product for Providing Cosmetic Application Instructions Using Arc Lines
US20100153847A1 (en) * 2008-12-17 2010-06-17 Sony Computer Entertainment America Inc. User deformation of movie character images
CN101452582B (zh) * 2008-12-18 2013-09-18 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
US8207971B1 (en) 2008-12-31 2012-06-26 Lucasfilm Entertainment Company Ltd. Controlling animated character expressions
US8395651B2 (en) * 2009-10-09 2013-03-12 Cisco Technology, Inc. System and method for providing a token in a video environment
US8698747B1 (en) 2009-10-12 2014-04-15 Mattel, Inc. Hand-activated controller
US8614714B1 (en) * 2009-12-21 2013-12-24 Lucasfilm Entertainment Company Ltd. Combining shapes for animation
US8839118B2 (en) * 2010-06-30 2014-09-16 Verizon Patent And Licensing Inc. Users as actors in content
US9082222B2 (en) * 2011-01-18 2015-07-14 Disney Enterprises, Inc. Physical face cloning
CN102393951B (zh) * 2011-06-30 2014-10-29 Tcl集团股份有限公司 一种人脸模型的变形方法
US20130271451A1 (en) * 2011-08-09 2013-10-17 Xiaofeng Tong Parameterized 3d face generation
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9052804B1 (en) 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US9262869B2 (en) 2012-07-12 2016-02-16 UL See Inc. Method of 3D model morphing driven by facial tracking and electronic device using the method the same
US20140080593A1 (en) * 2012-09-19 2014-03-20 Wms Gaming, Inc. Gaming System and Method With Juxtaposed Mirror and Video Display
US9854260B2 (en) 2013-03-06 2017-12-26 Disney Enterprises, Inc. Key frame aligned transcoding using key frame list file
US9253484B2 (en) 2013-03-06 2016-02-02 Disney Enterprises, Inc. Key frame aligned transcoding using statistics file
US9251405B2 (en) 2013-06-20 2016-02-02 Elwha Llc Systems and methods for enhancement of facial expressions
CN110263642B (zh) * 2013-10-28 2022-04-19 谷歌有限责任公司 用于替换图像的部分的图像缓存
US10114532B2 (en) * 2013-12-06 2018-10-30 Google Llc Editing options for image regions
GB201419441D0 (en) 2014-10-31 2014-12-17 Microsoft Corp Modifying video call data
US10491796B2 (en) 2014-11-18 2019-11-26 The Invention Science Fund Ii, Llc Devices, methods and systems for visual imaging arrays
US20190028721A1 (en) * 2014-11-18 2019-01-24 Elwha Llc Imaging device system with edge processing
JP6519205B2 (ja) * 2015-01-30 2019-05-29 キヤノンマーケティングジャパン株式会社 プログラム、情報処理装置及び処理方法
WO2017000031A1 (en) 2015-06-30 2017-01-05 Resmed Limited Mask sizing tool using a mobile application
CN105069744A (zh) * 2015-08-06 2015-11-18 魅族科技（中国）有限公司 一种个性化的图像编辑方法及图像编辑设备
CN108141526A (zh) * 2015-10-30 2018-06-08 2Mee 有限公司 通信系统和方法
CN107172450A (zh) * 2016-03-07 2017-09-15 百度在线网络技术（北京）有限公司 视频数据的传输方法、装置及系统
US10460512B2 (en) 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
US20190228580A1 (en) * 2018-01-24 2019-07-25 Facebook, Inc. Dynamic Creation of Augmented Reality Effects
US11012389B2 (en) 2018-05-07 2021-05-18 Apple Inc. Modifying images with supplemental content for messaging
US10681310B2 (en) 2018-05-07 2020-06-09 Apple Inc. Modifying video streams with supplemental content for video conferencing
US11381778B2 (en) * 2020-05-12 2022-07-05 True Meeting Inc. Hybrid texture map to be used during 3D video conferencing
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
SE2250945A1 (en) * 2022-08-02 2024-02-03 Live Arena Tech Ab System and method for producing a video stream

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2297844A (en) 1941-01-17 1942-10-06 Diorama Corp Optical device
US4023064A (en) 1972-08-08 1977-05-10 U.S. Philips Corporation Channel plate with color selection electrodes and color phosphors
US4809247A (en) 1972-10-24 1989-02-28 Discovision Associates Video disc head tracking apparatus
US4107741A (en) 1973-02-16 1978-08-15 Lemelson Jerome H Data generating and recording system for scanning a display tube screen
US4032785A (en) 1974-03-28 1977-06-28 United States Steel Corporation Tire inspection machine presenting an x-ray image of the entire width of the tire
JPS5161213A (de) 1974-11-26 1976-05-27 Sony Corp
US3941925A (en) 1975-03-10 1976-03-02 Sarkes Tarzian, Inc. Digital soft edge video transition system
GB1566715A (en) 1976-03-19 1980-05-08 Rca Corp Chrominance signal transcoding apparatus
US4021847A (en) 1976-07-15 1977-05-03 The United States Of America As Represented By The Secretary Of The Army Compensation circuit for pyroelectric vidicon system
US4411489A (en) 1976-08-23 1983-10-25 Mcgrew Steve P System for synthesizing strip-multiplexed holograms
US4206965A (en) 1976-08-23 1980-06-10 Mcgrew Stephen P System for synthesizing strip-multiplexed holograms
US4267561A (en) 1977-11-02 1981-05-12 Karpinsky John R Color video display for audio signals
JPS5465048A (en) 1977-11-02 1979-05-25 Minolta Camera Co Ltd Reflection type optical system of television projector
US4160263A (en) 1978-05-15 1979-07-03 George R. Cogar Dual or multiple objective video microscope for superimposing spaced images
US4255764A (en) 1979-08-20 1981-03-10 Eastman Kodak Company Film scanner employing optical splice technique for frame-rate conversion
FR2465284A1 (fr) 1979-09-11 1981-03-20 Rabeisen Andre Systeme de communication televisuelle permettant une creation graphique
US4337482A (en) 1979-10-17 1982-06-29 Coutta John M Surveillance system
US4306252A (en) 1980-07-21 1981-12-15 Eastman Kodak Company Optical scanning method and apparatus
US4315282A (en) 1980-09-11 1982-02-09 Electronic Devices Incorporated Write and edit circuitry for electronic marking of displayed TV signal images
US4340905A (en) 1980-09-12 1982-07-20 Balding George H Photographic printer and color film analyzer apparatus
US4383279A (en) 1980-12-01 1983-05-10 North American Philips Corporation Reproduction of special purpose information on a video disc
US4398211A (en) 1981-01-07 1983-08-09 Young Ian T Solid state optical microscope
US4491868A (en) 1981-05-06 1985-01-01 Inspection Technology Inc. Video image compensator for inspection apparatus
US4445140A (en) 1981-12-29 1984-04-24 Honeywell Inc. Electronic image stabilization system
JPS58182718A (ja) 1982-04-20 1983-10-25 Datsuku Eng Kk 位置合わせ装置
JPS5945184A (ja) 1982-09-09 1984-03-13 Sony Corp 熱昇華型感熱転写記録インクリボン
US4470816A (en) 1983-03-14 1984-09-11 The United States Of America As Represented By The Secretary Of The Navy Thermal sight trainer
US4567515A (en) 1983-04-20 1986-01-28 Measuronics Corporation Multiple image generation and analysis system
US4602280A (en) 1983-12-05 1986-07-22 Maloomian Laurence G Weight and/or measurement reduction preview system
NL8401416A (nl) 1984-05-03 1985-12-02 Thomassen & Drijver Inrichting voor het opsporen van houders met een afwijkende eigenschap.
JPS615686A (ja) 1984-06-20 1986-01-11 Sanyo Electric Co Ltd ビデオａｇｃ回路
US4673995A (en) 1984-07-06 1987-06-16 Kennedy Company Cartridge tape drive with friction roller to open cartridge door
US4629298A (en) 1984-08-03 1986-12-16 Apogee, Inc. Flux projector for use with composite photography
US4606068A (en) 1984-08-13 1986-08-12 Recognition Equipment Incorporated Video compressor for video format unit
US4660101A (en) 1984-08-24 1987-04-21 Eastman Kodak Company Apparatus and method for editing electronically-displayed pictures
US4600281A (en) 1985-03-29 1986-07-15 Bloomstein Richard W Altering facial displays in cinematic works
US4731666A (en) 1985-05-13 1988-03-15 Csesznegi's Art World Unlimited, Inc. Kaleidoscope recording apparatus
JPS6290087A (ja) 1985-10-15 1987-04-24 Minolta Camera Co Ltd 一眼レフレツクスタイプの電子スチ−ルカメラ
US4717951A (en) 1985-10-31 1988-01-05 Rca Corporation Adaptive digital filter
US4731743A (en) 1985-11-12 1988-03-15 Combputer Images, Inc. Method and apparatus for displaying hairstyles
US4823285A (en) 1985-11-12 1989-04-18 Blancato Vito L Method for displaying hairstyles
US4795261A (en) 1985-12-24 1989-01-03 Hitachi, Ltd. Reduction projection type aligner
US4945379A (en) 1985-12-28 1990-07-31 Canon Kabushiki Kaisha Camera shutter and viewfinder control apparatus
FR2592513B1 (fr) 1985-12-30 1988-02-05 Camps Robert Dispositif de surveillance video-mobile
JPH0740723B2 (ja) 1986-02-06 1995-05-01 ソニー株式会社 画像撮影装置
US4815845A (en) 1986-04-16 1989-03-28 Westinghouse Electric Corp. Axial alignment aid for remote control operations and related method
US4864410A (en) 1986-08-01 1989-09-05 Bally Manufacturing Corporation Apparatus and method of making photographs from a video image
US4750041A (en) 1986-08-21 1988-06-07 Eastman Kodak Company Apparatus for merged field operation of an image sensor in a still video camera
EP0260710A3 (de) 1986-09-19 1989-12-06 Hoya Corporation Verfahren zum Formen eines synthetischen Bildes in einem Simulationssystem zum Anpassen von Brillen
JPH071428B2 (ja) 1986-09-29 1995-01-11 株式会社アスキ− 表示制御装置
US4800432A (en) 1986-10-24 1989-01-24 The Grass Valley Group, Inc. Video Difference key generator
US4959670A (en) 1986-11-19 1990-09-25 Thayer Jr Donald O Photography booth and method
US4896175A (en) 1986-11-19 1990-01-23 Thayer Jr Donald O Photography booth and method
US4804983A (en) 1986-11-19 1989-02-14 Thayer Jr Donald O Photography booth and method
KR910006609B1 (ko) 1986-12-18 1991-08-29 가시오 게이상기 가부시기가이샤 전자 스틸 카메라
US5198305A (en) * 1986-12-25 1993-03-30 Asahi Kasei Kogyo Kabushiki Kaisha Optical element substrate
US4844475A (en) 1986-12-30 1989-07-04 Mattel, Inc. Electronic interactive game apparatus in which an electronic station responds to play of a human
US4872056A (en) 1987-02-05 1989-10-03 Video Graphic Styling, Inc. Method for displaying selected hairstyles in video form
US4991014A (en) 1987-02-20 1991-02-05 Nec Corporation Key signal producing apparatus for video picture composition
US5075769A (en) 1987-03-03 1991-12-24 Polaroid Corporation Video identification card system
US4727416A (en) 1987-03-05 1988-02-23 Fuji Optical Systems, Inc. Electronic video dental camera
US4795253A (en) 1987-04-24 1989-01-03 Mobay Corporation Remote sensing gas analyzer
US4823265A (en) * 1987-05-11 1989-04-18 Nelson George E Renewable option accounting and marketing system
JP2634410B2 (ja) 1987-07-03 1997-07-23 富士写真フイルム株式会社 帯状プリント写真
US4934773A (en) 1987-07-27 1990-06-19 Reflection Technology, Inc. Miniature video display system
JPS6438632U (de) 1987-09-03 1989-03-08
DE3850925T2 (de) 1987-09-24 1994-12-01 Fuji Photo Film Co Ltd Verfahren und Vorrichtung zur Herstellung photographischer Abzüge.
US4888668A (en) 1987-09-28 1989-12-19 Siemens Aktiengesellschaft Mirror light unit
HU197469B (en) 1987-10-23 1989-03-28 Laszlo Holakovszky Spectacle like, wearable on head stereoscopic reproductor of the image
US4776796A (en) 1987-11-25 1988-10-11 Nossal Lisa M Personalized hairstyle display and selection system and method
US5127032A (en) 1987-12-03 1992-06-30 Johns Hopkins University Multi-directional x-ray imager
US4855813A (en) 1987-12-11 1989-08-08 Russell David P Television image processing system having capture, merge and display capability
US4897827A (en) 1987-12-12 1990-01-30 U.S. Philips Corporation Video disc player with rapid track access means
US5012274A (en) 1987-12-31 1991-04-30 Eugene Dolgoff Active matrix LCD image projection system
US5300942A (en) * 1987-12-31 1994-04-05 Projectavision Incorporated High efficiency light valve projection system with decreased perception of spaces between pixels and/or hines
JPH0673517B2 (ja) 1988-02-04 1994-09-21 オリンパス光学工業株式会社 電子内視鏡システム
US4999586A (en) 1988-05-26 1991-03-12 North American Philips Corp Wideband class AB CRT cathode driver
US5051872A (en) 1988-07-19 1991-09-24 Texas Instruments Incorporated Hemispherical non-glare illuminator
JPH0263382A (ja) 1988-08-30 1990-03-02 Matsushita Electric Ind Co Ltd ビデオディスク再生装置
DE3831630A1 (de) 1988-09-17 1990-03-22 Ulrich M Landwehr Verfahren und vorrichtung zur ermittlung der abmessungen eines gegenstandes auf photographischem wege
US4965819A (en) 1988-09-22 1990-10-23 Docu-Vision, Inc. Video conferencing system for courtroom and other applications
DE3833823C1 (de) * 1988-10-05 1990-02-22 Arnold & Richter Cine Technik Gmbh & Co Betriebs Kg, 8000 Muenchen, De
EP0362737B1 (de) 1988-10-05 1994-05-18 Josef Wolf Audio-Visuals Gerät und Verfahren für das Umwandeln von Bildern oder Abbildern in Videosignale
US4899921A (en) 1988-10-28 1990-02-13 The American Optical Corporation Aligner bonder
US5036472A (en) * 1988-12-08 1991-07-30 Hallmark Cards, Inc. Computer controlled machine for vending personalized products or the like
GB8829135D0 (en) 1988-12-14 1989-01-25 Smith Graham T Panoramic interactive system
US5005148A (en) 1989-01-12 1991-04-02 Atari Games Corporation Driving simulator with moving painted dashboard
KR920007165B1 (ko) 1989-01-31 1992-08-27 주식회사 금성사 비데오 프린터 겸용의 액정프로젝터
US5724519A (en) * 1989-02-17 1998-03-03 Hitachi, Ltd. Complementary transistor circuit and amplifier and CRT display device using the same
US4979815A (en) 1989-02-17 1990-12-25 Tsikos Constantine J Laser range imaging system based on projective geometry
US5206629A (en) * 1989-02-27 1993-04-27 Texas Instruments Incorporated Spatial light modulator and memory for digitized video display
US5086354A (en) 1989-02-27 1992-02-04 Bass Robert E Three dimensional optical viewing system
US5162787A (en) 1989-02-27 1992-11-10 Texas Instruments Incorporated Apparatus and method for digitized video system utilizing a moving display surface
EP0384938B1 (de) * 1989-03-03 1994-11-30 Siemens Aktiengesellschaft Integrierbare amplitudengeregelte Oszillatorschaltung
US4971312A (en) 1989-05-23 1990-11-20 Stephen Weinreich Illusion apparatus
US4937665A (en) 1989-06-29 1990-06-26 Autovision Associates Apparatus for promoting the vigilance of a vehicle operator using monocular display
US5061996A (en) 1989-06-29 1991-10-29 Autovision Associates Ground vehicle head up display for passenger
JPH0353212A (ja) 1989-07-21 1991-03-07 Minolta Camera Co Ltd 光ビーム走査装置
US5060171A (en) 1989-07-27 1991-10-22 Clearpoint Research Corporation A system and method for superimposing images
US5034618A (en) 1989-09-05 1991-07-23 Gmf Robotics Corporation Method for aligning an articulated beam delivery device, such as a robot
US5025320A (en) 1989-09-07 1991-06-18 Buhl Industries, Inc. Video imaging podium
US5034822A (en) 1989-09-13 1991-07-23 Stevens William M Video camera adaptor for film cameras
US4995068A (en) 1989-10-02 1991-02-19 S&S Inficon, Inc. Radiation therapy imaging apparatus
US4969040A (en) 1989-10-26 1990-11-06 Bell Communications Research, Inc. Apparatus and method for differential sub-band coding of video signals
US4991005A (en) 1989-10-27 1991-02-05 Smith Ethel L Glass frame viewing assembly and method of use
KR960010191B1 (ko) 1989-12-29 1996-07-26 강진구 다화면 메모리를 사용한 스틸비디오 카메라
JP2915467B2 (ja) 1990-02-22 1999-07-05 キヤノン株式会社 液晶プロジェクタ
US5034817A (en) 1990-02-28 1991-07-23 The United States Of America As Represented By The Secretary Of The Navy Reconfigurable video line digitizer and method for storing predetermined lines of a composite video signal
KR930001649Y1 (ko) 1990-03-07 1993-04-08 동양종합산업 주식회사 비디오 카메라용 트랜스퍼(Transfer)
JP2920653B2 (ja) 1990-03-15 1999-07-19 アイシン精機株式会社 車載撮像装置
US5035475A (en) 1990-03-15 1991-07-30 Aura Systems, Inc. Unique modulation television
US5132804A (en) 1990-04-03 1992-07-21 Yorica Koki Co., Ltd. Video printer
US4973890A (en) 1990-05-10 1990-11-27 Electrohome Limited Cascode mirror video amplifier
US5179421A (en) 1990-08-20 1993-01-12 Parkervision, Inc. Remote tracking system particularly for moving picture cameras and method
US5117283A (en) 1990-06-25 1992-05-26 Eastman Kodak Company Photobooth compositing apparatus
JP2993063B2 (ja) 1990-07-05 1999-12-20 ソニー株式会社 ミラーマザーｖｔｒの記録回路
JP2764761B2 (ja) * 1990-07-19 1998-06-11 松下電器産業株式会社 映像信号平均輝度レベル検出装置
US5027138A (en) 1990-07-23 1991-06-25 Gandrud S Garfield Dental camera system
US5060063A (en) 1990-07-30 1991-10-22 Mpm Corporation Viewing and illuminating video probe with viewing means for simultaneously viewing object and device images along viewing axis and translating them along optical axis
US5138647A (en) 1990-08-03 1992-08-11 Siemens Medical Laboratories, Inc. Portal imaging device
JP3216722B2 (ja) * 1990-09-27 2001-10-09 株式会社ナムコ 画像合成装置、方法及びこれを用いた射撃ゲーム装置
JPH04144368A (ja) 1990-10-04 1992-05-18 Fuji Photo Film Co Ltd カメラ
US5277499A (en) * 1990-10-04 1994-01-11 Canon Kabushiki Kaisha Dynamic pressure bearing apparatus
US5196949A (en) * 1990-10-10 1993-03-23 Xerox Corporation Vestigial sideband scophony imaging modulator
US5137450A (en) 1990-11-05 1992-08-11 The United States Of America As Represented By The Secretry Of The Air Force Display for advanced research and training (DART) for use in a flight simulator and the like
US5076275A (en) 1991-01-04 1991-12-31 Ronen Bechor Viewing system inert to magnetic flux
US5117285A (en) 1991-01-15 1992-05-26 Bell Communications Research Eye contact apparatus for video conferencing
US5317405A (en) * 1991-03-08 1994-05-31 Nippon Telegraph And Telephone Corporation Display and image capture apparatus which enables eye contact
US5150215A (en) 1991-03-14 1992-09-22 Zhimin Shi Single lens reflex camera having film and still video functions
US5235420A (en) 1991-03-22 1993-08-10 Bell Communications Research, Inc. Multilayer universal video coder
US5168354A (en) 1991-03-27 1992-12-01 Burger King Corporation Fast food drive-thru video communication system
US5142414A (en) 1991-04-22 1992-08-25 Koehler Dale R Electrically actuatable temporal tristimulus-color device
FR2676284B1 (fr) * 1991-05-07 1994-12-02 Peugeot Procede de detection d'obstacles presents devant un vehicule automobile et dispositif pour la mise en óoeuvre d'un tel procede.
US5160265A (en) 1991-07-01 1992-11-03 Kim Jin S Beauty kit for aid in hairstyle selection
US5301030A (en) * 1991-08-13 1994-04-05 Samsung Electronics Co., Ltd. Optical illumination apparatus for a display unit with efficient light source polarization
US5414521A (en) * 1991-09-12 1995-05-09 Ansley; David A. Dynamic distortion correction apparatus and method
US5189490A (en) * 1991-09-27 1993-02-23 University Of Hartford Method and apparatus for surface roughness measurement using laser diffraction pattern
US5231432A (en) 1991-12-03 1993-07-27 Florida Atlantic University Projector utilizing liquid crystal light-valve and color selection by diffraction
JP2745926B2 (ja) * 1992-01-27 1998-04-28 富士写真フイルム株式会社 モニタ画面付きビデオプロジェクタ
KR950011005B1 (ko) * 1992-02-29 1995-09-26 삼성전자주식회사 투영광학장치
US5311568A (en) * 1992-05-01 1994-05-10 Picker International, Inc. Optical alignment means utilizing inverse projection of a test pattern/target
US5218626A (en) * 1992-05-01 1993-06-08 Picker International, Inc. Solid state photo sensor with adjustable viewing means
US5299274A (en) * 1992-06-25 1994-03-29 Hughes Aircraft Company Optical fiber laser fusion splicer
US5424838A (en) * 1993-03-01 1995-06-13 Siu; Bernard Microelectronics inspection system
US5603617A (en) * 1992-07-24 1997-02-18 Light; James H. Sports trainer
US5612716A (en) * 1992-08-24 1997-03-18 Casio Computer Co., Ltd. Image display device
US5303043A (en) * 1992-09-01 1994-04-12 Florida Atlantic University Projection television display utilizing Bragg diffraction cell for producing horizontal scan
US5394198A (en) * 1992-12-22 1995-02-28 At&T Corp. Large-screen display system
US5309496A (en) * 1992-12-23 1994-05-03 Winsor Robin W Filmless X-ray apparatus and method of using the same
US5380206A (en) * 1993-03-09 1995-01-10 Asprey; Margaret S. Personalizable animated character display clock
US5392080A (en) * 1993-04-28 1995-02-21 Sony Electronics, Inc. Method and apparatus for an integrating sphere lamphouse
US5398082A (en) * 1993-05-20 1995-03-14 Hughes-Jvc Technology Corporation Scanned illumination for light valve video projectors
US5717454A (en) * 1993-07-14 1998-02-10 Lifetouch Portrait Studios, Inc. Method and apparatus for creating posing masks on video screen
US6229904B1 (en) * 1996-08-30 2001-05-08 American Alpha, Inc Automatic morphing photography booth
US6121953A (en) * 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
KR100530812B1 (ko) * 1998-04-13 2005-11-28 네브엔지니어링 인코포레이티드 아바타 애니메이션을 위한 웨이브렛-기반 얼굴 움직임 캡쳐
US6206750B1 (en) * 1998-10-30 2001-03-27 Mattel, Inc. Personalized toys and methods for manufacturing and delivering the same
US7062454B1 (en) * 1999-05-06 2006-06-13 Jarbridge, Inc. Previewing system and method
US6903756B1 (en) * 1999-10-14 2005-06-07 Jarbridge, Inc. Merged images viewed via a virtual storage closet
JP3442366B2 (ja) * 2000-02-29 2003-09-02 株式会社ソニー・コンピュータエンタテインメント キャラクタ表示方法およびエンタテインメント装置
US6614466B2 (en) * 2001-02-22 2003-09-02 Texas Instruments Incorporated Telescopic reconstruction of facial features from a speech pattern
US6879712B2 (en) * 2001-05-25 2005-04-12 Orhan C. Tuncay System and method of digitally modelling craniofacial features for the purposes of diagnosis and treatment predictions
US6876364B2 (en) * 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
JP2004147288A (ja) * 2002-10-25 2004-05-20 Reallusion Inc 顔画像の補正方法
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US20050026685A1 (en) * 2003-05-13 2005-02-03 Electronic Arts Inc. Customizing players in a video game using morphing from morph targets and other elements
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
US7917935B2 (en) * 2004-10-01 2011-03-29 Logitech Europe S.A. Mechanical pan, tilt and zoom in a webcam
US7209577B2 (en) * 2005-07-14 2007-04-24 Logitech Europe S.A. Facial feature-localized and global real-time video morphing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
V.Blanz & T.Vetter: " A Morphable Model For The Synthesis Of 3D Faces". MPI für biologische Kybernetik, Tübingen, ACM 1999,S.187- 194 *

Also Published As

Publication number Publication date
US7209577B2 (en) 2007-04-24
DE102006032484A1 (de) 2007-02-15
US20070014485A1 (en) 2007-01-18
US7397932B2 (en) 2008-07-08
US20070174775A1 (en) 2007-07-26
CN1901665A (zh) 2007-01-24

Similar Documents

Publication Publication Date Title
DE102006032484B4 (de) Auf Gesichtsmerkmale örtlich begrenztes und umfassendes Echtzeit-Video-Morphing
DE102007014020B4 (de) Automatischer Echtzeit-Gesichtsmerkmal-Austausch
DE112013001461B4 (de) Modifizieren des Aussehens eines Teilnehmers während einer Videokonferenz
DE112017002799B4 (de) Verfahren und system zum generieren multimodaler digitaler bilder
DE69936620T2 (de) Verfahren und Vorrichtung zum Segmentieren von Handgebärden
DE69922898T2 (de) Verfahren zur dreidimensionalen Gesichtsmodellerzeugung aus Gesichtsbildern
DE112016004437T5 (de) Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit
DE69636695T2 (de) Bildverarbeitungsvorrichtung
DE69832663T2 (de) Verfahren zum Erstellen von photo-realistischen beweglichen Figuren
DE60310331T2 (de) Verfahren, Vorrichtung, Programm und Datenträger zur Bearbeitung von Bilddaten
DE102017010210A1 (de) Bild-Matting mittels tiefem Lernen
EP2691934B1 (de) Phantombilddatenbank (3d)
DE112018001822T5 (de) Skelettbasierte Effekte und Hintergrundaustausch
DE102018008217A1 (de) Intelligente Anleitung zum Aufnehmen von Digitalbildern, die mit einem Zielbildmodell in Übereinstimmung gebracht sind
DE102016011998A1 (de) Stilübertragung für Kopfbildporträts
DE112006002954T5 (de) Virtuelles Schnittstellensystem
EP3347876B1 (de) Vorrichtung und verfahren zur erzeugung eines modells von einem objekt mit überlagerungsbilddaten in einer virtuellen umgebung
DE112004000377T5 (de) Bildsegmentierung in einer dreidimensionalen Umgebung
DE112019007550T5 (de) Automatisches segmentieren und anpassen von bildern
DE212020000467U1 (de) Vorrichtung, um ein Video mit einer computermodifizierten Abbildung eines erwünschten Gesichts einer Person bereitzustellen
DE102015000377A1 (de) Bereitstellen einer Zeichenhilfe unter Nutzung einer Merkmalserfassung und eines semantischen Kennzeichnens
CN106846240A (zh) 一种调整融合素材的方法、装置和设备
DE102021006022A1 (de) Webbasierte Digitalbildbearbeitung in Echtzeit unter Einsatz eines Latentvektorstreamwiedergebers und eines bildmodifizierenden neuronalen Netzwerkes
DE102013020611B4 (de) Ein Ansatz für eine Kamerasteuerung
DE10336492A1 (de) Vorrichtung zur Bearbeitung eines zweidimensionalen Bildes in einem dreidimensionalen Raum

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R082 Change of representative

Representative=s name: HOFSTETTER, SCHURACK & PARTNER PATENT- UND REC, DE

R081 Change of applicant/patentee

Owner name: LOGITECH EUROPE S.A., CH

Free format text: FORMER OWNER: LOGITECH EUROPE S.A., ROMANEL-SUR-MORGES, CH

Effective date: 20130610

R082 Change of representative

Representative=s name: HOFSTETTER, SCHURACK & PARTNER PATENT- UND REC, DE

Effective date: 20130610