DE69632033T2 - Verfahren und vorrichtung zur steuerung der bewegung eines virtuellen körpers - Google Patents

Verfahren und vorrichtung zur steuerung der bewegung eines virtuellen körpers Download PDF

Info

Publication number
DE69632033T2
DE69632033T2 DE1996632033 DE69632033T DE69632033T2 DE 69632033 T2 DE69632033 T2 DE 69632033T2 DE 1996632033 DE1996632033 DE 1996632033 DE 69632033 T DE69632033 T DE 69632033T DE 69632033 T2 DE69632033 T2 DE 69632033T2
Authority
DE
Germany
Prior art keywords
user
movement
virtual
sequence
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE1996632033
Other languages
English (en)
Other versions
DE69632033D1 (de
Inventor
David Richard GALLERY
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=10785064&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE69632033(T2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of DE69632033D1 publication Critical patent/DE69632033D1/de
Publication of DE69632033T2 publication Critical patent/DE69632033T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Anordnung zur Steuerung der Bewegung eines virtuellen Körpers, wobei der virtuelle Körper ein computerbasiertes Modell ist, das den Menschen oder eine andere Form in einer computererzeugten virtuellen Umgebung darstellt.
  • Die durch die virtuelle Umgebung angenommene Form wird abhängig sein von der beabsichtigten Anwendung des Systems und kann beispielsweise das Innere eines Gebäudes umfassen für eine architektonische Modellierungsapplikation, oder eine Stadtlandschaft oder eine surrealistische Landschaft für Spiele oder andere Applikationen, wobei in dieser Umgebung der von dem Benutzer gesteuerte virtuelle Körper verlagert wird. Nachstehend wird der Ausdruck "virtuelle Umgebung" für derartige virtuelle Landschaften oder Situationen verwendet: der Ausdruck "physikalische Umgebung" wird verwendet um die "wirkliche" Umgebung des Benutzers anzugeben, beispielsweise ein Raum, in dem der Benutzer die jeweiligen Hardware-Vorrichtungen kontaktiert, wie eine Kopfgarnitur (HMD = head-mounted display), welche die Schnittstelle mit der virtuellen Umgebung bildet. Der Ausdruck "virtueller Körper" und "physikalischer Körper" sollen entsprechend ausgelegt werden.
  • Ein Beispiel einer Steueranordnung in Form eines haptischen Handschuhs ist in der internationalen Patentanmeldung WO92/18925 (W. Industries) beschrieben worden. In der virtuellen Umgebung (gesehen beispielsweise via HMD) erscheint die Hand des Benutzers als Cursor, der Änderungen erfährt entsprechend der Bewegung und Biegung der Hand des Benutzers. Kontakt zwischen dem Cursor und Gegenständen innerhalb der virtuellen Umgebung wird durch Ausblasen von Kissenteilen des Handschuhs um ein Gefühl von Berührung zu geben. Während der haptische Handschuh nützlich ist für Techniken wie handmäßige molekulare Modellierung innerhalb einer virtuellen Welt, worin beabsichtigt wird, einen Hauch von sichtbarer Realistik für den Benutzer zu schaffen, kann der änderbare Cursor (und das Fehlen des restlichen Teils des Körpers) aus dem Gefühl der Eintauchung vom Benutzer hergeleitet werden.
  • Ein weitaus komplexeres System zum Erzeugen und Verarbeiten synthetischer Echtzeit-Umgebungen ist in der internationalen Patentanmeldung WO95/11479 (Redmond Productions) beschrieben worden. In dem beschriebenen System befindet sich der Benutzer in einer geschlossenen physikalischen Umgebung, in der alle Interaktionen auftreten. Bei erster Verwendung wird ein detaillierter virtueller Körper für den Benutzer aufgebaut, wobei der Prozess detaillierte Positionsempfindungsmittel innerhalb der physikalischen Umgebung benutzt zum Bilden eines "Drahtrahmen"-Modells des Körpers des Benutzers. Auf dem Drahtrahmen wird der virtuelle Körper zu einem Bild hoher Dichte mit Schatten und Entfernung versteckter Flächen aufgebaut, und zwar unter Verwendung einer Bibliothek gespeicherter männlicher und weiblicher Körperteile und aller Formen und Altersgruppen. Um für den Benutzer Stimuli zu schaffen (nebst Stereo-Bildern und Audio über eine HMD) umfasst der geschlossene Raum eine Anzahl Interaktionsvomchtungen mit einem Laufband mit variablem Widerstand, mit taktilen Ausgangsvorrichtungen (pixeladressierte Banken von Stangen, die zum Bilden von Formen oder Oberflächentexturen, herausgedrückt werden können) und mit einem "cybercycle"-Fahrzeugsimulator.
  • Während dieses letztere System dem Benutzer mit einem hohen Grad an Realistik versieht, ist die Verarbeitungsenergie, erforderlich zum Erzeugen und Animieren des virtuellen Körpers zusätzliche zum Erzeugen der virtuellen Umgebung extrem hoch.
  • US-A-0545684 beschreibt ein "virtual reality"-System, wobei jeder Ersatz-Spieler Aktionen durchführt, und zwar entsprechend den von jedem der Spieler ausgegebenen Befehlen. Die Operation kombiniert eine binäre aufgeteilte 3-D Datei mit einem Bewegungsobjekt-Algorithmus. Die binäre aufgeteilte 3-D Datei löst das Problem der Selektion, welche Dinge gemacht werden sollen und wann sie in der Wiedergabeanordnung der Kopfgarnitur gemacht werden sollen. Die Bewegungsobjekt-Algorithmus ermöglicht eine Echtzeit-Lösung für das Problem der versteckten Fläche ohne aufwendige z-Puffer-Hardware. Die 3-D Datei ist auf Basis der Vorkenntnisse des Entwerfers über die Objektlage und ist als binärer Baum konstruiert worden. Jeder Terminal-Knotenpunkt (oder jedes Blatt) in dem Baum stellt ein einzelnes Objekt dar; ein zwischenliegender Knotenpunkt (oder ein Nicht-Blatt) stellt eine Gruppe von Objekten dar.
  • WO95/08793 beschreibt ein "virtual reality"-System mit einer zentralen Datei zum Definieren eines oder mehrerer dreidimensionaler virtueller Räume und zum Definieren virtueller Wesen innerhalb der Datei in Reaktion auf die von Benutzern her empfangenen Lagen-, die Orientierungs- und/oder die Bewegungsdaten. Die Teile des virtuellen Raums, die den anderen Benutzern zur Verfügung gestellt sind, können den Perspektiven deren assoziierten virtuellen Wesen entsprechen. Das System aktualisiert periodisch die Datei und stellt die aktualisierten Teile des virtuellen Raums den Benutzern zur Verfügung um auf Änderungen in der Lage sich verlagernder Objekte innerhalb des virtuellen Raums zu reagieren. Zur weiteren Verringerung des Betrags an Daten, die zwischen dem Computer und jedem Benutzer ausgetauscht werden, können innerhalb des Teils der virtuellen Raumdaten, die dem Benutzer zugeführt werden, Prioritätsräume definiert werden und Elemente innerhalb selektierter Prioritätsräume können in Priorität über andere Prioritätsräume aktualisiert werden.
  • Deswegen ist es u. a. eine Aufgabe der vorliegenden Erfindung, ein System zu schaffen zum Modellieren eines virtuellen Körpers innerhalb einer virtuellen Umgebung und zum Steuern der Bewegungen des virtuellen Körpers in Reaktion auf Benutzerkörperbewegung, wobei dieses System relativ einfach implementierbar ist, während akzeptierbare (oder bessere) realistische Pegel geschaffen werden.
  • Es ist einer weitere Aufgabe der vorliegenden Erfindung, in einem derartigen System einfach implementierbare Mechanismen zu schaffen zum Liefern von Rückkopplung von der virtuellen Umgebung zu einem Benutzer.
  • Nach der vorliegenden Erfindung wird eine Modellieranordnung für einen virtuellen Körper nach Anspruch 1 geschaffen.
  • Durch Verwendung vorgespeicherter Sequenzen von Körperbewegungen (beispielsweise eine Gehsequenz für die Beine oder eine Winksequenz für einen Arm) wird die Notwendigkeit Benutzerbewegungen zu überwachen und das erzeugte Bild des virtuellen Körpers zu aktualisieren um der Durchführung dieser Bewegungen des Benutzers genau zu folgen, weitgehend reduziert. Verschiedene Geschwindigkeitssequenzen können für eine bestimmte Körperbewegung geschaffen werden, oder es können Mittel vorgesehen werden zur Steuerung der Geschwindigkeit, mit der eine Sequenz reproduziert wird.
  • Die Anordnung kann auf geeignete Art und Weise Mittel enthalten zum Erzeugen von Rückkopplung zu dem Benutzer zur Steigerung des Realismus, wobei die Rückkopplung in Bezug auf die Befolgung der Sequenz von Bewegungen und an einer oder an mehreren vorbestimmten Stellen in der Sequenz erzeugt wird. Eine derartige Rückkopplung kann viele Formen annehmen einschließlich Kraftrückkopplung, wobei Mittel vorgesehen werden können zum Schaffen eines steuerbar variablen Widerstandes zu der Bewegung des physikalischen Körpers des Benutzers, zum Simulieren schwerer Umstände in der virtuellen Umgebung. Eine andere mögliche Form der Rückkopplung ist Audio- Rückkopplung (wobei beispielsweise der Hörer den Schall der eigenen Schritte in der virtuellen Welt hört) mit der Anordnung mit Audiosignalerzeugungsmitteln und wobei die Rückkopplung eine Audiosequenz aufweist, erzeugt an einer vorbestimmten Stelle oder an vorbestimmten Stellen während der Sequenz von Bewegungen. Noch eine andere Form von Rückkopplung ist sichtbare Rückkopplung, die dort vorgesehen werden kann, wo der Benutzer das Bild der virtuellen Welt von einem ersten Gesichtspunkt bekommt, und die erzeugte Darstellung der virtuellen Umgebung modifiziert wird zum Ändern des Gesichtspunktes synchron zu der Verfolgung der Sequenz von Bewegungen.
  • Wie nachstehend in Termen eines Ausführungsbeispiels noch näher erläutert wird, können die Bewegungsdetektionsmittel eine Begrenzung aufweisen, die mit einer drehbaren Achse gekuppelt und an einem Glied des Benutzers angebracht werden kann, wobei eine Bewegung der Begrenzung durch den Benutzer eine Drehung der Achse erzeugt und wobei die Bewegung des Benutzers aus der Winkelablenkung der Achse hergeleitet wird. Mit einer derartigen Vorrichtung kann Kraftrückkopplung in Form einer elektromagnetischen Spule oder dergleichen vorgesehen werden zum Erzeugen eines der Drehung der Welle entgegengesetzten Momentes.
  • Ach nach der vorliegenden Erfindung wird ein virtuelles Körpennodellierungsverfahren nach Anspruch 9 geschaffen. Die Rate der Modifikation der erzeugten Körperdarstellung kann auf geeignete Art und Weise durch einen gefilterten (beispielsweise zeitgemittelten) Geschwindigkeitswert der Bewegung des Benutzers ermittelt werden, so dass dies zu einer geschmeidigen Bewegung des virtuellen Körpers führt, unbeeinflusst durch kurze Zögerungen oder dergleichen seitens des Benutzers.
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben. Es zeigen:
  • 1 eine Draufsicht einer Vorrichtung zum Messen der axialen Bewegung eines Fußes,
  • 2 eine Darstellung einer ersten Datenverarbeitungsanordnung zur Übersetzung einer direkten Messung der virtuellen Körperbewegung,
  • 3 eine Darstellung einer alternativen Datenverarbeitungsanordnung zur Übersetzung einer indirekten Messung der virtuellen Körperbewegung, und
  • 4 eine alternative Konfiguration einer axialen Bewegungsmessvorrichtung des Fußes zum Schaffen eine Kraftrückkopplung zu dem Benutzer.
  • Die nachfolgende Beschreibung bezieht sich insbesondere auf Modellierung und Steuerung der Beine eines virtuellen menschlichen Körpers, den ein Benutzer oder ein Teilnehmer in einer virtuellen Welt steuern möchte, wobei der Mechanismus zum Steuern der Beinbewegungen des virtuellen Körpers durch eine Messbewegung der Beine des Benutzers gesteuert werden. Es dürfte einleuchten, dass viele der beschriebenen Techniken ebenfalls angewandt werden könnten zur Steuerung der Bewegung der Arme und des Kopfes eines virtuellen Körpers.
  • Die Anordnung zum Messen der Bewegung der menschlichen Beine ist über eine Anordnung, welche die aktuelle physikalische Position wenigstens eines Punktes an den Beinen des Benutzers in eine Messung umwandelt, geeignet zum Eingeben in den Datenprozessor. Eine erste Ausführungsform einer derartigen Anordnung ist in 1 dargestellt und umfasst eine Anordnung von Fußstützen 10, die an einander gegenüber liegenden Enden eines Arms 12 schwenkbar befestigt sind, wobei dieser Arm mit einer senkrecht darauf stehenden zentralen Achse 14 verbunden ist, und zwar derart, dass die linke und die rechte Fußstütze um eine Achse längs der Achse 14 gedreht werden können. Anschläge 1 begrenzen die Größe der Rotation und den Grad der Rotation der Achse 14 um die Achse, gemessen mit Hilfe eines Potentiometers 18, das bei Drehung eine Variation in dem Strom oder in der Spannung schafft, wobei diese Variation über einen geeigneten Analog-Digitalwandler (A/D) 20 weitergeleitet werden kann, der einen digitalen Signalvertreter der Ablenkung schafft zum Eingeben in einen Datenprozessor 22. Andere Eingaben in den Prozessor 22 können vorgesehen werden zum Eingeben aus einem Massenspeicher 3 (beispielsweise CD-ROM), zusätzliche Benutzerpositionsdaten (XYZ) und Identifikationscodes (USER ID).
  • Es dürfte einleuchten, dass andere die Winkelposition abtastende Mittel gegenüber dem Potentiometer benutzt werden können zum Erzeugen eines Ablenksignals zur Lieferung an den Datenprozessor. Es dürfte ebenfalls einleuchten, dass, während das oben beschriebene Messsystem für das linke sowie das rechte Bein einen einzigen Wert zu jedem gemessenen Zeitpunkt gibt, wobei die Position jedes Beins unabhängig gemessen werden könnte.
  • Wenn diese Messung gegenüber den Positionen des menschlichen Beines einmal durchgeführt worden ist, muss sie danach in eine Gehbewegung des virtuellen Körpers umgewandelt werden. Die Umwandlung erfolgt durch den Datenprozessor 22, der, wie in 2 dargestellt, um eine zentrale Prozessoreinheit (CPU) 24 vorgesehen ist, der die digitalisierte Drehmessung von dem Analog-Digitalwandler 20 (1) empfängt, eventuell über einen adaptiven Mechanismus 26, der noch näher beschrieben wird. Die Erzeugung der virtuellen Umgebung erfolgt durch eine Wiedergabeerzeugungsstufe 28 unter der Leitung der CPU 24 und unter Verwendung von Daten aus einem Umgebungsdatenspeicher 36.
  • Die aktuelle Benutzerposition und Orientierung gegenüber der virtuellen Welt kann eventuell auf externen Eingaben XYZ aus Positionssensoren gründen, welche die Benutzerbewegung überwachen oder in einer einfacheren Implementierung, die Höhe des Benutzergesichtspunktes innerhalb der virtuellen Umgebung kann im Wesentlichen festgelegt werden, wobei die horizontale Lage und Orientierung für den virtuellen Körper gegenüber einer eingestellten Ausgangslage, rein auf Basis der Eingabe aus dem Drehungssensor 18 nach 1.
  • Ein erstes Verfahren zum Simulieren der Gehbewegung der Beine ist die Verwendung eines mathematischen Modells gehender menschlicher Beine (festgelegt in einem Speicher VBOD 32 des Datenprozessors 22), aus dem die CPU 24 die aktuelle Position und Orientierung jedes der Knotenpunkte des virtuellen Beines innerhalb der virtuellen Umgebung aus der Position des Fußes oder des Beins des Benutzers herleitet (basiert auf der Drehmessung) innerhalb der physikalischer Umgebung. So folgt beispielsweise mit der Anordnung nach 1 der Fuß (und folglich die Fußgelenkverbindungen) einem begrenzten Weg. Das mathematische Modell kann auf geeignete Art und Weise Bewegungen in Bezug auf einen Ursprungspunkt spezifizieren (wobei die Lage dieses Punktes aus der Eingabe XYZ spezifiziert werden kann) wie die Mitte des Bauches. Es kann eine gewisse Drehung des Hüftgelenks um den spezifizierten Ursprungspunkt in dem Modell geben und die Bewegung der Beine wird durch die relativen Positionen des Hüft- und Fußgelenks, durch die Länge des Ober- und des Unterbeins und durch den maximal erlaubten Bereich der relativen Bewegung der Teile um die Verbindungspunkte in zwei oder drei Dimensionen definiert.
  • Aus den bestimmten relativen Positionen der Beinelemente erzeugt der Wiedergabegenerator 28 eine Darstellung der Beine, wie diese in der virtuellen Welt erscheinen, auf geeignete Weise auf Basis zusätzlicher Daten aus dem VBOD-Speicher 32, wobei diese Daten das Äußere der einzelnen Elemente spezifizieren.
  • Eine alternative Methode benutzt einen gespeicherte Sequenz, festgehalten in dem VBOD-Speicher 32 (statt des mathematischen Modells), wobei diese Sequenz aus einem Satz von Rahmen möglicher Beinpositionen zusammengesetzt ist zur Wiedergabe innerhalb der virtuellen Umgebung durch den Wiedergabegenerator 28. Beim Durchlauf durch den Zyklus gibt der Zyklus von Rahmen das Bild einer Gehbewegung. Eine Anzahl derartiger Sequenzen kann in dem VBOD-Speicher 32 festgehalten werden, die mehrere Gehgeschwindigkeiten darstellen, wobei die CPU 24 selektiert, welche Geschwindigkeit verwendet werden muss, und zwar auf Basis der Eingabe aus der Anordnung nach 1. Auf alternative Weise kann dort, wo eine einzige Sequenz festgehalten wird, der Wiedergabegenerator 28 gesteuert werden zum selektiven Fallen lassen von Frames um den Eindruck eines etwas schnelleren Gehens zu geben, oder zum selektiven Wiederholen von Frames zum Verzögern des Gehens. Interpolation zwischen Frames zum Geben eines geschmeidigeren Gehvorgangs kann ebenfalls angewandt werden, wenn der Wiedergabegenerator die Möglichkeit bietet.
  • Ein erstes Verfahren zum Erzielen der Übersetzung zwischen physikalischen Messungen, wie dem Ausgang aus dem Potentiometer 18 nach 1 und Aktion in der virtuellen Welt ist, die gemessene oder hergeleitete Position der menschlichen Beine auf einer Darstellung der virtuellen menschlichen Beine direkt abzubilden, die über eines der beiden oben beschriebenen Verfahren gewählt werden kann, d. h. das Herleiten des aktuellen virtuellen Beinmodells aus dem mathematischen Modell, oder das Wählen des geeignetesten Beinmodells aus einem vorgespeicherten Satz oder einer Sequenz solcher Modelle. Ein etwaiges Problem bei dieser Annäherung liegt in der Aktion der einzelnen Benutzer, wenn den Messungen ausgesetzt: einige werden starke Gehbewegungen machen, während andere weiche Schlenderbewegungen machen und wieder andere einige Zeit still stehen. Dies kann zu einem unregelmäßigen Bild der Gehbewegung des virtuellen Körpers führen.
  • Um diese Annäherung zu verbessern ist ein adaptiver Mechanismus 26 an dem Positionsmesseingang der CPU 24 angeordnet, wie in 2 dargestellt. Dieser Mechanismus passt sich an den Ausgang der Massanordnung an um die unregelmäßigen, variablen Messungen in eine stabile Gehbewegung umzusetzen. Es können eine Anzahl adaptiver Mechanismen, wie adaptive Filter und neurale Netzwerke verwendet werden. Im Betrieb kann die physikalische Bewegung entsprechend der Bewegung, wobei ein Fuß auf den Boden gesetzt wird, als ein Schlüssel benutzt werden, wobei die erzeugte oder modellierte Sequenz virtueller Bewegungen die Zeit aus dem Schlüssel nimmt – ungeachtet welche unregelmäßige Bewegungen die Beine des Benutzers zwischen Schlüsseln machen. Bestimmte Unregelmäßigkeiten oder Merkmale des Gehvorgangs eines bestimmten Benutzers (beispielsweise ob der Benutzer eine Lähmung hat oder relativ kleine schritte macht) können auf geeignete Weise von dem adaptiven Mechanismus 26 gelernt werden und diese Einstellungen des adaptiven Mechanismus (was er von dem betreffenden Benutzer gelernt hat) können in einem Benutzerspeicher 34 gespeichert werden und aufgerufen werden, wenn die CPU 24 aus einem USER ID-Signal ermittelt, dass dieser bestimmte Benutzer wieder Zugriff auf das System hat.
  • Eine Alternative zu der obenstehenden Technik ist eine indirekte Annäherung, wie in 3 dargestellt: wobei diese Merkmale mit derselben Aufgabe wie in 2 durch dieselben Bezugszeichen angegeben sind und nicht wieder beschrieben werden. Hier wird das Eingangssignal von der Benutzermessanordnung nach 1 einer Rechenstufe 40 zugeführt, die Messungen von Geschwindigkeit und Beschleunigung auf Basis der eingegebenen Gehbewegung des Benutzers herleitet. Diese werden danach über einige vorbestimmte Beziehungen in eine Geschwindigkeit für den gehenden virtuellen Körper umgesetzt. Diese Geschwindigkeit des virtuellen Körpers wird danach über die CPU 24 dem Wiedergabegenerator 28 zugeführt, wo sie zum Ermitteln der Bewegung des Benutzergesichtspunktes innerhalb der virtuellen Umgebung benutzt wird und auch zum Berechnen der Positionen der Beine für den virtuellen Körper. Im Falle der oben beschriebenen Technik, wobei eine Anzahl vorgespeicherter Sequenzen von Animationen verwendet werden, die eine Gehbewegung darstellen, wird die berechnete Geschwindigkeit von der Stufe 40 verwendet zum Ermitteln des Versatzes in eine Nachschlagtabelle 42, der angibt, welche Sequenz bei der aktuellen Geschwindigkeit verwendet werden soll, wobei die Herleitungen der Beinposition aus der CPU 24 den Zustand des Gehprozesses bestimmen. Es kann ebenfalls erwünscht sein, dass der adaptive Mechanismus 26 in diesem System vorhanden ist, und zwar zur direkten Annäherung, wie oben beschrieben.
  • Um den von dem Benutzer erfahrenen Realismus der virtuellen Umgebung, worin der Benutzer umhergeht, zu verbessern, kann dem Benutzer eine Kraftrückkopplung zugeführt werden. Der Zweck der Kraftrückkopplung ist, es für den Benutzer härter oder einfacher zu machen, in physikalischen Umgebung sich zu bewegen. Wo beispielsweise Beinbewegungen gemessen werden kann ein Mechanismus vorgesehen werden, der entge gen den physikalischen Beinbewegungen des Benutzer arbeitet oder dieser Bewegung sogar behindert. Eine derartige Rückkopplung würde angewandt werden um den Eindruck von Müdigkeit oder Schwächung zu geben, oder dass man in einer strapazierenden Umgebung oder bergaufwärts geht.
  • Ein Ausführungsbeispiel eines derartigen Mittels zum Schaffen von Kraftrückkopplung zu den Beinen des Benutzers, und zwar unter Bezugnahme einer modifizierten Version des anhand der 1 beschriebenen mechanischen Messsystems ist in 4 dargestellt. Der Datenprozessor 22, der die Simulation schafft, steuert eine variable Stromquelle 46. Die Achse 14, auf der die Messvorrichtung angeordnet ist, umfasst ebenfalls den Läufer einer elektromagnetischen Anordnung 48, derart vorgesehen, dass wenn der Anordnung 48 ein Strom von der Stromquelle 46 zugeführt wird, eine größere Kraft notwendig ist zum Drehen der Achse 14 um die eigene Achse. Auf diese Weise kann der Datenprozessor 22 den Strom variieren zum Schaffen eines höheren oder niedrigeren Grades des Verbots der Gehbewegung des Benutzers.
  • Die Anordnung nach 4 ermöglicht es ebenfalls, dass der Benutzer einen mehr natürlichen Gehstil annimmt als der aus 1, wobei die Fußstützen 10 begrenzt werden über betreffende parallele Strecken zu gehen, und zwar um Schleifenteile 50, die von jeder Fußstütze über einen betreffenden Schlitz 52 in eine horizontale Plattform 54 absinken. Die Unterseite jeder Fußstütze 10 kann mit Rollen versehen werden oder es kann Material geringer Reibung für die Sohlen der Fußstützen 10 und die oberseite der Plattform 54 verwendet werden. Der untere Teil jedes Schleifenteils 50 empfängt ein betreffendes Ende des Arms 12, wobei die Schwenkachse des (die Achse der Achse 14) mitten zwischen die Schlitze 52 und halbwegs deren Länge gesetzt wird.
  • Durch Verwendung länglicher Schleifenteile 50 zusammen mit Bändern 56 über die Oberseite jeder Fußstütze 10 kann der Benutzer den Fuß heben, während er die Gehbewegung durchführt, stattdessen, dass es erforderlich ist, dass er die "Skitechnik" ausübt, erforderlich für die Anordnung nach 1, Es dürfte einleuchten, dass die Anordnung nach 4 (in Termen des Ausgangssignals) die übliche Neigung für den Fuß halbwegs eines Schrittes schneller bewegt zu übertreibt: die Übertreibung kann auf geeignete Weise durch die CPU oder einen adaptiven Mechanismus des Datenprozessors 22 kompensiert werden.
  • In 2 kann als ein Mittel zum Verbessern des erfahrenen Realismus der Gesichtspunkt des Benutzers (wenn dieser mit einem Bild, gesehen von dem virtuellen gehenden Wesen, zusammenfällt) in Bezug auf den Gehvorgang moduliert werden. Ein einfaches Mittel um dies zu implementieren ist für den adaptiven Mechanismus 26 eine Sinusfunktion auf Basis gemittelter oder Schlüsselbenutzereingaben (wie oben beschrieben) zu bewerten, wobei die Amplitude der Sinusfunktion ein Maß des Zustandes der Gehbewegung ist, und wobei das Maß in Bezug auf einen Schritt periodisch ist. Die Sinusfunktion wird einer Überwachungsstufe 60 zugeführt und ein Teil des Wertes der Sinusfunktion der Überwachungsstufe wird dann über den Umgebungsdatenspeicher 30, wie dargestellt (Signal VFB) oder über die CPU 24 dem Gesichtspunkt und der Richtung hinzugefügt um den Eindruck einer Aufwärts-, Abwärts, oder Seitenbewegung des Gesichtsfeldes zu geben, wie dies erfahren wird, wenn man in der wirklichen Welt umhergeht. Die Sinusfunktion (oder ein anderes Mittel zum Schaffen einer geeigneten periodischen Messung, geeignet zum Eingeben in den Gesichtspunkt/die Richtung) kann stattdessen in einer Nachschlagtabelle gespeichert werden und an Schlüsselstellen in dem Benutzerbewegungszyklus indiziert werden, stattdessen, dass sie örtlich erzeugt wird.
  • Eine andere Form von unterstützter Rückkopplung sind Audiohinweise zum Schaffen eines zusätzlichen Eintauchungsgefühls und Rückkopplung zu dem Benutzer. Um beispielsweise den Schall von Schritten zu erzeugen kann eine durch ein Ereignis angetriebene Annäherung angewandt werden. Dabei wird ein Schall eines Schrittes von dem Audio-Signalgenerator 62 erzeugt. Der Schall wird zweimal während jedes Zyklus durch eine Gehbewegung getriggert (einmal für jeden Fuß): dies entspricht einmal je Zyklus für die Sinuswelle von der Überwachungsschaltung 60, auf deren Basis der Gesichtspunkt geändert wird. In dem hier beschriebenen System kann eine Messung der menschlichen Gehbewegung nicht nur zum Auslösen einer Anzahl verschiedener Techniken zum Rendern der virtuellen Glieder des Benutzers in der virtuellen Umgebung verwendet werden, sondern auch zum Triggern und zum direkten Forcieren einer sichtbaren und einer Audiorückkopplung zu dem Benutzer.
  • Aus der Lektüre der vorliegenden Beschreibung dürften dem Fachmann andere Abwandlungen einfallen. Solche Abwandlungen können andere Merkmale betreffen, die bereits bekannt und statt der oder zusätzlich zu den hier bereits beschriebenen Merkmalen verwendbar sind.
  • Text in der Zeichnung
  • 1
  • 36
    Massenspeicher
    Datenverarbeitung
    Benutzer ID
    Zu der Kopfgarnitur
  • 2
  • Benutzer ID
    20
    Von dem Analog-Digitalwandler
    36
    Von
    VBOD-Speicher
    26
    Anpassung
    34
    Benutzerspeicher
    28
    Wiedergabeerzeugungsstufe
    30
    Umgebungsspeicher
    62
    Audiosignalgenerator
    36
    Von
    Zu der Kopfgarnitur
    Audio Aus
  • 3
  • 20
    Von dem Analog-Digitalwandler
    Anpassen
    34
    Benutzerspeicher
    40
    Geschwindigkeit
    42
    Nachschlagtabelle
    28
    Wiedergabegenerator
    30
    Umgebungsspeicher
    Zu der Kopfgarnitur
  • 4
  • 22
    Datenverarbeitung
    20
    Analog-Digitalwandler
    zu der Kopfgarnitur

Claims (10)

  1. Anordnung zum Modellieren eines virtuellen Körpers zum Erzeugen und Animieren unter der Ansteuerung eines Benutzers einer Darstellung eines Körpers in einer virtuellen Umgebung, wobei diese Anordnung die nachfolgenden Elemente umfasst: – einen ersten Datenspeicher, der Daten festhält, welche die virtuelle Umgebung definieren; – einen zweiten Datenspeicher, der Daten festhält, die sich auf Merkmale der virtuellen Körperdarstellung beziehen, – Benutzerbewegungsdetektionsmittel, die eine Bewegung des Benutzers in einer physikalischen Umgebung überwachen, und – Verarbeitungsmittel, vorgesehen zum Erzeugen einer Darstellung der virtuellen Umgebung auf Basis von Daten aus dem ersten Datenspeicher, zum Erzeugen der Körperdarstellung innerhalb der virtuellen Umgebung auf Basis von Daten aus dem zweiten Datenspeicher, und zum periodischen Modifizieren der erzeugten Körperdarstellung in Reaktion auf Signale, empfangen von den Benutzerbewegungsdetektionsmitteln, dadurch gekennzeichnet, dass der zweite Datenspeicher Daten festhält, die wenigstens eine Sequenz von Körperbewegungen definieren, und dass der Prozessor vorgesehen ist um die genannte Sequenzdaten aufzurufen und die erzeugte Darstellung derart zu modifizieren, dass sie der Sequenz von Bewegungen folgt bei Detektion eines oder mehrerer vorbestimmter Signale aus den Benutzerbewegungsdetektionsmitteln.
  2. Anordnung nach Anspruch 1, wobei diese Anordnung weiterhin Mittel aufweist zum Erzeugen einer Rückkopplung zum Benutzer, wobei die genannte Rückkopplung in Bezug auf der Befolgung der Sequenz von Bewegungen erzeugt wird und an einer oder an mehreren vorbestimmten Stellen in der Sequenz.
  3. Anordnung nach Anspruch 2, wobei diese Anordnung weiterhin Kraftrückkopplungsmittel aufweist, vorgesehen zum Liefern eines steuerbaren variablen Widerstandes gegen eine Bewegung des physikalischen Körpers des Benutzers.
  4. Anordnung nach Anspruch 2, mit Audiosignalerzeugungsmitteln, wobei die Rückkopplung eine Audiosequenz ist, erzeugt an einer vorbestimmten Stelle oder an vorbestimmten Stellen während der Sequenz von Bewegungen.
  5. Anordnung nach Anspruch 1, wobei der Benutzer mit dem Bild der virtuellen Umgebung aus einem ersten Gesichtspunkt präsentiert wird, wobei diese erzeugte Präsentation der virtuellen Umgebung modifiziert wird zum Ändern des Gesichtspunktes synchron zu der Befolgung der Sequenz von Bewegungen.
  6. Anordnung nach Anspruch 1, wobei die Bewegungsdetektionsmittel eine Begrenzung aufweisen, die mit einer drehbaren Achse gekoppelt ist und an ein Glied des Benutzers angeordnet werden kann, wobei Bewegung der Begrenzung durch den Benutzer eine Drehung der Achse verursacht und die Benutzerbewegung aus der Winkeldrehung der Achse hergeleitet wird.
  7. Anordnung nach Anspruch 6, weiterhin mit Kraftrückkopplungsmitteln zum Erzeugen eines Momentes entgegen der Drehung der Achse.
  8. Anordnung nach Anspruch 1, wobei der zweite Datenspeicher Daten festhält, die eine Anzahl Sequenzen von Körperbewegungen in betreffenden Gebieten einer Nachschlagtabelle definieren, wobei die Verarbeitungsmittel vorgesehen sind zum Herleiten eines Geschwindigkeitswertes aus den Eingaben aus den Benutzerbewegungsdetektionsmitteln und wobei der genannte Geschwindigkeitswert zum Indizieren der Nachschlagtabelle benutzt wird.
  9. Verfahren zum virtuellen Körpermodellierung zur Benutzer-gelenkten Animation einer Computer-erzeugten Darstellung eines Körpers in einer virtuellen Umgebung, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Speichern von Daten, welche die virtuelle Umgebung definieren; – das Speichern von Daten, die sich auf die Merkmale der virtuellen Körperdarstellung beziehen, – das Ermitteln einer Ausgangslage für den virtuellen Körper innerhalb der virtuellen Um gebung, – das Rendern, auf Basis der gespeicherten Daten, eines Bildes des Körpers innerhalb der virtuellen Umgebung und – das Präsentieren dieses Bildes an einen Benutzer, – das Überwachen der Bewegung des Benutzers in einer physikalischen Umgebung und das Übersetzen der genannten Bewegung in eine Bewegung des virtuellen Körpers gegenüber der virtuellen Umgebung, und – das periodische Modifizieren der erzeugten Körperdarstellung in Reaktion auf die überwachte Bewegung des genannten Benutzers, dadurch gekennzeichnet, dass wenigstens eine vorgespeicherte Sequenz von Körperbewegungen vorgesehen ist, und die erzeugte Körperdarstellung derart modifiziert wird, dass sie der Sequenz von Bewegungen folgt bei Detektion einer Bewegung oder einer vorbestimmten Sequenz physikalischer Bewegungen durch den Benutzer.
  10. Verfahren nach Anspruch 9, wobei die Geschwindigkeit der Modifikation der erzeugten Körperdarstellung durch einen gefilterten Wert für die Geschwindigkeit der Benutzerbewegung bestimmt wird.
DE1996632033 1995-12-07 1996-11-14 Verfahren und vorrichtung zur steuerung der bewegung eines virtuellen körpers Expired - Lifetime DE69632033T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB9525047 1995-12-07
GBGB9525047.8A GB9525047D0 (en) 1995-12-07 1995-12-07 Virtual body control device
PCT/IB1996/001225 WO1997021166A1 (en) 1995-12-07 1996-11-14 Method and apparatus for controlling the movement of a virtual body

Publications (2)

Publication Number Publication Date
DE69632033D1 DE69632033D1 (de) 2004-05-06
DE69632033T2 true DE69632033T2 (de) 2004-11-18

Family

ID=10785064

Family Applications (1)

Application Number Title Priority Date Filing Date
DE1996632033 Expired - Lifetime DE69632033T2 (de) 1995-12-07 1996-11-14 Verfahren und vorrichtung zur steuerung der bewegung eines virtuellen körpers

Country Status (6)

Country Link
US (1) US6285379B1 (de)
EP (1) EP0808484B1 (de)
JP (1) JP3869469B2 (de)
DE (1) DE69632033T2 (de)
GB (1) GB9525047D0 (de)
WO (1) WO1997021166A1 (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5944530A (en) 1996-08-13 1999-08-31 Ho; Chi Fai Learning method and system that consider a student's concentration level
US6697869B1 (en) * 1998-08-24 2004-02-24 Koninklijke Philips Electronics N.V. Emulation of streaming over the internet in a broadcast application
US6438254B1 (en) * 1999-03-17 2002-08-20 Matsushita Electric Industrial Co., Ltd. Motion vector detection method, motion vector detection apparatus, and data storage media
JP3608726B2 (ja) * 2001-04-19 2005-01-12 株式会社ソニー・コンピュータエンタテインメント コントローラ
US20040147330A1 (en) * 2001-08-28 2004-07-29 Dimare Mark Swing fault-correction matrix
US6905339B2 (en) * 2003-01-10 2005-06-14 Dimare Mark Virtual sport instruction
US7046151B2 (en) * 2003-07-14 2006-05-16 Michael J. Dundon Interactive body suit and interactive limb covers
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
WO2007062102A1 (en) * 2005-11-23 2007-05-31 Equusys, Incorporated Animal instrumentation
US8675018B2 (en) * 2007-09-05 2014-03-18 Microsoft Corporation Electromechanical surface of rotational elements for motion compensation of a moving object
WO2012102730A1 (en) 2011-01-28 2012-08-02 Empire Technology Development Llc Sensor-based movement guidance
WO2013039510A1 (en) * 2011-09-16 2013-03-21 Empire Technology Development Llc Remote movement guidance
CN106964150B (zh) * 2011-02-11 2021-03-02 漳州市爵晟电子科技有限公司 一种动作定位点控制系统及其穿套式定点控制设备
US9874944B2 (en) * 2015-05-06 2018-01-23 Pedram Khojasteh System, method and device for foot-operated motion and movement control in virtual reality and simulated environments
CN107921634B (zh) * 2015-08-25 2021-04-02 川崎重工业株式会社 机器人系统
KR102459677B1 (ko) * 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
US10427038B2 (en) 2016-01-21 2019-10-01 Toccata Gaming International, Llc Game console incorporating beam-splitter display and real world objects

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4937444A (en) 1982-09-29 1990-06-26 Vpl Research, Inc. Optical flex sensor
EP0211984B2 (de) 1985-08-19 1996-09-11 Inc. Vpl Research Apparat zur Eingabe und Behandlung von Computerdaten
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5214758A (en) * 1989-11-14 1993-05-25 Sony Corporation Animation producing apparatus
US5631861A (en) * 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
US5255211A (en) 1990-02-22 1993-10-19 Redmond Productions, Inc. Methods and apparatus for generating and processing synthetic and absolute real time environments
US5483630A (en) * 1990-07-12 1996-01-09 Hitachi, Ltd. Method and apparatus for representing motion of multiple-jointed object, computer graphic apparatus, and robot controller
GB9108497D0 (en) 1991-04-20 1991-06-05 Ind Limited W Human/computer interface
EP0545684A2 (de) * 1991-12-02 1993-06-09 Texas Instruments Incorporated Kostengünstiges System zur Modellierung von Spielerpositionen und -bewegungen in einem System der virtuellen Realität
JPH07325934A (ja) * 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5389865A (en) * 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
US5629594A (en) * 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5451924A (en) * 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US5739811A (en) * 1993-07-16 1998-04-14 Immersion Human Interface Corporation Method and apparatus for controlling human-computer interface systems providing force feedback
US5659691A (en) * 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
US5625576A (en) * 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
US5490784A (en) * 1993-10-29 1996-02-13 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5436638A (en) * 1993-12-17 1995-07-25 Fakespace, Inc. Image display method and apparatus with means for yoking viewpoint orienting muscles of a user
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
WO1995020787A1 (en) * 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
JP3214776B2 (ja) * 1994-04-13 2001-10-02 株式会社東芝 仮想環境表示装置および方法
US5846086A (en) * 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5554033A (en) * 1994-07-01 1996-09-10 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5669818A (en) * 1995-03-23 1997-09-23 Thorner; Craig Seat-based tactile sensation generator
AU5019896A (en) * 1995-01-11 1996-07-31 Christopher D Shaw Tactile interface system
US5536225A (en) * 1995-07-07 1996-07-16 Mogul Master Partners Skiing simulator system combining ski training and exercise
US5754023A (en) * 1995-10-26 1998-05-19 Cybernet Systems Corporation Gyro-stabilized platforms for force-feedback applications

Also Published As

Publication number Publication date
EP0808484B1 (de) 2004-03-31
US6285379B1 (en) 2001-09-04
GB9525047D0 (en) 1996-02-07
JP3869469B2 (ja) 2007-01-17
EP0808484A1 (de) 1997-11-26
DE69632033D1 (de) 2004-05-06
WO1997021166A1 (en) 1997-06-12
JPH11500249A (ja) 1999-01-06

Similar Documents

Publication Publication Date Title
DE69632033T2 (de) Verfahren und vorrichtung zur steuerung der bewegung eines virtuellen körpers
US10755465B2 (en) System for neurobehaviorual animation
DE10045117C2 (de) Verfahren und Vorrichtung zur Echtzeit-Geometriesteuerung
Maestri Digital character animation 3
US6545682B1 (en) Method and apparatus for creating and customizing avatars using genetic paradigm
CN110245638A (zh) 视频生成方法和装置
Neff et al. Modeling tension and relaxation for computer animation
US8180613B1 (en) Wrinkles on fabric software
EP0835481B1 (de) Verfahren und vorrichtung zum steuern eines beweglichen geräts
US20200222804A1 (en) Method and system for determining blending coefficients
Kenwright Generating responsive life-like biped characters
CN105580063A (zh) 控制触觉设备的方法和设备
EP3718086A1 (de) Avataranimation
CN114630738B (zh) 用于模拟感测数据和创建感知的系统和方法
CN112669414A (zh) 动画数据的处理方法及装置、存储介质、计算机设备
JP2004516541A (ja) ユーザプロファイルを提供するための方法及びシステム
Alcañiz et al. A new realistic 3D body representation in virtual environments for the treatment of disturbed body image in eating disorders
Hicheur et al. Perception of emotional gaits using avatar animation of real and artificially synthesized gaits
DE69727866T2 (de) Verfahren zur Herstellung von Animationen
EP3716014B1 (de) Übertragen eines zustands zwischen vr-umgebungen
DE60204089T2 (de) Bilderzeugungsverfahren
Berov et al. Visual hallucination for computational creation
Rose III Verbs and adverbs: Multidimensional motion interpolation using radial basis functions
Lam et al. Motion editing with data glove
El-Khalili et al. Architectural design issues for web-based virtual reality training systems

Legal Events

Date Code Title Description
8320 Willingness to grant licences declared (paragraph 23)
8364 No opposition during term of opposition