DE102009019910A1 - Touch sensor device e.g. capacitive touch sensor device, for e.g. personal computer, has gesture unit analyzing time series data to distinguish gesture inputs, where unit is coded with gesture recognition code having linked state modules - Google Patents
Touch sensor device e.g. capacitive touch sensor device, for e.g. personal computer, has gesture unit analyzing time series data to distinguish gesture inputs, where unit is coded with gesture recognition code having linked state modules Download PDFInfo
- Publication number
- DE102009019910A1 DE102009019910A1 DE102009019910A DE102009019910A DE102009019910A1 DE 102009019910 A1 DE102009019910 A1 DE 102009019910A1 DE 102009019910 A DE102009019910 A DE 102009019910A DE 102009019910 A DE102009019910 A DE 102009019910A DE 102009019910 A1 DE102009019910 A1 DE 102009019910A1
- Authority
- DE
- Germany
- Prior art keywords
- touch
- state
- gesture
- user
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04164—Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
- G06F3/0443—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes
Abstract
Description
Die vorliegende Erfindung betrifft die Gestenerkennung und insbesondere die Gestenerkennung durch die Verarbeitung einer zeitlichen Abfolge von Positionseingaben, die über einen zweidimensionalen (2D) Berührungssensor wie etwa einen kapazitiven oder resistiven Berührungssensor empfangen werden. Die Erfindung kann auch auf eindimensionale (1D) Berührungssensoren angewendet werden, wobei die Prinzipien auch auf dreidimensionale Sensoren angewendet werden können. Außerdem kann die Erfindung auf Näherungssensoren angewendet werden, bei denen kein physikalischer Kontakt, d. h. keine Berührung mit einer Sensorfläche erfolgt. Die Erfindung kann weiterhin auf Sensorflächen angewendet werden, die durch den Finger eines Bedieners oder durch einen Stift bedient werden können.The The present invention relates to gesture recognition, and more particularly gesture recognition by processing a time sequence of Position inputs that are sent over a two-dimensional (2D) Touch sensor such as a capacitive or resistive Touch sensor can be received. The invention can also applied to one-dimensional (1D) touch sensors The principles also apply to three-dimensional sensors can be applied. In addition, the invention be applied to proximity sensors, where no physical contact, d. H. no contact with one Sensor surface takes place. The invention may further Sensor surfaces are applied by the finger of a Operator or by a pen.
Kapazitive und resistive 1D- und 2D-Berührungssensoren sind seit vielen Jahren in weiter Verbreitung. Dazu gehören zum Beispiel die Berührungsbildschirme von PDAs, MP3-Playern, Mobiltelefonen oder anderen Multimedia-Geräten. Das anstelle einer Maus vorgesehene Touchpad in Notebook-Computern ist ein weiteres Beispiel für einen kapazitiven 2D-Berührungssensor. 2D-Sensoren sind auch in vielen Haushaltsgeräten wie etwa Öfen und Mixern vorgesehen.capacitive and resistive 1D and 2D touch sensors have been around for many years Years in wide distribution. These include, for example the touch screens of PDAs, MP3 players, mobile phones or other multimedia devices. That instead of a mouse provided touchpad in notebook computers is another example for a capacitive 2D touch sensor. 2D sensors are also in many household appliances such as ovens and Blenders provided.
Kapazitive 2D-Sensoren wurden häufig ausführlich beschrieben, wie zum Beispiel in den Patenten und Patentanmeldungen US 2005/0041018 A1, US 2007/0247443 A1, US 2007/0257894 A1 und US 2007/0279395 A1 des Erfinders Harald Philipp, deren Inhalt hier vollständig unter Bezugnahme eingeschlossen ist.capacitive 2D sensors have often been described in detail as for example in the patents and patent applications US 2005/0041018 A1, US 2007/0247443 A1, US 2007/0257894 A1 and US 2007/0279395 A1 the inventor Harald Philipp, whose contents here completely is incorporated by reference.
Andere
Beispiele für Berührungsbildschirme aus dem Stand
der Technik werden im Folgenden aufgeführt:
Eine Gestenerkennung wird seit vielen Jahren in derartigen Einrichtungen verwendet. Ein frühes Beispiel hierfür ist die Zeichenerkennung in PDAs wie etwa in den Originalgeräten von Palm Inc. Eine ziehende Fingerbewegung und das einfache und doppelte Tippen auf dem Touchpad eines Notebooks sind andere seit langem genutzte Beispiele. In letzter Zeit wurde die Gestenerkennung in Handheld-Geräte wie etwa das Apple iPhone (eingetragene Marke) integriert. Außerdem gibt es viele Patentveröffentlichungen aus dem Stand der Technik zu Berührungsbildschirmen, die eine Gestenerkennung verwenden, wobei insbesondere Synaptics, Inc. und in letzter Zeit Apple Computer, Inc. viele derartige Veröffentlichungen getätigt haben.A Gesture recognition has been used in such facilities for many years used. An early example of this is the Character recognition in PDAs such as in the original devices by Palm Inc. A pulling finger movement and the simple and Double taps on the touchpad of a notebook are different since long used examples. Lately, the gesture recognition in handheld devices such as the Apple iPhone (registered Brand) integrated. In addition, there are many patent publications from the prior art to touch screens, the using gesture recognition, in particular Synaptics, Inc. and, more recently, Apple Computer, Inc. has made many such publications have done.
Allgemein
ist die Rohausgabe aus dem 2D-Berührungssensor eine zeitliche
Abfolge von x,y-Koordinaten, die dann durch eine Software oder durch
eine mittels einer Software einer höheren Ebene erzeugte
Firmware verarbeitet werden, um die Beschaffenheit der eingegebenen
Geste zu unterscheiden. Allgemein werden die Rohdaten in benachbarte Berührungssegmente
aufgeteilt und dann verarbeitet, um zu bestimmen, welche Gesten
deduziert werden können. Die Verarbeitung der Rohdaten
zur Identifizierung der Gesten kann in demselben Chip erfolgen,
der die Rohdaten erzeugt: Die Rohdaten können aber auch
zu einem externen Chip exportiert werden, zum Beispiel mittels einer Übertragung über einen
Kommunikationsbus zu der CPU der Einrichtung. Der erste Ansatz wird
bevorzugt durch Synaptics verwendet, während der zweite
Ansatz zum Beispiel durch in
Die Patentliteratur ist zumeist unspezifisch in Bezug darauf, wie die zeitliche Abfolge der Rohdaten zu Gesten gewandelt wird. Der direkte Ansatz sieht vor, dass ein entsprechender Code der höheren Ebene zum Beispiel in C oder in einer anderen geeigneten Programmiersprache geschrieben wird, wobei die Interpretation der zeitliche Abfolge der Daten unter Verwendung von bedingten Anweisungen wie etwa „if”, „then” und „else” analysiert wird.The Patent literature is mostly unspecific in terms of how the temporal sequence of raw data is converted into gestures. The direct Approach provides that a corresponding code of higher Level for example in C or in another suitable programming language is written, with the interpretation of the temporal sequence analyzed using conditional statements such as "if", "then" and "else" becomes.
Es ist jedoch schwierig, einen Code zuverlässig und effizient hinzuzufügen, um eine neue Geste in einem vorhandenen Codeblock zu identifizieren und zwischen einer größeren Anzahl von Gesten wie etwa 3 bis 4 oder etwa 10 bis 20 zu unterscheiden. Das Testen des Codes bereitet besondere Schwierigkeiten. Der Grund hierfür liegt allgemein darin, dass sich die Eingabe an einem beliebigen mittleren Punkt in einer zeitlichen Abfolge von x,y,t-Daten auf eine Vielzahl von möglichen Gesten beziehen kann, sodass die Codierung zum Erkennen einer Geste allgemein abhängig von der Codierung zum Erkennen einer anderen Geste ist oder mit dieser verknüpft ist.It However, it is difficult to code reliably and efficiently add a new gesture in an existing code block to identify and between a larger one Number of gestures such as 3 to 4 or about 10 to 20 to distinguish. The Testing the code presents particular difficulties. The reason for that is generally that the input at any middle point in a time sequence of x, y, t data can relate to a variety of possible gestures, so the coding for detecting a gesture generally dependent from coding to recognizing another gesture is or with this is linked.
Die vorliegende Erfindung löst dieses Problem, indem sie den Ansatz einer Zustandsmaschine für den Entwurf und das Schreiben des Gestenerkennungsalgorithmus verwendet. Insbesondere betrifft die Erfindung eine Berührungssensoreinrichtung, die umfasst: wenigstens einen eindimensionalen Sensor, der angeordnet ist, um ein Erfassungssignal in Reaktion auf die Nähe eines Objekts auszugeben; eine Positionsverarbeitungseinheit zum Berechnen der Position einer Interaktion mit dem empfindlichen Bereich aus einer Analyse der Erfassungssignale und zum Ausgeben einer zeitlichen Abfolge von Daten zu den Interaktionspositionen auf dem Sensor; und eine Gestenverarbeitungseinheit, die betreiben werden kann, um die zeitliche Abfolge der Daten zu analysieren und eine oder mehrere Gesteneingaben zu unterscheiden, wobei die Gestenerverarbeitungseinheit mit einem Gestenerkennungscode codiert ist, der eine Vielzahl von miteinander verknüpften Zustandsmodulen umfasst. Die Erfindung betrifft weiterhin ein entsprechendes SignalverarbeitungsverfahrenThe The present invention solves this problem by providing the Approach of a state machine for design and writing used by the gesture recognition algorithm. In particular, the The invention relates to a touch sensor device comprising: at least one one-dimensional sensor arranged to a detection signal in response to the proximity of an object to spend; a position processing unit for calculating the position an interaction with the sensitive area from an analysis the detection signals and for outputting a temporal sequence data on the interaction positions on the sensor; and a gesture processing unit, which can be operated to the temporal sequence of the data too analyze and distinguish one or more gesture inputs, the gesture processing unit having a gesture recognition code encoded, which is a variety of linked State modules includes. The invention further relates to a corresponding Signal processing method
Der Gestenerkennungscode kann in einer höheren Programmiersprache wie etwa C geschrieben und dann kompiliert und in einem Mikrocontroller-Chip oder einem CPU-Chip eingebettet werden. Vorzugsweise wird der Gestenerkennungscode in denselben Chip geladen, der auch die Berührungssignale von dem Bildschirm interpretiert und die zeitliche Abfolge von Daten erzeugt, wie etwa in einen Mikrocontroller oder in eine andere programmierbare Logikeinrichtung wie etwa ein FPGA (Field Programmable Gate Array). Dieser Ansatz wurde verwendet, um einen zuverlässigen und testbaren Code für Einfachberührungs-Dateneingabebildschirme und auch für Mehrfachberührungs-Dateneingabebildschirme zu erzeugen. Bei einem Einfachberührungs-Bildschirm wird nur eine gleichzeitige Berührung auf dem Bildschirm unterstützt, wobei zu einem bestimmten Zeitpunkt jeweils nur eine x,y-Koordinate ausgegeben wird. Ein Mehrfachberührungs-Dateneingabebildschirm kann mehrere gleichzeitige Berührungen erfassen, wie etwa zwei oder drei gleichzeitige Berührungen.Of the Gesture recognition code can be in a high level programming language such as C written and then compiled and stored in a microcontroller chip or a CPU chip. Preferably, the gesture recognition code becomes loaded into the same chip, which also contains the touch signals interpreted by the screen and the timing of data generated, such as in a microcontroller or in another programmable logic device such as an FPGA (Field Programmable Gate Array). This approach was used to provide a reliable and testable code for single-touch data entry screens and also for multi-touch data input screens produce. On a single-touch screen will only supports a simultaneous touch on the screen, only one x, y coordinate at a time is issued. A multi-touch data input screen can detect multiple simultaneous touches, such as two or three simultaneous touches.
Die Zustandsmaschine umfasst ein Ruhezustandsmodul, das dem Startzustand entspricht und auch der Zustand ist, zu dem zurückgekehrt wird, nachdem ein Gesteninterpretations-Zustandsmodul verlassen wurde.The state machine includes a quiet state module, which corresponds to the start state and is also the state to return to after a gesture interpretation state module has been exited.
In Reaktion auf eine Berührung gibt der Ruhezustand die Steuerung an einen Berührungszustand.In In response to a touch, the idle state gives the controller to a touch condition.
In einer Mehrfachberührungsumgebung wird die Zustandsmaschine in der weiter unten beschriebenen zweiten Ausführungsform derart implementiert, dass mehrere Berührungszustände vorliegen, nämlich einer für eine einfache Berührung, einer für eine zweifache Berührung, einer für eine dreifache Berührung usw., wobei die Steuerung auf der Basis der Anzahl von gleichzeitigen Berührungen, die durch die zeitliche Abfolge von Daten zu diesem Zeitpunkt definiert werden, an den entsprechenden Berührungszustand gegeben wird.In a multi-touch environment becomes the state machine in the second embodiment described below implemented such that multiple touch states present, namely one for a simple touch, one for a double touch, one for a triple touch, etc., with the control on the base of the number of simultaneous touches by the temporal sequence of data is defined at that time, is given to the appropriate touch condition.
Der oben beschriebene Ansatz für die Handhabung von Mehrfachberührungsgesten durch Zweifachberührungs- und Dreifachberührungszustände, die mit Einfachberührungszuständen verknüpft sind, funktioniert gut, wobei jedoch die Umkonfiguration der Zustandsmaschine für das Hinzufügen einer neuen Mehrfachberührungsgeste angesichts des zunehmend komplexen Netzes von Zuständen und Übergängen schwierig ist. Dieses Problem wird durch eine weiter unten beschriebene vierte Ausführungsform der Erfindung gelöst, in der eine Vielzahl von Zustandsmaschinen vorgesehen sind, die jeweils auf eine Einfachberührungs-Gestenerkennung beschränkt sind. Wenn der Gestenerkennungscode konfiguriert ist, um Gesten mit bis zu drei gleichzeitigen Berührungen zu erkennen, dann werden drei derartige Einfachberührungs-Zustandsmaschinen vorgesehen. Weitere Zustandsmaschinen werden für eine Mehrfachberührungs-Gestenerkennung vorgesehen, die jeweils für eine bestimmte Anzahl von gleichzeitigen Berührungen zuständig sind, sodass eine Zweifachberührungs-Zustandsmaschine und optional eine Dreifachberührungs-Zustandsmaschine und weiterhin optionale zusätzliche Zustandsmaschinen für noch größere Anzahlen von gleichzeitigen Berührungen vorgesehen werden. Ein Hauptvorteil dieses Ansatzes besteht darin, dass dieselbe Codebasis für die Handhabung von Einfachberührungen verwendet wird, wobei Zweifachberührungen, Dreifachberührungen oder größere Anzahlen von gleichzeitigen Berührungen unter Verwendung eines separaten, zusätzlich vorgesehenen Codes verarbeitet werden, der in separaten Zustandsmaschinen eingebettet ist.Of the approach described above for the handling of multiple touch gestures by dual touch and triple touch states, the linked to single touch states are working well, but with the reconfiguration of the state machine for adding a new multiple touch gesture in the face of the increasingly complex network of states and transitions is difficult. This problem will by a fourth embodiment of the invention described below Solved invention in which a variety of state machines are provided, each on a single touch gesture recognition are limited. When the gesture recognition code is configured is to make gestures with up to three simultaneous touches then three such single-touch state machines are provided. Other state machines are used for multi-touch gesture recognition provided, each for a certain number of simultaneous Touch are responsible, so a dual-touch state machine and optionally a triple touch state machine and furthermore optional additional state machines for even greater numbers of simultaneous touches be provided. A major advantage of this approach is that that same codebase for handling single touches is used, with dual touch, triple touch or greater numbers of simultaneous touches using a separate, additionally provided Codes are processed, embedded in separate state machines is.
Eine Berührung wird gewöhnlich als eine gültige Berührung ausgegeben, wenn bestimmte Kriterien erfüllt werden, wobei ein gewöhnliches Kriterium darin besteht, dass eine Abfolge von Berührungen an einer stabilen x,y-Position oder in einem x,y-Bereich über mehrere Zeitabtastungsinkremente vorhanden sind. Wenn eine Berührung mit einer Dauer von mehr als einer Schwelldauer in dem Berührungszustand erfasst wird, dann geht der Steuerfluss zu einem Drückzustandsmodul über, wobei der Drückzustand zur Handhabung von längeren Berührungen dient. Der Drückzustand ist vorzugsweise ein Superzustand, der mehrere Subzustände umfasst, um zwischen verschiedenen Dauern des Drückens zu unterscheiden und/oder zu gestatten, dass ein sehr langes Drücken als ein wiederholtes Drücken interpretiert wird, was zum Beispiel nützlich für Anwendungen mit einer Eingabe über alphanumerische Tasten sein kann.A Touch is usually considered a valid one Touch issued when meets certain criteria with one common criterion being a sequence of touches at a stable x, y position or in an x, y range over a plurality of time sample increments available. If a touch with a duration of detected more than one threshold duration in the touch state then the control flow goes to a push state module, wherein the pushing condition for handling longer Touches serves. The pushing condition is preferable a super state that includes multiple sub-states to switch between to distinguish between different durations of pressing and / or to allow a very long press as a repeated Pressing is interpreted, which is useful, for example for applications with alphanumeric input Keys can be.
Die Zustandsmaschine weist vorzugsweise auch eine Vielzahl von Zustandsmodulen für das Interpretieren von Gesten einer höheren Ebene auf, wie etwa einen oder mehrere Zustände für das Interpretieren von doppelt tippenden, kurz ziehenden, ziehenden und anderen Gesten. Die Gesten umfassen gewöhnlich diejenigen, die speziell in diesem Dokument beschrieen werden, sowie andere aus dem Stand der Technik bekannte Gesten wie insbesondere diejenigen, die in den oben zitierten Dokumenten aus dem Stand der Technik angegeben werden.The State machine preferably also has a plurality of state modules for interpreting gestures of a higher one Level up, such as one or more states for the interpreting of doubly typing, short drawing, drawing and other gestures. The gestures usually include those which are specifically described in this document, as well as others Gestures known from the prior art such as, in particular, those those given in the above cited prior art documents become.
Die Erfindung gibt in einem Aspekt eine Berührungssensoreinrichtung an, die umfasst: einen Sensor mit einem empfindlichen Bereich, der sich in wenigstens einer Dimension erstreckt und angeordnet ist, um Erfassungssignale in Reaktion auf die Nähe eines Objekts zu einem empfindlichen Bereich auszugeben; eine Positionsverarbeitungseinheit, die betrieben werden kann, um Positionen von Interaktionen mit dem empfindlichen Bereich aus einer Analyse der Erfassungssignale zu berechnen und um eine zeitliche Abfolge von Daten auszugeben, die die Interaktionspositionen des Sensors und damit Berührungen angeben; und eine Gestenverarbeitungseinheit, die betrieben werden kann, um die zeitliche Abfolge von Daten zu analysieren, um eine oder mehrere Gesteneingaben aus denselben zu unterscheiden, wobei die Gestenverarbeitungseinheit mit einem Gestenerkennungscode codiert wird, der eine Vielzahl von verknüpften Zustandsmodulen umfasst.The In one aspect, the invention provides a touch sensor device which comprises: a sensor having a sensitive area which extends and is arranged in at least one dimension around detection signals in response to the proximity of an object to spend a sensitive area; a position processing unit, which can be operated to positions of interactions with the sensitive area from an analysis of the detection signals too to calculate and to output a temporal succession of data that the interaction positions of the sensor and thus touches specify; and a gesture processing unit that are operated can to analyze the time sequence of data to a or to distinguish a plurality of gesture inputs from the same, wherein the gesture processing unit is encoded with a gesture recognition code which is a variety of linked state modules includes.
Weitere Aspekte der Erfindung betreffen die Gestenverarbeitungseinheit alleine und die Gestenverarbeitungseinheit in Kombination mit der Positionsverarbeitungseinheit, aber ohne den Sensor.Further Aspects of the invention relate to the gesture processing unit alone and the gesture processing unit in combination with the position processing unit, but without the sensor.
Die Vielzahl von Zustandsmodulen umfasst vorzugsweise ein Ruhezustandsmodul und eine Vielzahl von Gesteninterpretations-Zustandsmodulen, wobei in das Ruhezustandsmodul zu Beginn des Betriebs eingetreten wird und von wenigstens einigen der Gesteninterpretations-Zustandmodule zu demselben zurückgekehrt werden kann. Die Vielzahl von Gesteninterpretations-Zustandsmodulen kann ein Berührungs-Zustandsmodul für einfache Berührungen umfassen, wobei der Ruhezustand nach einer Berührung die Steuerung an den Berührungszustand gibt.The plurality of state modules preferably includes an idle state module and a plurality of gesture interpretation state modules, wherein the idle state module is entered at the beginning of the operation and may be returned from at least some of the gesture interpretation state modules thereto. The variety of Gesture interpretation state modules may include a touch state module for simple touches, wherein the idle state after a touch gives the control to the touch state.
In einigen Ausführungsformen umfasst die Vielzahl von Gesteninterpretations-Statusmodulen wenigstens ein Mehrfachberührungs-Zustandmodul, das betrieben werden kann, um mehrere gleichzeitige Berührungen zu verarbeiten, wobei die Gestenverarbeitungseinheit betrieben werden kann, um die Steuerung auf der Basis der Anzahl von gleichzeitigen Berührungen, die durch die zeitliche Abfolge von Daten zu diesem Zeitpunkt definiert wird, an das entsprechende Berührungs-Zustandsmodul abzugeben. Es kann ein Mehrfachberührungs-Zustandsmodul für jeweils zwei gleichzeitige Berührungen und drei gleichzeitige Berührungen vorgesehen sein, wobei optional auch größere Anzahlen von Berührungen berücksichtigt werden können.In In some embodiments, the plurality of gesture interpretation status modules include at least a multi-touch state module that operates can handle multiple simultaneous touches, wherein the gesture processing unit is operable to control based on the number of simultaneous touches, which is defined by the timing of data at that time is to deliver to the corresponding touch state module. It may be a multi-touch state module for each two simultaneous touches and three simultaneous touches be provided, optionally also larger numbers can be taken into account by touch.
Die Vielzahl von Gesteninterpretations-Zustandsmodulen kann vorzugsweise ein Drück-Zustandsmodul umfassen, an das die Steuerung von einem Berührungs-Zustandsmodul gegeben werden kann, wenn eine Berührung mit einer Dauer, die länger als eine Schwelldauer ist, in dem Berührungszustandsmodul erfasst wird. Der Drückzustand ist vorzugsweise ein Superzustand, der mehrere Unterzustände umfasst, um zwischen verschiedenen Drückdauern zu unterscheiden.The Variety of gesture interpretation state modules may preferably a push state module to which the controller can be given by a touch state module, if a touch with a duration longer is a threshold duration in the touch state module is detected. The push state is preferably a super state, which includes several sub-states to distinguish between different ones Distinguish pressure periods.
In einigen Ausführungsformen umfasst die Vielzahl von Gesteninterpretations-Zustandsmodulen eine Vielzahl von Zustandsmodulen, die betrieben werden können, um auf Bewegungen bezogene Gesten zu erkennen die aus einer oder mehreren bewegten Berührungen abgeleitet werden. In anderen Ausführungsformen werden nur statische Gesten wie etwa ein Drücken, Tippen oder doppeltes Tippen berücksichtigt.In In some embodiments, the plurality of gesture interpretation state modules includes a variety of state modules that can be operated to recognize movements related to gestures that come from one or the other derived from several moving touches. In other embodiments Only static gestures such as a press, tap or double typing.
Eine bevorzugte Implementierung für das Interpretieren von Mehrfachberührungsgesten gemäß der Erfindung sieht einen Gestenerkennungscode vor, der konfiguriert ist, um Gesten mit bis zu N gleichzeitigen Berührungen zu erkennen, wobei N wenigstens gleich 2 ist, und umfasst N Einfachberührungs-Zustandsmaschinen, die betrieben werden können, um nur Einfachberührungsgesten zu erkennen, und N – 1 Mehrfachberührungs-Zustandsmaschinen, die jeweils betrieben werden können, um nur n-fache Berührungsgesten zu erkennen, wobei n gleich 2 bis N ist.A preferred implementation for interpreting multiple touch gestures according to the invention provides a gesture recognition code, which is configured to gestures up to N simultaneous touches where N is at least equal to 2, and includes N single-touch state machines, which can be operated to only single touch gestures and N - 1 multi-touch state machines, which can each be operated to only n-fold touch gestures to recognize where n is 2 to N.
Die Positionsverarbeitungseinheit und die Gestenverarbeitungseinheit können in einer einzelnen integrierten Schaltung wie zum Beispiel einem Mikrocontroller untergebracht und in derselben ausgeführt werden. Alternativ hierzu kann die Positionsverarbeitungseinheit in einer ersten integrierten Schaltung wie etwa einem Mikrocontroller untergebracht und ausgeführt werden, während die Gestenverarbeitungseinheit in einer oder mehreren separaten integrierten Schaltungen wie etwa einem PC oder einem anderen komplexen System mit einer eigenen Verarbeitungseinheit, einer Grafikverarbeitungseinheit und/oder einem digitalen Signalprozessor mit assoziiertem Speicher und Busverbindungen untergebracht und ausgeführt werden kann.The Position processing unit and the gesture processing unit can work in a single integrated circuit such as Example housed and executed in a microcontroller become. Alternatively, the position processing unit in a first integrated circuit such as a microcontroller be housed and executed while the Gesture processing unit in one or more separate integrated Circuits such as a PC or other complex system with its own processing unit, a graphics processing unit and / or a digital signal processor with associated memory and bus connections are housed and executed can.
Die Erfindung gibt in einem anderen Aspekt ein Verfahren zum Erkennen von Gesten aus einer zeitlichen Abfolge von Berührungsdaten mit Koordinaten von Interaktionspositionen auf einem Berührungssensor an, wobei das Verfahren umfasst: Empfangen von Berührungskoordinaten, die zeitlich etikettiert oder geordnet sind; Analysieren der Berührungskoordinaten in einer Zustandsmaschine, die eine Vielzahl von verknüpften Zustandsmodulen umfasst, um eine aus einer Vielzahl von definierten Gesten aus derselben zu erkennen; und Ausgeben der erkannten Gesten.The Invention in another aspect provides a method of recognition gestures from a temporal sequence of touch data with coordinates of interaction positions on a touch sensor wherein the method comprises: receiving touch coordinates, which are labeled or ordered in time; Analyze the touch coordinates in a state machine that has a lot of linked State modules include one of a variety of defined ones To recognize gestures from the same; and outputting the recognized gestures.
Die Erfindung gibt in einem weiteren Aspekt eine einzelne integrierte Schaltung an, die einen Speicher aufweist, auf den die oben genannte Gesten-Zustandsmaschine geladen ist, und die betrieben werden kann, um das oben definierte Verfahren für die Gestenerkennung auszuführen.The Invention in a further aspect provides a single integrated one Circuit on, which has a memory to which the above Gesture state machine is loaded, and which can be operated to the above-defined method for gesture recognition perform.
Die Erfindung gibt in einem weiteren Aspekt einen Computer an, der einen Speicher aufweist, auf den die oben genannte Gesten-Zustandsmaschine geladen ist, und der betrieben werden kann, um das oben definierte Verfahren für die Gestenerkennung auszuführen.The Invention indicates in a further aspect a computer having a Memory loaded on the above-mentioned gesture state machine is, and which can be operated to the above-defined method for gesture recognition.
Es ist zu beachten, dass der Ansatz der Gesten-Zustandsmaschine für die Gestenerkennung auf eine beliebige Hardwareplattform angewendet werden kann. Kapazitive Berührungssensoren und insbesondere eindimensionale und zweidimensionale kapazitive Berührungssensoren sind ein wichtiger Sensortyp, der eine Hardware-Plattform für eine Gestenerkennungs-Zustandsmaschine gemäß der Erfindung vorsehen kann. Insbesondere kann die Erfindung auch auf so genannte passive oder aktive kapazitive Erfassungstechniken angewendet werden.It Note that the approach of the gesture state machine for Gesture recognition applied to any hardware platform can be. Capacitive touch sensors and in particular one-dimensional and two-dimensional capacitive touch sensors are an important type of sensor that has a hardware platform for a gesture recognition state machine according to the invention can provide. In particular, the invention may also refer to so-called passive or active capacitive detection techniques are applied.
Passive
kapazitive Erfassungseinrichtungen messen die Kapazität
einer Erfassungselektrode zu einem Systembezugspotential (Erde).
Die Prinzipien dieser Technik werden zum Beispiel in
Aktive
2DCT-Sensoren messen die kapazitive Kopplung zwischen zwei Elektroden
(und nicht zwischen einer einzelnen Erfassungselektrode und einer
Systemerde). Die den aktiven kapazitiven Erfassungstechniken zugrunde
liegenden Prinzipien werden in
Es ist zu beachten, dass es auch verschiedene andere Erfassungstechnologien gibt. Dazu gehören Techniken, die auf resistiven Bildschirmen basieren und gewöhnlich mit einem Stift bedient werden, oder für große Bereiche entwickelte Technologien wie etwa solche, die auf Ultraschall oder anderen akustischen Techniken beruhen, oder Techniken, die auf einer totalen internen Reflexion oder auf anderen optischen Wirkungen beruhen. Alle diese Techniken können von der vorliegenden Erfindung profitieren.It It should be noted that there are also various other detection technologies gives. These include techniques used on resistive screens are based and usually operated with a pen, or technologies developed for large areas such as such as those based on ultrasound or other acoustic techniques or techniques based on total internal reflection or based on other optical effects. All of these techniques can benefit from the present invention.
Es ist zu beachten, dass in der vorliegenden Patentanmeldung der Begriff „Zustandsmaschine” verwendet wird. Eine Zustandsmaschine kann auch durch das Akronym FSM (Finite State Machine) angegeben werden.It It should be noted that the term "state machine" is used in the present patent application becomes. A state machine can also be represented by the acronym FSM (Finite State machine).
Die Erfindung wird im Folgenden anhand einiger Ausführungsformen mit Bezug auf die beigefügten Zeichnungen verdeutlicht.The Invention will be described below with reference to some embodiments clarified with reference to the accompanying drawings.
Bevor im Folgenden verschiedene Ausführungsformen der Erfindung beschrieben werden, sollen hier zuerst die in der ausführlichen Beschreibung der Ausführungsformen genannten Gesten erläutert werden.Before In the following, various embodiments of the invention should be described here first in the detailed Description of the embodiments mentioned gestures will be explained.
Tippen: Bei einem Tippen berührt und verlässt ein Benutzer die Berührungsfläche schnell wieder. Es tritt keine wesentliche Bewegung auf, während sich der Finger des Benutzers auf der Berührungsfläche befindet. Das Tippen ist durch eine kurze Berührungsdauer gekennzeichnet. Ein Tippen kann zum Beispiel verwendet werden, um einen Hyperlink auf einer angezeigten Internetseite zu aktivieren.Tap: When you tap, a user touches and leaves the touchpad quickly again. It occurs no significant movement while the finger the user is on the touchpad. Typing is characterized by a short touch duration. For example, a tap can be used to hyperlink to a displayed webpage.
Doppeltes Tippen: Bei einem doppelten Tippen berührt und verlässt der Benutzer die Berührungsfläche zweimal schnell hintereinander. Es tritt keine wesentliche Bewegung auf, während sich der Finger des Benutzers auf der Berührungsfläche befindet. Das doppelte Tippen ist durch kurze Berührungsdauern und eine kurze Pause zwischen der ersten und der zweiten Berührung gekennzeichnet. Ein doppeltes Tippen kann zum Beispiel verwendet werden, um ein Wort in einem angezeigten Dokument zu markieren.double Tap: touches and leaves with a double tap the user quickly makes the touchpad twice behind each other. There is no significant movement while the user's finger on the touchpad located. Double typing is due to short touch times and a short break between the first and the second touch characterized. A double tap can be used for example to mark a word in a displayed document.
Drücken: Bei einem Drücken berührt und hält der Benutzer die Berührungsfläche. Es tritt keine wesentliche Bewegung auf, während sich der Finger des Benutzers auf der Berührungsfläche befindet. Das Drücken kann zum Beispiel verwendet werden, um eine Zahl aus einem angezeigten Tastenfeld zu wählen. Derselbe Mechanismus kann auch verwendet werden, um die gewählte Nummer automatisch zu wiederholen, wenn der Benutzer die angezeigte Nummer gedrückt hält.To press: When pressed touches and holds the User the touchpad. It does not occur significant movement while the user's finger located on the touchpad. The pressing can be used, for example, to get a number from a displayed one Keypad to select. The same mechanism can also be used to automatically repeat the dialed number, when the user holds down the displayed number.
Kurzes Ziehen (Flick): Bei einem kurzen Ziehen berührt der Benutzer die Berührungsfläche schnell, führt eine kurze Bewegung durch und lässt die Berührung wieder los. Das kurze Ziehen ist durch eine kurze Berührungsdauer gekennzeichnet. Ein kurzes Ziehen kann zum Beispiel verwendet werden, um das nächste in einer Folge von Bildern anzuzeigen.short Pull (Flick): A short pull touches the user the touchpad quickly leads one short movement through and leaves the touch again Come on. The short pull is due to a short contact duration characterized. For example, a short drag can be used to to display the next one in a sequence of pictures.
Ziehen: Bei einem Ziehen berührt der Benutzer die Berührungsfläche, bewegt seinen Finger über die Fläche und beendet die Berührung. Das Ziehen ist durch eine große Bewegung über die Berührungsfläche gekennzeichnet. In Abhängigkeit von der Anwendung können mehrere Ziehereignisse erzeugt werden, während der Benutzer seinen Finger bewegt. Dies kann zum Beispiel verwendet werden, um einen Satz in einem angezeigten Dokument zu markieren.Pull: When dragging, the user touches the touchpad, moves his finger over the surface and ends the touch. The pull is through a big one Movement characterized by the contact surface. Depending on the application, several Drag events are generated while the user is using his Finger moves. This can for example be used to one Mark sentence in a displayed document.
Stauchen: Bei einem Stauchen platziert der Benutzer zwei Finger auf der Berührungsfläche und bewegt die Finger dann aufeinander zu. Dies kann zum Beispiel verwendet werden, um ein angezeigtes Bild zu verkleinern.upsetting: When upsetting, the user places two fingers on the touchpad and then move the fingers toward each other. This can be, for example used to shrink a displayed image.
Strecken: Bei einem Strecken platziert der Benutzer zwei Finger auf der Berührungsfläche und bewegt die Finger dann auseinander. Dies kann zum Beispiel verwendet werden, um ein angezeigtes Bild zu vergrößern.Stretch: When stretched, the user places two fingers on the touchpad and then move your fingers apart. This can be used for example to enlarge a displayed image.
Drehen: Bei einem Drehen platziert der Benutzer zwei Finger auf der Berührungsfläche und dreht die Finger dann relativ zueinander. Dies kann zum Beispiel verwendet werden, um ein angezeigtes Bild zu drehen.Rotate: When rotated, the user places two fingers on the touchpad and then rotate your fingers relative to each other. This can be, for example used to rotate a displayed picture.
Bevor im Folgenden verschiedene Ausführungsformen der Erfindung beschrieben werden, sollen hier zuerst die in der ausführlichen Beschreibung der Ausführungsformen genannten Ereignisse definiert werden. Diese Ereignisse werden durch die weiter unten beschriebenen Zustandsmaschinen der Erfindung ausgeführt. Es ist zu beachten, dass die Zustandsmaschine in einigen Ausführungsformen gleichzeitig mehrere Ereignisse in Reaktion auf bestimmte Benutzeraktionen erzeugen kann.Before In the following, various embodiments of the invention should be described here first in the detailed Description of the embodiments mentioned events To be defined. These events are explained by the below described state machines of the invention executed. It should be noted that in some embodiments, the state machine is simultaneous generate multiple events in response to specific user actions can.
Tippen: Ein Tippereignis wird erzeugt, wenn der Benutzer eine Tippgeste ausführt.Tap: A jog event is generated when the user makes a jog gesture performs.
Doppeltes Tippen: Ein doppeltes Tippereignis wird erzeugt, wenn der Benutzer eine doppelte Tippgeste ausführt.double Tap: A double tap event is generated when the user Do a double tap gesture.
Drücken: Ein Drückereignis wird erzeugt, wenn der Benutzer die Berührungsfläche berührt und seinen Finger dann stationär hält.To press: A push event is generated when the user touches the touchpad touched and then keeps his finger stationary.
Kurzes Drücken: Ein kurzes Drückereignis wird nach einem Drückereignis erzeugt, wenn der Benutzer seinen Finger weiterhin für eine bestimmte Zeitdauer stationär hält.Short press: A short press event is generated after a press event when the User keeps his finger stationary for a certain period of time.
Langes Drücken: Ein langes Drückereignis wird nach einem kurzen Drückereignis erzeugt, wenn der Benutzer seinen Finger weiterhin für eine bestimmte Zeitdauer stationär hält.long Press: A long press event will go to one short push event generated when the user his Fingers continue to be stationary for a certain period of time holds.
Wiederholtes Drücken: Ein wiederholtes Drückereignis wird nach einem langen Drückereignis erzeugt, wenn der Benutzer seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Wenn der Benutzer seinen Finger weiterhin stationär hält, werden wiederholte Drückereignisse mit regelmäßigen Intervallen erzeugt.Repeated Press: A repeated press event will disappear a long press event when the user generates his Finger stationary for a certain period of time has held. If the user continues to hold his finger stationary stops are repeated pusher events with regular Intervals generated.
Lösen: Ein Lösungsereignis wird erzeugt, wenn der Benutzer seine Finger von der Berührungsfläche entfernt.To solve: A solution event is generated when the user has his Finger away from the touchpad.
Kurzes Ziehen (Flick): Ein kurzes Ziehereignis wird erzeugt, wenn der Benutzer eine kurze Ziehgeste ausführt.short Drag (Flick): A short drag event is generated when the user makes a short drag gesture.
Ziehen: Ein Ziehereignis wird erzeugt, wenn der Benutzer eine Ziehgeste ausführt.Pull: A drag event is generated when the user makes a drag gesture performs.
Mehrfachberührung (oder Zweifachberührung): Ein Mehrfachberührungsereignis (oder Zweifachberührungsereignis) wird erzeugt, wenn der Benutzer die Berührungsfläche mit zwei Fingern berührt.Multi-touch (or dual touch): A multi-touch event (or double touch event) is generated when the User the touchpad with two fingers touched.
Stauchen: Ein Stauchereignis wird erzeugt, wenn der Benutzer eine Stauchgeste ausführt.upsetting: An upsetting event is generated when the user makes an upsetting gesture performs.
Strecken: Ein Streckereignis wird erzeugt, wenn der Benutzer eine Streckgeste ausführt.Stretch: A stretching event is generated when the user makes a stretching gesture performs.
Drehen: Ein Drehereignis wird erzeugt, wenn der Benutzer eine Drehgeste ausführt.Rotate: A spin event is generated when the user makes a swivel gesture performs.
Im Folgenden wird der Ruhezustand beschrieben. Der Ruhezustand tritt immer dann auf, wenn die Berührungsfläche nicht von einem Benutzer berührt wird. In diesem Zustand werden keine Aktionen ausgelöst und keine Aktionen ausgeführt. Der Ruhezustand geht in einen Berührungszustand über, wenn der Benutzer die Berührungsfläche mit einem Finger berührt. Der Ruhezustand weist keine Parameter auf, und es sind keine Zeitberechnungen mit dem Ruhezustand assoziiert.in the The following describes the idle state. The hibernation occurs always on when the contact surface is not is touched by a user. In this state will be no actions are triggered and no action is taken. The idle state changes to a touch state when the user the touch surface with a finger touched. Hibernation has no parameters, and there are no time calculations associated with hibernation.
Im Folgenden wird der Berührungszustand beschrieben. Der berührte Zustand tritt auf, wenn ein Benutzer die Berührungsfläche berührt. Wenn in den Berührungszustand eingetreten wird, wird eine Zeitbeschränkung gestartet, d. h. es wird ein Timer gesetzt, der nach einer vorbestimmten Zeitdauer abläuft. Dadurch wird zwischen Gesten kurzer Dauer wie etwa einem kurzen Ziehen (Flick) und einem Tippen und Gesten langer Dauer wie etwa einem Drücken unterschieden. Die Ausgangsposition der Berührung wird gespeichert. Dies dient zur Bestimmung, ob der Benutzer seine Finger bewegt hat. In dem Berührungszustand wird auf einen Ablauf der Zeitbeschränkung geprüft und wird die von der Ausgangsposition der Berührung zurückgelegte Distanz berechnet. Wenn die Zeitbeschränkung abläuft, durchläuft die Zustandsmaschine einen Übergang, indem sie ein Drückereignis erzeugt und dann in den Drückzustand übergeht. Wenn der Benutzer den Finger über eine spezifizierte Distanz hinaus von der Ausgangsposition der Berührung bewegt, tritt die Zustandsmaschine in einen Wartezustand für ein kurzes Ziehen ein. Wenn der Benutzer die Berührung beendet, tritt die Zustandsmaschine in den Wartezustand für das zweite Tippen ein. Folgende Aktionen bestimmen, ob ein Tippen, ein doppeltes Tippen oder eine andere Geste erzeugt wird. Der Zeitbeschränkungsparameter in dem Berührungszustand bestimmt, wie lange der Benutzer seinen Finger entfernen muss, um ein Tippereignis zu erzeugen. Der Bewegungsparameter in diesem Zustand bestimmt, über welche Distanz der Benutzer seinen Finger bewegen muss, um in den Wartezustand für ein kurzes Ziehen einzutreten. Die maximal zulässige Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand ist die Zeitbeschränkungsperiode.in the Next, the touch condition will be described. The touched Condition occurs when a user touches the interface touched. When entered into the touch state a time limit is started, i. H. it will set a timer that expires after a predetermined period of time. This will switch between short duration gestures such as a short one Dragging (flick) and a long-duration typing and gesturing such as a press. The starting position of the touch will be saved. This is to determine if the user is his Finger has moved. In the state of touch is on a Expiration of the time limit is checked and becomes the traveled from the initial position of the touch Distance calculated. When the time limit expires, go through the state machine makes a transition by pressing a trigger generates and then enters the pressing state. If the user's finger over a specified distance moves out of the initial position of the touch occurs the state machine into a wait state for a short time Pull in. When the user stops the contact, occurs the state machine in the wait state for the second Type in. The following actions determine whether a tap, a double Tap or another gesture is generated. The time limit parameter in the touch state determines how long the user is must remove his finger to create a tap event. Of the Motion parameters in this state determines over which Distance the user must move his finger to be in the wait state to step in for a brief drag. The maximum allowed Duration from the first touch for the generation an event in this state is the time constraint period.
Im Folgenden wird der Wartezustand für das zweite Tippen beschrieben. Der Wartezustand für das zweite tippen tritt ein, nachdem ein Benutzer auf die Berührungsfläche getippt hat. Beim Eintreten in den Wartezustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer eine Tippgeste ausgeführt hat. Die Ausgangsposition der Berührung wird gespeichert. Dies dient zur Bestimmung, ob der Benutzer eine doppelte Tippgeste ausführt. Der Ablauf der Zeitbeschränkung wird geprüft. Wenn die Zeitbeschränkung abläuft, wird ein Tippereignis erzeugt und tritt die Zustandsmaschine in den Ruhezustand ein. Dies bedeutet, dass der Benutzer ein Mal, aber nicht zwei Mal während des zulässigen Zeitintervalls auf die Oberfläche getippt hat. Wenn der Benutzer die Berührungsfläche mit einem Finger drückt, wird die Distanz der zweiten Berührung von der ersten Berührung berechnet. Wenn die Distanz unter dem spezifizierten Wert liegt, tritt die Zustandsmaschine in den Wartezustand für ein doppeltes Tippen ein, weil der Benutzer unter Umständen ein doppeltes Tippen ausführt. Wenn die Distanz zwischen der ersten Berührung und der zweiten Berührung größer als der spezifizierte Wert ist, erzeugt die Zustandsmaschine ein Tippereignis (für die vorhergehende Tippgeste) und tritt wie gezeigt erneut in den Berührungszustand ein. Der Zeitbeschränkungsparameter in dem Wartezustand für das zweite Tippen bestimmt, wie lange nach der Beendigung einer Berührung durch den Benutzer ein Tippereignis erzeugt wird. Wenn der Benutzer die Oberfläche erneut berührt, bevor die Zeitbeschränkung abläuft, kann ein doppeltes Tippereignis erzeugt werden. Die maximal zulässige Zeit ab der ersten Berührung bis zum Erzeugen eines Ereignisses in diesem Zustand entspricht der Summe aus den Zeitbeschränkungsperioden des Berührungszustands und des Wartezustands für ein zweites Tippen.The following describes the wait state for the second jog. The second tap wait state occurs after a user taps the touchpad. When entering the wait state, a time limit is started. This is to determine if the user has made a jog gesture. The home position of the touch is stored. This is to determine if the user is doing a double tap gesture. The expiry of the time limit is checked. When the time limit expires, it will become one Tip event generates and enters the state machine in the idle state. This means that the user has typed once, but not twice, on the surface during the allowed time interval. When the user presses the touch area with a finger, the distance of the second touch from the first touch is calculated. If the distance is below the specified value, the state machine enters the double-tap wait state because the user may double-tap. If the distance between the first touch and the second touch is greater than the specified value, the state machine generates a jog event (for the previous jog gesture) and reenters the touch state as shown. The time-out parameter in the second-tap wait state determines how long after the end of a user's touch a jog event is generated. If the user touches the surface again before the timeout expires, a double tap event may be generated. The maximum allowable time from the first touch to the generation of an event in this state is equal to the sum of the time constraint periods of the touch state and the wait state for a second tap.
Im Folgenden wird der Wartezustand für ein doppeltes Tippen beschrieben. Der Wartezustand für ein doppeltes Tippen tritt ein, wenn der Benutzer auf die Berührungsfläche getippt hat und diese dann erneut drückt. Beim Eintreten in diesen Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer eine doppelte Tippgeste ausgeführt hat. Die Ausgangsposition der Berührung wird gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft und wird die von der Ausgangsposition der Berührung zurückgelegte Distanz berechnet. Wenn die Zeitbeschränkung abläuft, werden Tipp- und Drückereignisse erzeugt und tritt die Zustandsmaschine in den Drückzustand ein. Wenn sich der Benutzer über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, erzeugt die Zustandsmaschine ein Tippereignis und tritt in den Wartezustand für ein kurzes Ziehen (Flick) ein. Der Grund hierfür ist, dass der Benutzer einmal getippt hat und ein mögliches zweites Tippen jetzt ein mögliches kurzes Ziehen (Flick) ist. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein doppeltes Tippereignis und tritt in den Ruhezustand ein. Der Grund hierfür ist, dass der Benutzer beide Tippbetätigungen innerhalb der spezifizierten Zeit und den Distanzlimits ausgeführt hat. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Benutzer seinen Finger entfernen muss, um ein doppeltes Tippereignis zu erzeugen. Wenn die Zeitbeschränkung abläuft, wird angenommen, dass der Benutzer getippt und die Oberfläche anschließend gedrückt gehalten hat. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um in den Wartezustand für ein kurzes Ziehen einzutreten. Die maximal zulässige Zeit ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein zweites Tippen und des Wartezustands für ein doppeltes Tippen.in the Following is the wait state for a double tap described. The wait state for a double tap occurs when the user touches the touchpad has typed and then presses again. Upon entering a time limit is started in this state. This is to determine if the user is running a double tap gesture Has. The home position of the touch is stored. This is to determine if the user is moving his finger Has. In this state is set to expiration of the time limit checked and becomes the from the starting position of the touch calculated distance traveled. When the time limit expires, typing and popping events are generated and the state machine enters the push state. If the user has more than one specified Distance moved from the starting position of the touch, The state machine generates a tap event and enters the wait state for a short draw (Flick). The reason for that is that the user has typed once and a possible one second tap now a possible short drag (Flick) is. When the user stops the touch, the State machine a double tap event and enter hibernation. The reason for this is that the user has both jogging operations within the specified time and distance limits Has. The timeout parameter in this state determines how long the user has to remove his finger a double To generate a jog event. When the time limit expires, It is assumed that the user typed and then the surface has kept pressed. The motion parameter in this State determines how far the user must move his finger, to enter the wait state for a short drag. The maximum time from the first touch corresponds to the generation of an event in this state the sum of the time constraints of the touch state, the wait state for a second tap and the wait state for a double tap.
Im Folgenden wird der Wartezustand für ein schnelles Ziehen (Flick) beschrieben. Der Wartezustand für ein schnelles Ziehen (Flick) tritt auf, wenn der Benutzer die Berührungsfläche gedrückt hat und seinen Finger über die Oberfläche bewegt hat. Mit dem Eintritt in diesen Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer ein schnelles Ziehgeste (Flick) oder eine Ziehgeste ausführt. Beim Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Diese wird bei Bedarf zu der Verarbeitung des Wartens für ein Ziehen weitergeleitet. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft. Wenn die Zeitbeschränkung abläuft, wird ein Drückereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Der Grund hierfür ist, dass der Benutzer die Berührung nicht innerhalb der zum Unterscheiden zwischen einer schnellen Ziehbetätigung (Flick) und einer Ziehbetätigung verwendeten Zeitdauer beendet hat. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein schnelles Ziehereignis (Flick) und tritt in den Ruhezustand ein. Der Grund hierfür ist, dass der Benutzer die Bewegung innerhalb des spezifizierten Zeitlimits abgeschlossen hat. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Benutzer seinen Finger entfernen muss, um ein schnelles Ziehereignis (Flick) zu erzeugen. Wenn die Zeitbeschränkung abläuft, wird angenommen, dass der Benutzer eine Ziehoperation durchführt. Die maximale Zeitdauer von der ersten Berührung zum Erzeugen eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungsperioden des Berührungszustands und der Wartezustände für ein schnelles Ziehen (Flick).in the Following is the wait state for a quick drag (Flick) described. The wait for a quick Drag (Flick) occurs when the user touches the touchpad has pressed and his finger over the surface has moved. Entering this state becomes a time constraint started. This is to determine if the user is a fast Drag gesture (flick) or drag gesture. At the entrance Also, the home position of the touch is stored. If necessary, this will become the processing of waiting for a Drag forward. In this state, the expiration of the Time limit checked. When the time limit expires, a push event is generated and occurs the state machine in the wait state for a drag one. The reason for this is that the user touch not within the for distinguishing between a quick drag operation (Flick) and a drag duration used has finished. When the user stops the touch, generates the state machine makes a quick drag (flick) and kick into hibernation. The reason is that the Users complete the movement within the specified time limit Has. The time constraint parameter in this state determines how long the user needs to remove his finger for a quick drag (Flick) to produce. When the time limit expires, it is assumed that the user performs a drag operation. The maximum time from the first touch to generate a Event in this state corresponds to the sum of the time restriction periods the touch state and the wait states for a quick pull (Flick).
Im Folgenden wird der Wartezustand für ein Ziehen beschrieben. Der Wartezustand für ein Ziehen tritt auf, wenn der Benutzer die Berührungsfläche gedrückt und seinen Finger über die Oberfläche bewegt hat, wobei die Bewegung länger als die Dauer für ein schnelles Ziehen (Flick) gedauert hat. Mit dem Eintritt in diesen Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer seinen Finger stationär gehalten hat. Auch die Ausgangsposition der Berührung wird beim Eintritt gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft und wird die Distanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, tritt die Zustandsmaschine in den Drückzustand ein. Der Grund hierfür ist, dass der Benutzer seinen Finger zu lange stationär gehalten hat. Wenn der Benutzer seinen Finger um mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, erzeugt die Zustandsmaschine ein Ziehereignis. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem Drückzustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen. Die maximal zulässige Zeit ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick) und des Wartezustands für ein Ziehen.The following describes the wait state for a drag. The wait state for a drag occurs when the user has pressed the touchpad and moved his finger over the surface, the movement having taken longer than the duration for a quick drag (flick). Upon entering this state, a time limit is started. This is to determine if the user has kept his finger stationary. Also, the home position of the touch is stored upon entry. This is to determine if the user has moved his finger. In this condition is checked for expiration of the time limit and the distance from the starting position of the touch is calculated. When the time constraint expires, the state machine enters the push state. The reason for this is that the user has kept his finger stationary for too long. When the user moves his finger more than a specified distance from the starting position of the touch, the state machine generates a drag event. When the user ends the touch, the state machine generates a termination event and enters hibernation. The timeout parameter in this state determines how long the user's finger must remain stationary before proceeding to the push state. The motion parameter in this state determines how far the user must move his finger to create a drag event. The maximum allowable time from the first touch to generate an event in this state corresponds to the sum of the touch state time limits, the fast pull (flick) wait state, and the pull pull wait state.
Im Folgenden wird der Drückzustand beschrieben. Der Drückzustand tritt auf, wenn ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeit stationär gehalten hat. Mit dem Eintritt in diesen Zustand wird die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird die Distanz ab der Ausgangsposition der Berührung berechnet. Wenn der Benutzer sich über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt hat, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung löst, erzeugt die Zustandsmaschine ein Lösungsereignis und tritt in den Ruhezustand ein. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Es ist kein Limit dafür vorgegeben, wie lange es dauern kann, bevor in diesem Zustand ein Ereignis erzeugt wird.in the Next, the pushing condition will be described. The pushing condition occurs when a user touches the interface has pressed and his finger for a particular Time kept stationary. With the entry into this State, the home position of the touch is stored. This is to determine if the user has moved his finger. In this state, the distance becomes the starting position of the touch calculated. If the user is more than one specified Has moved distance from the starting position of the touch, a drag event is generated and the state machine enters the wait state for a drag. If the user the touch releases generates the state machine a solution event and enters hibernation. Of the Motion parameter in this state determines how far the user to move his finger to create a drawing event and to enter the waiting state for a pull. It is no limit on how long it can take before an event is generated in this state.
Es ist zu beachten, dass eine vereinfachte Version der ersten Ausführungsform vorgesehen werden kann, in der bewegte Gesten wie das schnelle Ziehen (Flick) und das Ziehen nicht unterstützt werden.It It should be noted that a simplified version of the first embodiment can be provided in the moving gestures such as the fast pulling (Flick) and dragging are not supported.
Zuerst wird der zusätzliche Zustand der Mehrfachberührung (Zweifachberührung) beschrieben. Der Mehrfachberührungszustand tritt auf, wenn der Benutzer zwei Finger auf der Berührungsfläche platziert hat. Mit dem Eintritt werden die Ausgangspositionen der Berührungen und der Winkel zwischen den Ausgangspositionen der Berührungen gespeichert. In diesem Zustand werden der Abstand zwischen den zwei gleichzeitigen Berührungen und der Winkel zwischen den Berührungspositionen berechnet. Wenn der Benutzer beide Finger löst, durchläuft die Zustandsmaschine einen Übergang, indem sie ein Lösungsereignis erzeugt und in den Ruhezustand eintritt. Wenn der Benutzer einen oder allgemein alle bis auf einen Finger löst, tritt die Zustandsmaschine in den Drückzustand ein. Wenn der Berührungsabstand um mehr als eine spezifizierte Distanz von dem ersten Berührungsabstand zunimmt, wird ein Streckereignis erzeugt. Wenn der Berührungsabstand um mehr als eine spezifizierte Distanz von dem ersten Berührungszustand vermindert wird, wird ein Stauchereignis erzeugt. Wenn sich der Winkel zwischen den Berührungspositionen um mehr als eine spezifizierte Größe gegenüber dem ursprünglichen Winkel ändert, wird ein Drehereignis erzeugt. Es ist zu beachten, dass die Zustandsmaschine in diesem Zustand auch mehrere Ereignisse erzeugen kann, zum Beispiel ein Strecken und ein Drehen oder ein Stauchen und ein Drehen. Der Winkelparameter in diesem Zustand bestimmt, wie stark sich der Winkel zwischen den Berührungspositionen ändern muss, um ein Drehereignis zu erzeugen. Der Streckschwellenparameter in diesem Zustand bestimmt, wie stark der Abstand zwischen den zwei Berührungspositionen zunehmen muss, um ein Streckereignis zu erzeugen. Der Stauchschwellenparameter in diesem Zustand bestimmt, wie stark sich der Abstand zwischen den zwei Berührungspositionen vermindern muss, um ein Stauchereignis zu erzeugen. Es ist kein Limit dafür vorgegeben, wie lange es dauern kann, bevor in diesem Zustand ein Ereignis erzeugt wird.First becomes the additional state of multiple touch (Dual contact) described. The multiple touch state occurs when the user places two fingers on the touchpad Has. With entry the starting positions of touches become and the angle between the initial positions of the touches saved. In this state, the distance between the two simultaneous touches and the angle between the Calculated touch positions. If the user both Finger releases, the state machine goes through a transition, by creating a solution event and entering hibernation. If the user has one or all but one finger solves, enters the state machine in the pressing state one. When the contact distance is more than one specified Distance increases from the first contact distance is generates a stretch event. When the contact distance is around more than a specified distance from the first touch state is reduced, an upsetting event is generated. When the Angle between the touch positions by more than one specified Size changes from the original angle, a spin event is generated. It should be noted that the state machine in this state can also generate multiple events, for example a stretching and a turning or a swaging and a turning. Of the Angular parameter in this state determines how strong the angle between must change the touch positions to a rotation event to create. The stretch threshold parameter in this state determines how strong the distance between the two touch positions must increase to produce a stretch event. The compression threshold parameter in this state determines how much the distance between must reduce the two touch positions to an upsetting event to create. There is no limit to how long It may take time before an event is generated in this state.
Aus dem Ruhezustand ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Bennutzer die Berührungsfläche mit zwei Fingern drückt, wobei in diesem Fall die Zustandsmaschine ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt.Out hibernation is an additional transition provided to the multi-touch state. This occurs when the user is using the touchpad presses two fingers, in which case the state machine generates a multi-touch event and into the multi-touch state entry.
Aus dem Berührungszustand ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer einen zweiten Finger auf der Berührungsfläche platziert, wobei in diesem Fall die Zustandsmaschine ein Drückereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt.Out the touch state is an additional transition provided to the multi-touch state. This occurs when the user has a second finger on the touchpad In this case, the state machine is a push event and a multi-touch event is generated and in the multi-touch state entry.
Aus dem Wartezustand für ein zweites Tippen ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern berührt, wobei in diesem Fall die Zustandsmaschine ein Tippereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Dies gibt an, dass auf ein einfaches Tippen eine Mehrfachberührung folgte.Out Waiting for a second tap is an extra transition provided to the multi-touch state. This occurs when the user interacts with the touchpad touches two fingers, in which case the state machine generates a jog event and a multi-touch event and enters the multi-touch state. This gives that on a simple tap a multiple touch followed.
Aus dem Wartezustand für ein doppeltes Tippen ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern berührt, wobei in diesem Fall die Zustandsmaschine ein Tippereignis, ein Drückereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Dies gibt an, dass ein einfaches Tippen, ein Drücken und dann eine Mehrfachberührung aufeinander folgten.Out the wait state for a double tap is an additional transition provided to the multi-touch state. This occurs when the user interacts with the touchpad touches two fingers, in which case the state machine a jog event, a trigger event, and a multi-touch event generated and enters the multi-touch state. This indicates that a simple tap, a press and then a multiple touch followed each other.
Aus dem Wartezustand für ein schnelles Ziehen (Flick) ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, wobei in diesem Fall die Zustandsmaschine ein schnelles Ziehereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Es wird davon ausgegangen, dass die Mehrfachberührung die schnelle Ziehgeste beendet hat.Out the wait state for a quick pull (Flick) is on additional transition to the multiple touch state intended. This occurs when the user touches the interface with two fingers, in which case the state machine a fast drag event and a multiple touch event generated and enters the multi-touch state. It is assumed that the multiple touch the fast Drag gesture has finished.
Aus dem Wartezustand für ein Ziehen ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, wobei die Zustandsmaschine ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt.Out the wait state for a drag is an additional transition provided to the multi-touch state. This occurs when the user interacts with the touchpad presses two fingers, the state machine being a multi-touch event generated and enters the multi-touch state.
Aus dem Drückzustand ist ein zusätzlicher Übergang vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei oder mehr Fingern drückt, wobei die Zustandsmaschine ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Wenn der Benutzer weiterhin in dem Mehrfachberührungszustand wie weiter oben genannt alles bis auf einen Finger löst, tritt die Zustandsmaschine in den Drückzustand ein.Out the push condition is an additional transition intended. This occurs when the user touches the interface with two or more fingers presses, the state machine generates a multi-touch event and into the multi-touch state entry. If the user is still in the multi-touch state as mentioned above, all but one finger releases the state machine in the pushing state.
Der kurze Wartezustand ist ein Ausgangszustand des Superzustands, in den von den anderen Zuständen der Zustandsmaschine eingetreten wird, wenn ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Mit dem Eintritt in den kurzen Wartezustand wird eine Zeitbeschränkung gestartet, die verwendet wird, um zu bestimmen, wann ein kurzes Drückereignis erzeugt werden soll. Die Ausgangsposition der Berührung wird gespeichert und verwendet, um zu bestimmen, ob der Benutzer seinen Finger bewegt hat. In dem kurzen Wartezustand wird auf einen Ablauf der Zeitbeschränkung geprüft und wird die Bewegungsdistanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, wird ein kurzes Drückereignis erzeugt und tritt die Zustandsmaschine in den langen Wartezustand, in den Wartezustand für eine Wiederholung, in den Wiederholungszustand oder in den abgeschlossenen Drückzustand ein. Wenn der Benutzer den Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem langen Wartezustand, dem Wartezustand für eine Wiederholung oder dem abgeschlossenen Drückzustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximal zulässige Zeit ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe aus den Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick), des Wartezustands für ein Ziehen und des kurzen Wartezustands.Of the short wait state is an initial state of super state, in from the other states of the state machine when a user has pressed the touchpad and his finger stationary for a certain period of time has held. With the entry into the short wait state becomes a Started time limit that is used to determine when a short push event is to be generated. The Starting position of the touch is stored and used to determine if the user has moved his finger. By doing short wait state is due to expiration of the time limit checked and becomes the moving distance from the home position the touch is calculated. When the time limit expires, a short press event is generated and the state machine enters the long wait state, into Waiting state for a repetition, in the repetitive state or in the completed push condition. If the User's finger over more than a specified distance is moved from the starting position of the touch, a Pulling event generates and enters the state machine in the wait state for a pull. When the user touch terminated, the state machine generates a completion event and enters hibernation. If the user has the touchpad presses with two fingers, generates the state machine Multiple touch event and enters the multiple touch state one. The time constraint parameter in this state determines how long the user's finger has to stay stationary, before the long wait state, the wait state for a repetition or the completed pressing state passed becomes. The motion parameter in this state determines how far the user must move his finger to get a drag event generate and enter the wait for a drag. The maximum time from the first touch on the generation of an event in this state corresponds to Sum of the time constraints of the touch state, the wait state for a quick pull (Flick), the Waiting state for a pull and a short wait state.
Der lange Wartezustand ist dafür vorgesehen, dass ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeit stationär gehalten hat. Mit dem Eintritt wird eine Zeitbeschränkung gestartet. Diese dient zur Bestimmung, wann ein langes Drückereignis erzeugt werden soll. Mit dem Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft, wobei die Distanz von der Ausgangsposition der Berührung berechnet wird. Wenn die Zeitbeschränkung abläuft, wird ein langes Drückereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für eine Wiederholung oder in den abgeschlossenen Drückzustand ein. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem Wartezustand für eine Wiederholung oder zu dem abgeschlossenen Wartezustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximale Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick), des Wartezustands für ein Ziehen, des kurzen Wartezustands und des langen Wartezustands.The long wait state is therefor hen a user pressed the touchpad and kept his finger stationary for a certain time. Upon entry, a time limit is started. This is used to determine when a long press event is to be generated. With the entry also the starting position of the touch is stored. This is to determine if the user has moved his finger. In this state, it is checked for lapse of the time limit, whereby the distance from the starting position of the touch is calculated. When the time constraint expires, a long push event is generated and the state machine enters the wait state for a repeat or locked push state. When the user moves his finger more than a specified distance from the starting position of the touch, a pulling event is generated and the state machine enters the waiting state for pulling. When the user ends the touch, the state machine generates a termination event and enters hibernation. When the user presses the touchpad with two fingers, the state machine generates a multi-touch event and enters the multi-touch state. The timeout parameter in this state determines how long the user's finger must remain stationary before transitioning to the retry wait state or the completed wait state. The motion parameter in this state determines how far the user must move his finger to create a drag event and enter the wait state for a drag. The maximum amount of time from the first touch to generate an event in this state corresponds to the sum of the touch state time limits, the fast pull (flick) wait state, the pull wait state, the short wait state, and the long wait state.
Der Wartezustand für eine Wiederholung ist dafür vorgesehen, dass ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Mit dem Eintritt in den Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, wann ein wiederholtes Drückereignis erzeugt werden soll. Mit dem Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft und wird die Distanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, wird ein wiederholtes Drückereignis erzeugt und tritt die Zustandsmaschine in den Wiederholungszustand ein. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem Wiederholungszustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximale Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein kurzes Ziehen (Flick), des Wartezustands für ein Ziehen, des kurzen Wartezustands, des langen Wartezustands und des Wartezustands für eine Wiederholung.Of the Waiting state for a repetition is intended that a user pressed the touchpad has and his finger stationary for a certain period of time has held. Upon entering the state, a time limit is started. This is to determine when a repeated push event should be generated. With the entrance is also the starting position saved the touch. This is to determine whether the user has moved his finger. In this state will open a expiry of the time limit is checked and becomes the distance from the starting position of the touch calculated. When the time limit expires, a repeated push event is generated and the State machine in the repeat state. If the user his finger over more than a specified distance moving from the starting position of the touch becomes a pulling event generates and enters the state machine in the wait state for a pull. When the user ends the touch, The state machine generates a completion event and enters the resting state. If the user has the touchpad presses with two fingers, generates the state machine Multiple touch event and enters the multiple touch state one. The time constraint parameter in this state determines how long the user's finger has to stay stationary, before proceeding to the repeat state. Of the Motion parameter in this state determines how far the user to move his finger to create a drawing event and to enter the waiting state for a pull. The maximal Duration from the first touch for the generation an event in this state corresponds to the sum of the time constraints of the touch state, the wait state for a short pull (flick), the wait state for a drag, of the short wait state, the long wait state, and the wait state for a repetition.
Der Wiederholungszustand ist dafür vorgesehen, dass der Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Mit dem Eintritt wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, wann ein wiederholtes Drückereignis erzeugt werden soll. Mit dem Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird der Ablauf der Zeitbeschränkung geprüft und wird die Bewegungsdistanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, wird ein wiederholtes Drückereignis erzeugt. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Lösungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor ein wiederholtes Drückereignis erzeugt wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximale Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick), des Wartezustands für ein Ziehen, des kurzen Wartezustands, des langen Wartezustands und des Wiederholungszustands.The repeat state is for the user to have pressed the touchpad and kept his finger stationary for a certain period of time. Upon entry, a time limit is started. This is to determine when a repeated push event should be generated. With the entry also the starting position of the touch is stored. This is to determine if the user has moved his finger. In this state, the timing of the time restriction is checked, and the moving distance is calculated from the starting position of the touch. When the timeout expires, a repeated push event is generated. When the user moves his finger more than a specified distance from the starting position of the touch, a pulling event is generated and the state machine enters the waiting state for pulling. When the user terminates the touch, the state machine generates a solution event and enters hibernation. When the user presses the touchpad with two fingers, the state machine generates a multi-touch event and enters the multi-touch state. The timeout parameter in this state determines how long the user's finger must remain stationary before a repeated push event is generated. The motion parameter in this state determines how far the user must move his finger to create a drag event and enter the wait state for a drag. The maximum amount of time from the first touch to generate an event in this state corresponds to the sum of the time constraints of the touch state, the fast pull (flick) wait state, the Wait state for a pull, the short wait state, the long wait state, and the retry state.
Der abgeschlossene Drückzustand ist dem Drückzustand der ersten und der zweiten Ausführungsform ähnlich. Mit dem Eintritt wird die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird die Bewegungsdistanz von der Ausgangsposition der Berührung berechnet. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt hat, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Lösungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Es ist kein Limit dafür vorgegeben, wie lange es dauern kann, bevor in diesem Zustand ein Ereignis erzeugt wird.Of the completed pressing condition is the pushing condition similar to the first and second embodiments. With the entry becomes the starting position of the touch saved. This is to determine if the user's finger has moved. In this state, the movement distance of the Calculated starting position of the touch. If the user his finger over more than a specified distance from the initial position of the touch is generates a drag event and the state machine enters the wait state for a pull. When the user touch terminated, the state machine generates a solution event and enters hibernation. If the user has the touchpad with two fingers, the state machine generates a multi-touch event and enters the multi-touch state. The motion parameter in this state determines how far the user's finger has to move to create a drag event and into the wait state to enter for a drag. There is no limit to it given how long it can take before entering this state Event is generated.
Es
ist zu beachten, dass nicht alle in
Es
ist zu beachten, dass die erste Ausführungsform auch derart
modifiziert werden kann, dass ein Drücksuperzustand wie
oben mit Bezug auf
Die Zustandsmaschinen der ersten, zweiten und dritten Ausführungsform sind einfach und effektiv, lassen sich aber nicht gut für komplexere Gestenkombinationen skalieren, insbesondere wenn es sich um Mehrfachberührungen handelt. Es soll hier zum Beispiel eine Geste betrachtet werden, in der ein Benutzer einen Finger auf die Berührungsfläche hält und mit einem zweiten Finger auf die Fläche tippt (eine „Drück- und Tippgeste). Dazu benötigt der Mehrfachberührungszustand in der Zustandsmaschine der zweiten Ausführungsform mehrere Subzustände, um die Position, die Dauer und die Bewegung der zwei Berührungen zu verfolgen.The State machines of the first, second and third embodiments are simple and effective, but are not good for scale more complex gesture combinations, especially when it comes to Multiple touches. It should be here for example a gesture in which a user points a finger the contact surface stops and with a second finger on the surface (a "press and hint gesture). This requires the multiple touch state in the state machine of the second embodiment, a plurality Sub-states, position, duration and movement to follow the two touches.
Es wäre deshalb auch schwierig, die Zustandsmaschine der zweiten Ausführungsform für die Handhabung von Gesten mit mehr als zwei Berührungen zu erweitern. Die Komplexität der Zustandsmaschine würde mit jeder zusätzlichen Berührung stark zunehmen.It would therefore be difficult, the state machine of the second Embodiment for the handling of gestures with more than two touches to expand. The complexity the state machine would work with every additional one Strongly increase touch.
Diese
Beschränkungen werden durch eine vierte Ausführungsform
der Erfindung beseitigt, in welcher der Mehrfachberührungszustand
aus der Zustandsmaschine der zweiten Ausführungsform entfernt
ist, um eine einfache Einfachberührungs-Zustandsmaschine
gemäß der ersten Ausführungsform wie
in
In diesem Beispiel werden die Berührung 1 und die Berührung 2 durch die Zweifachberührungs-Zustandsmaschine verarbeitet, die den Abstand und den Winkel zwischen den Berührungen verfolgt und Streck-, Stauch- und Drehereignisse erzeugt, wenn sich der Abstand und/oder der Winkel zwischen den Berührungen ändert.In this example, the touch 1 and the touch 2 are processed by the dual-touch state machine that represents the Ab and tracks the angle between the touches and creates stretching, compression and rotation events as the distance and / or angle between the contacts changes.
Diese Zustandsmaschine kann auch komplexere Gesten wie etwa die zuvor beschrieenen Drück- und Tippgesten erzeugen. Dies kann unter Verwendung einer Kombination aus den Zuständen und erzeugten Ereignissen der zwei Eingangszustandsmaschinen bewerkstelligt werden. Wenn eine Zustandsmaschine den Zustand „Drücken” aufweist, und die andere das Ereignis „Tippen” erzeugt hat, dann kann die Zweifachberührungs-Zustandsmaschine ein „Drück- und Tippereignis” erzeugen.These State machine can also have more complex gestures like those before generate written push and tap gestures. This can using a combination of the states and generated events of the two input state machines accomplished become. When a state machine is in the "Press" state, and the other has generated the event "typing", then For example, the dual-touch state machine may provide a "push-button" state machine. and typing event ".
Ähnliche Kombinationen können verwendet werden, um Ereignisse wie etwa die folgenden zu erzeugen:
- • Drücken und doppeltes Tippen
- • Ziehen und Tippen
- • Drücken und schnelles Ziehen (Flick)
- • Ziehen mit zwei Fingern
- • andere Kombinationen von Zuständen und Ereignissen
- • Press and double tap
- • Drag and tap
- • Press and fast drag (Flick)
- • Pull with two fingers
- • other combinations of states and events
Die Figur zeigt auch, wie die Zustandsmaschine eine Situation erfassen kann, in welcher der Benutzer zwei Berührungen auf der Berührungsfläche aufweist, wobei er dann mit einem dritten Finger tippt. Dies kann zum Beispiel in einer Anwendung verwendet werden, in der zwei Finger zum Drehen eines angezeigten Bildes verwendet werden und das angezeigte Bild durch ein Tippen mit einem dritten Finger vergrößert wird. Dieselbe Zustandsmaschine kann auch verwendet werden, um einfach ein doppeltes Tippen für ein Verkleinern des angezeigten Bildes zu erfassen.The Figure also shows how the state machine detect a situation can in which the user two touches on the Has contact surface, where he then with a third finger is typing. This can be used, for example, in an application in which two fingers are used to rotate a displayed picture and the displayed image by tapping with a third finger is enlarged. The same state machine can also used to just double tap for to reduce the size of the displayed image.
Ein Hauptvorteil des Ansatzes der vierten Ausführungsform besteht darin, dass dieselbe Codebasis für die Handhabung von Einfachberührungen verwendet wird, wobei Zweifachberührungen, Dreifachberührungen oder auch noch größere Mehrfachberührungen unter Verwendung eines separaten und zusätzlichen Codes verarbeitet werden. Der Ansatz ist also skalierbar und modular und bringt damit die üblichen Vorteile hinsichtlich eines reduzierten Programmieraufwands und einer höheren Zuverlässigkeit mit sich.One Main advantage of the approach of the fourth embodiment is in that the same codebase used for the handling of single touches becomes, whereby two-touches, triple touches or even more multiple touches using a separate and additional code are processed. So the approach is scalable and modular and brings with it the usual advantages in terms of a reduced Programming effort and higher reliability with himself.
Im
Folgenden wird eine geeignete Hardware-Plattform für die
Einbindung der Gestenerkennungs-Zustandsmaschine gemäß der
Erfindung beschrieben. Die Hardware-Plattform ist aus der weiter oben
genannten
Allgemein kann das Elektrodenmuster hergestellt werden, indem ein geeignetes leitendes Material aufgetragen oder entfernt wird. Das Auftragen kann zum Beispiel durch eine Gasphasenabscheidung oder ein Siebdrucken erfolgen. Die Entfernung kann zum Beispiel durch einen Laser oder durch ein chemisches Ätzen erfolgen.Generally the electrode pattern can be made by using a suitable conductive material is applied or removed. The application can for example, by vapor deposition or screen printing respectively. The removal can be done for example by a laser or done by a chemical etching.
Das
Elektrodenmuster definiert y-Elektroden
Im Folgenden werden zuerst die x-Elektroden ausführlich beschrieben. Darauf folgt eine Beschreibung der y-Elektroden.in the Next, the x-electrodes will first be described in detail. This is followed by a description of the y-electrodes.
Die
x-Elektroden lassen sich in drei Gruppen klassifizieren. Eine erste
Gruppe von dreieckigen, sich verjüngenden Elektroden
Eine
dritte Gruppe von x-Elektroden
Auf diese Weise bildet jedes benachbarte Paar von sich gemeinsam erstreckenden x-Elektroden der ersten und der zweiten Gruppe oder der zweiten und der dritten Gruppe einen so genannten Schieber. Es ist zu beachten, dass die Elektrodenelemente in geeigneter Weise in Entsprechung zu der Betätigungseinrichtung wie etwa einen Finger geformt und dimensioniert sind, um ein ratiometrisches, kapazitives Signal über die Länge der wechselseitigen Erstreckung in der x-Richtung vorzusehen, sodass sie also einander in der x-Richtung überlappen.On this way, each adjacent pair forms of coexistence x-electrodes of the first and the second group or the second and the third group a so-called slider. It should be noted that the electrode elements suitably correspond formed into the actuator such as a finger and dimensioned to provide a ratiometric capacitive signal the length of the mutual extension in the x-direction so that they overlap each other in the x-direction.
Die
linken sich doppelt verjüngenden x-Elektroden
Die
linken sich verjüngenden x-Elektroden
Die
sich verjüngenden x-Elektroden
Die
rechten sich verjüngenden x-Elektroden
Die
rechten sich doppelt verjüngenden x-Elektorden
Auf
diese Weise sind die x-Elektroden
Die
y-Elektroden sind in zwei Sätze
Zusammenfassend lässt sich also sagen, dass der 2DCT eine quasi kontinuierliche x-Auflösung über Schieber in vier überlappenden Bereichen I–IV in der x-Richtung über die Breite des empfindlichen Bereichs in Kombination mit einer schrittweisen y-Auflösung über sich horizontal erstreckende Elektrodenstangen vorsieht, die in vertikal benachbarten Sätzen von 3 und 4 gemeinsam verbunden sind. Insgesamt werden zwölf externe Leitungen verwendet, fünf für X und sieben für Y.In summary So let's say that the 2DCT is a quasi-continuous one x resolution via slider in four overlapping Regions I-IV in the x-direction across the width of the sensitive area in combination with a gradual y-resolution Provides horizontally extending electrode rods, the in vertically adjacent sets of 3 and 4 joined together are. A total of twelve external lines are used, five for X and seven for Y.
Die Kombination aus der Mittellinie und den sich doppelt verjüngenden Elektroden gestattet, dass eine große Fläche des empfindlichen Bereichs in der x-Richtung eine große empfindliche Fläche vorsieht, die transparent und ohne externe Verbindungen außer am Rand vorgesehen werden kann. Weiterhin sind bei diesem Elektrodenaufbau die Handschatteneffekte nicht auffällig, weil eine Verschiebung des Zentrums des kapazitiven Signals von der physikalischen Position des Fingers durch die laterale Erstreckung der Elektroden begrenzt ist. Zum Beispiel kann eine Einrichtung mit einem empfindlichen Bereich mit einer Diagonalen von 6 Zoll (150 mm) auf der Grundlage dieses Aufbaus hergestellt werden.The combination of the midline and the double tapered electrodes allows for a large area of the sensitive area in the x-direction provides a large sensitive area that can be transparent and provided with no external connections except at the edge. Further, in this electrode structure, the hand shadow effects are not conspicuous because displacement of the center of the capacitive signal from the physical position of the finger is limited by the lateral extent of the electrodes. For example, a device having a sensitive area with a diagonal of 6 inches (150 mm) can be manufactured based on this structure.
Das
allgemeine ITO-Elektrodenmuster bedeckt den Hauptteil des Substrats
Im
Folgenden werden zuerst die y-Elekroden beschrieben. Sieben leitende
Schienen
Im
Folgenden werden die x-Elektrodenverbindungen beschrieben. Die fünf
elektrischen Leitungen
Die
Kanäle X1–X5 und Y1–Y7 wirken zusammen,
um Ladung wie in der Figur gezeigt zu den Ladungsdetektoren zu übertragen,
indem eine einzelne Ladungssteuerleitung
Außerdem
wird ein Array von Rücksetzschaltern
Eine
Datenverarbeitung findet dann auf den digitalisierten Ladungsdetektor-Kondensatorausgaben
statt. Diese Ausgaben werden in eine Verarbeitungseinheit
In
einer ersten Verarbeitungsstufe/-einheit
In
einer zweiten Verarbeitungsstufe/-einheit
Wenn
diese Daten in eine dritte Verarbeitungsstufe/-einheit
In
einer vierten Verarbeitungsstufe/-einheit
Weitere
geeignete kapazitive Hardware-Plattformen für die Erfassung
von Berührungen werden zum Beispiel in
Das
Touchpad
Eine
weitere Funktion, die mit der vorliegenden Erfindung implementiert
werden kann, ist die Fähigkeit, auf einem PC zu malen,
wobei ein erster Finger als Pinsel verwendet wird und ein zweiter
Finger verwendet wird, um die gewünschte Farbe aus einer auf
dem Bildschirm angezeigten Farbpalette zu wählen. Der erste
Finger wird auf der Oberfläche des Touchpads
Alternativ
hierzu kann die Fläche des Touchpads
Eine
weitere Funktion, die mit der vorliegenden Erfindung implementiert
werden kann, ist die Steuerung eines Spiels auf dem Mobiltelefon
Es ist zu beachten, dass der beschriebene PC und das beschriebene Mobiltelefon lediglich beispielhafte Anwendungen sind, wobei die Erfindung auf viele verschiedene Geräte wie etwa Unterhaltungsgeräte, Telekommunikationsgeräte, Haushaltsgeräte und Kfz-Zubehörgeräte angewendet werden kann.It should be noted that the described personal computer and the described mobile telephone are merely exemplary applications, the invention being applicable to many different devices such as entertainment devices, telecommunication devices, household devices and car accessories can be applied.
Aus den vorstehenden Erläuterungen sollte deutlich geworden sein, dass ein kapazitives Berührungspaneel angegeben wird, das mehrere gleichzeitige Berührungen erfassen kann, die in eine Gesten-Zustandsmaschine gemäß der vorliegenden Erfindung eingegeben werden können.Out The above explanations should be made clear be that a capacitive touch panel is specified, that can capture multiple simultaneous touches, the in a gesture state machine according to the present invention Invention can be entered.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- - US 3593115 [0004] - US 3593115 [0004]
- - US 5650597 [0005] US 5650597 [0005]
- - US 6297811 [0006] - US 6297811 [0006]
- - US 2007/152984 A1 [0008] US 2007/152984 A1 [0008]
- - US 2002/015024 A1 [0009] US 2002/015024 Al [0009]
- - US 5852352 [0010] US 5852352 [0010]
- - US 6028271 [0011] - US 6028271 [0011]
- - US 6414671 [0011] US 6414671 [0011]
- - US 6750852 [0011] - US 6750852 [0011]
- - US 2007/176906 A1 [0012] US 2007/176906 A1 [0012]
- - US 2007/17906 A1 [0012] US 2007/17906 A1 [0012]
- - US 2006/0066582 A1 [0013] US 2006/0066582 A1 [0013]
- - US 5730165 [0036, 0036, 0036] US 5730165 [0036, 0036, 0036]
- - US 6466036 [0036] - US 6466036 [0036]
- - US 5466036 [0036, 0036] US 5466036 [0036, 0036]
- - US 6452514 [0037] - US 6452514 [0037]
- - US 2007/0279395 A1 [0115] US 2007/0279395 A1 [0115]
- - US 2005/0041018 A1 [0145] US 2005/0041018 A1 [0145]
- - US 2007/0247443 A1 [0145] US 2007/0247443 A1 [0145]
- - US 2007/0257894 A1 [0145] US 2007/0257894 A1 [0145]
Claims (14)
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US4945308P | 2008-05-01 | 2008-05-01 | |
US61/049,453 | 2008-05-01 | ||
US12/254,043 US8526767B2 (en) | 2008-05-01 | 2008-10-20 | Gesture recognition |
US12/254,043 | 2008-10-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102009019910A1 true DE102009019910A1 (en) | 2009-12-03 |
DE102009019910B4 DE102009019910B4 (en) | 2021-09-16 |
Family
ID=41254167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102009019910.1A Active DE102009019910B4 (en) | 2008-05-01 | 2009-05-04 | Gesture recognition |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102009019910B4 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013012394A1 (en) | 2013-07-26 | 2015-01-29 | Daimler Ag | Method and device for remote control of a function of a vehicle |
DE102014012158A1 (en) | 2013-09-12 | 2015-03-12 | Mechaless Systems Gmbh | Gesture recognition and gesture recognition device |
DE102016212723A1 (en) | 2016-07-13 | 2018-01-18 | Volkswagen Aktiengesellschaft | A method of providing a deadman button function by means of a touch screen of an operating device, operating device and system |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3593115A (en) | 1969-06-30 | 1971-07-13 | Ibm | Capacitive voltage divider |
US5466036A (en) | 1994-05-09 | 1995-11-14 | Chrylser Corporation | Vehicle wire routing apparatus |
US5650597A (en) | 1995-01-20 | 1997-07-22 | Dynapro Systems, Inc. | Capacitive touch sensor |
US5730165A (en) | 1995-12-26 | 1998-03-24 | Philipp; Harald | Time domain capacitive field detector |
US5852352A (en) | 1995-06-07 | 1998-12-22 | Itt Automotive Electrical Systems, Inc. | Reduced speed growth in windshield wiper motor |
US6028271A (en) | 1992-06-08 | 2000-02-22 | Synaptics, Inc. | Object position detector with edge motion feature and gesture recognition |
US6297811B1 (en) | 1999-06-02 | 2001-10-02 | Elo Touchsystems, Inc. | Projective capacitive touchscreen |
US20020015024A1 (en) | 1998-01-26 | 2002-02-07 | University Of Delaware | Method and apparatus for integrating manual input |
US6414671B1 (en) | 1992-06-08 | 2002-07-02 | Synaptics Incorporated | Object position detector with edge motion feature and gesture recognition |
US6452514B1 (en) | 1999-01-26 | 2002-09-17 | Harald Philipp | Capacitive sensor and array |
US6466036B1 (en) | 1998-11-25 | 2002-10-15 | Harald Philipp | Charge transfer capacitance measurement circuit |
US20050041018A1 (en) | 2003-08-21 | 2005-02-24 | Harald Philipp | Anisotropic touch screen element |
US20060066582A1 (en) | 2004-09-24 | 2006-03-30 | Apple Computer, Inc. | Raw data track pad device and system |
US20070152984A1 (en) | 2005-12-30 | 2007-07-05 | Bas Ording | Portable electronic device with multi-touch input |
US20070176906A1 (en) | 2006-02-01 | 2007-08-02 | Synaptics Incorporated | Proximity sensor and method for indicating extended interface results |
US20070247443A1 (en) | 2006-04-25 | 2007-10-25 | Harald Philipp | Hybrid Capacitive Touch Screen Element |
US20070257894A1 (en) | 2006-05-05 | 2007-11-08 | Harald Philipp | Touch Screen Element |
US20070279395A1 (en) | 2006-05-31 | 2007-12-06 | Harald Philipp | Two Dimensional Position Sensor |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070046643A1 (en) | 2004-08-06 | 2007-03-01 | Hillis W Daniel | State-Based Approach to Gesture Identification |
US20070017906A1 (en) | 2005-06-30 | 2007-01-25 | General Electric Company | Shimmed laser beam welding process for joining superalloys for gas turbine applications |
US8169421B2 (en) | 2006-06-19 | 2012-05-01 | Cypress Semiconductor Corporation | Apparatus and method for detecting a touch-sensor pad gesture |
US7956847B2 (en) | 2007-01-05 | 2011-06-07 | Apple Inc. | Gestures for controlling, manipulating, and editing of media files using touch sensitive devices |
-
2009
- 2009-05-04 DE DE102009019910.1A patent/DE102009019910B4/en active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3593115A (en) | 1969-06-30 | 1971-07-13 | Ibm | Capacitive voltage divider |
US6414671B1 (en) | 1992-06-08 | 2002-07-02 | Synaptics Incorporated | Object position detector with edge motion feature and gesture recognition |
US6750852B2 (en) | 1992-06-08 | 2004-06-15 | Synaptics, Inc. | Object position detector with edge motion feature and gesture recognition |
US6028271A (en) | 1992-06-08 | 2000-02-22 | Synaptics, Inc. | Object position detector with edge motion feature and gesture recognition |
US5466036A (en) | 1994-05-09 | 1995-11-14 | Chrylser Corporation | Vehicle wire routing apparatus |
US5650597A (en) | 1995-01-20 | 1997-07-22 | Dynapro Systems, Inc. | Capacitive touch sensor |
US5852352A (en) | 1995-06-07 | 1998-12-22 | Itt Automotive Electrical Systems, Inc. | Reduced speed growth in windshield wiper motor |
US5730165A (en) | 1995-12-26 | 1998-03-24 | Philipp; Harald | Time domain capacitive field detector |
US20020015024A1 (en) | 1998-01-26 | 2002-02-07 | University Of Delaware | Method and apparatus for integrating manual input |
US6466036B1 (en) | 1998-11-25 | 2002-10-15 | Harald Philipp | Charge transfer capacitance measurement circuit |
US6452514B1 (en) | 1999-01-26 | 2002-09-17 | Harald Philipp | Capacitive sensor and array |
US6297811B1 (en) | 1999-06-02 | 2001-10-02 | Elo Touchsystems, Inc. | Projective capacitive touchscreen |
US20050041018A1 (en) | 2003-08-21 | 2005-02-24 | Harald Philipp | Anisotropic touch screen element |
US20060066582A1 (en) | 2004-09-24 | 2006-03-30 | Apple Computer, Inc. | Raw data track pad device and system |
US20070152984A1 (en) | 2005-12-30 | 2007-07-05 | Bas Ording | Portable electronic device with multi-touch input |
US20070176906A1 (en) | 2006-02-01 | 2007-08-02 | Synaptics Incorporated | Proximity sensor and method for indicating extended interface results |
US20070247443A1 (en) | 2006-04-25 | 2007-10-25 | Harald Philipp | Hybrid Capacitive Touch Screen Element |
US20070257894A1 (en) | 2006-05-05 | 2007-11-08 | Harald Philipp | Touch Screen Element |
US20070279395A1 (en) | 2006-05-31 | 2007-12-06 | Harald Philipp | Two Dimensional Position Sensor |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013012394A1 (en) | 2013-07-26 | 2015-01-29 | Daimler Ag | Method and device for remote control of a function of a vehicle |
WO2015010752A1 (en) | 2013-07-26 | 2015-01-29 | Daimler Ag | Method and device for remote-controlling a function of a vehicle |
DE102014012158A1 (en) | 2013-09-12 | 2015-03-12 | Mechaless Systems Gmbh | Gesture recognition and gesture recognition device |
DE202014010352U1 (en) | 2013-09-12 | 2015-06-17 | Mechaless Systems Gmbh | Gesture recognition device |
DE102016212723A1 (en) | 2016-07-13 | 2018-01-18 | Volkswagen Aktiengesellschaft | A method of providing a deadman button function by means of a touch screen of an operating device, operating device and system |
Also Published As
Publication number | Publication date |
---|---|
DE102009019910B4 (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9122947B2 (en) | Gesture recognition | |
DE112008001800B4 (en) | Two-dimensional touch panel | |
DE69534404T2 (en) | Method for compensating for unintentional movements in a touchpad on a touch sensor surface | |
DE102010028983A1 (en) | Two-dimensional touch sensors | |
DE102012021768B4 (en) | CONTROL SYSTEM FOR A MULTI-FACE INPUT DEVICE | |
DE202005021427U1 (en) | Electronic device with touch-sensitive input device | |
DE102007063961B3 (en) | Touch sensitive user interface | |
DE102011016389A1 (en) | Multi-mode touch screen user interface for a multilevel touch screen device | |
DE112010002760B4 (en) | User interface | |
DE102010027732A1 (en) | Two-dimensional position sensor | |
DE60022030T2 (en) | COMMUNICATION SYSTEM AND METHOD | |
DE112019000251T5 (en) | TWO-ELECTRODE TOUCH BUTTON WITH A MULTI-PHASE CAPACITY MEASUREMENT PROCESS | |
DE112007000278T5 (en) | Gesturing with a multipoint scanning device | |
DE102011078985A1 (en) | Touch detection on three-dimensional objects | |
DE102014210267A1 (en) | Capacitive multi-state button | |
DE112014004615T5 (en) | Detecting and differentiating touches of conductive objects of different sizes on a capacitive button | |
DE202008007847U1 (en) | Speed / Position mode translation | |
US20110169760A1 (en) | Device for control of electronic apparatus by manipulation of graphical objects on a multicontact touch screen | |
DE112005001422T5 (en) | Bar-based data entry device, system and method | |
DE202008001338U1 (en) | Gesturing with a multipoint scanning device | |
DE102010036906A1 (en) | Configurable pie menu | |
DE102014210286A1 (en) | Capacitive multi-state button | |
DE202012101741U1 (en) | Multi-surface touch sensor device and detection of user activity | |
DE102010003575A1 (en) | Capacitive touch screen or touchpad for fingers and movable stylus | |
DE112009002578T5 (en) | Tracking with multiple touches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R081 | Change of applicant/patentee |
Owner name: SOLAS OLED LTD., IE Free format text: FORMER OWNER: ATMEL CORPORATION, SAN JOSE, CALIF., US |
|
R082 | Change of representative |
Representative=s name: PETERREINS SCHLEY PATENT- UND RECHTSANWAELTE, DE Representative=s name: PETERREINS SCHLEY PATENT- UND RECHTSANWAELTE P, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06F0003041000 Ipc: G06F0003048800 |
|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R130 | Divisional application to |
Ref document number: 102009061865 Country of ref document: DE |
|
R026 | Opposition filed against patent |