DE102009019910A1 - Touch sensor device e.g. capacitive touch sensor device, for e.g. personal computer, has gesture unit analyzing time series data to distinguish gesture inputs, where unit is coded with gesture recognition code having linked state modules - Google Patents

Touch sensor device e.g. capacitive touch sensor device, for e.g. personal computer, has gesture unit analyzing time series data to distinguish gesture inputs, where unit is coded with gesture recognition code having linked state modules Download PDF

Info

Publication number
DE102009019910A1
DE102009019910A1 DE102009019910A DE102009019910A DE102009019910A1 DE 102009019910 A1 DE102009019910 A1 DE 102009019910A1 DE 102009019910 A DE102009019910 A DE 102009019910A DE 102009019910 A DE102009019910 A DE 102009019910A DE 102009019910 A1 DE102009019910 A1 DE 102009019910A1
Authority
DE
Germany
Prior art keywords
touch
state
gesture
user
gestures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102009019910A
Other languages
German (de)
Other versions
DE102009019910B4 (en
Inventor
Alan Bowens
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solas Oled Ltd Ie
Original Assignee
Atmel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41254167&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE102009019910(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from US12/254,043 external-priority patent/US8526767B2/en
Application filed by Atmel Corp filed Critical Atmel Corp
Publication of DE102009019910A1 publication Critical patent/DE102009019910A1/en
Application granted granted Critical
Publication of DE102009019910B4 publication Critical patent/DE102009019910B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04164Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0443Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes

Abstract

The device has a sensor having a sensitive area extending in dimension and outputting sense signals responsive to proximity of an object to the area. A position processing unit calculates positions of interactions with the area from an analysis of the signals, and outputs a time series of data indicative of the interaction positions on the sensor. A gesture processing unit analyzes the time series data to distinguish gesture inputs from the data, where the gesture unit is coded with gesture recognition code comprising a set of linked state modules. Independent claims are also included for the following: (1) a method for recognizing gestures from a time series of touch data comprising coordinates of interaction positions on a touch sensor (2) a single integrated circuit having a memory (3) a computer having a memory.

Description

Die vorliegende Erfindung betrifft die Gestenerkennung und insbesondere die Gestenerkennung durch die Verarbeitung einer zeitlichen Abfolge von Positionseingaben, die über einen zweidimensionalen (2D) Berührungssensor wie etwa einen kapazitiven oder resistiven Berührungssensor empfangen werden. Die Erfindung kann auch auf eindimensionale (1D) Berührungssensoren angewendet werden, wobei die Prinzipien auch auf dreidimensionale Sensoren angewendet werden können. Außerdem kann die Erfindung auf Näherungssensoren angewendet werden, bei denen kein physikalischer Kontakt, d. h. keine Berührung mit einer Sensorfläche erfolgt. Die Erfindung kann weiterhin auf Sensorflächen angewendet werden, die durch den Finger eines Bedieners oder durch einen Stift bedient werden können.The The present invention relates to gesture recognition, and more particularly gesture recognition by processing a time sequence of Position inputs that are sent over a two-dimensional (2D) Touch sensor such as a capacitive or resistive Touch sensor can be received. The invention can also applied to one-dimensional (1D) touch sensors The principles also apply to three-dimensional sensors can be applied. In addition, the invention be applied to proximity sensors, where no physical contact, d. H. no contact with one Sensor surface takes place. The invention may further Sensor surfaces are applied by the finger of a Operator or by a pen.

Kapazitive und resistive 1D- und 2D-Berührungssensoren sind seit vielen Jahren in weiter Verbreitung. Dazu gehören zum Beispiel die Berührungsbildschirme von PDAs, MP3-Playern, Mobiltelefonen oder anderen Multimedia-Geräten. Das anstelle einer Maus vorgesehene Touchpad in Notebook-Computern ist ein weiteres Beispiel für einen kapazitiven 2D-Berührungssensor. 2D-Sensoren sind auch in vielen Haushaltsgeräten wie etwa Öfen und Mixern vorgesehen.capacitive and resistive 1D and 2D touch sensors have been around for many years Years in wide distribution. These include, for example the touch screens of PDAs, MP3 players, mobile phones or other multimedia devices. That instead of a mouse provided touchpad in notebook computers is another example for a capacitive 2D touch sensor. 2D sensors are also in many household appliances such as ovens and Blenders provided.

Kapazitive 2D-Sensoren wurden häufig ausführlich beschrieben, wie zum Beispiel in den Patenten und Patentanmeldungen US 2005/0041018 A1, US 2007/0247443 A1, US 2007/0257894 A1 und US 2007/0279395 A1 des Erfinders Harald Philipp, deren Inhalt hier vollständig unter Bezugnahme eingeschlossen ist.capacitive 2D sensors have often been described in detail as for example in the patents and patent applications US 2005/0041018 A1, US 2007/0247443 A1, US 2007/0257894 A1 and US 2007/0279395 A1 the inventor Harald Philipp, whose contents here completely is incorporated by reference.

Andere Beispiele für Berührungsbildschirme aus dem Stand der Technik werden im Folgenden aufgeführt:
US 3,593,115 gibt ein Berührungselement mit einer dreieckigen Form zur Bestimmung einer Objektposition an. Für dieses Element sind jedoch zahlreiche sekundäre Elektrodenverbindungen sowie zwei oder mehr Schichten erforderlich, wodurch die Kosten erhöht werden und die Transparenz reduziert wird.
Other examples of prior art touch screens are listed below:
US 3,593,115 indicates a touch element having a triangular shape for determining an object position. However, this element requires numerous secondary electrode compounds as well as two or more layers, thereby increasing cost and reducing transparency.

US 5,650,597 gibt ein 2D-Sensorverfahren an, das in seinem aktiven Bereich nur eine Schicht benötigt, aber eine große Anzahl von Elektrodenverbindungen benötigt. Resistive Streifen lösen eine Positionsachse auf, wobei die Genauigkeit von der Toleranz einer großen Anzahl von resistiven Streifen abhängt. Dieses Verfahren unterdrückt jedoch Handschatteneffekte. US 5,650,597 indicates a 2D sensor method that requires only one layer in its active area, but requires a large number of electrode connections. Resistive strips resolve a position axis, the accuracy of which depends on the tolerance of a large number of resistive strips. However, this method suppresses hand shadow effects.

US 6,297,811 beschreibt einen Berührungsbildschirm, der dreieckige Drahtumrisselektrodenformen verwendet, um Feldgradienten zu erzeugen. Dieses Patent leidet jedoch unter dem Problem, dass es schwierig ist, die Bildschirmgröße zu vergrößern, weil jeweils eine Elektrodenverbindung mit einer Sensorschaltung pro Dreieck erforderlich ist. Es wäre wünschenswert, die Anzahl der Verbindungen zu reduzieren, um die Kosten zu reduzieren und den Aufbau zu vereinfachen. Weiterhin wäre es wünschenswert, solide Formen anstelle der Drahtumrisse zu verwenden, deren Herstellung teurer ist. Dieses Verfahren unterdrückt jedoch keine Handschatteneffekte. US 6,297,811 describes a touch screen that uses triangular wire outline electrode shapes to create field gradients. However, this patent suffers from the problem that it is difficult to increase the screen size because one electrode connection with one sensor circuit per triangle is required. It would be desirable to reduce the number of connections in order to reduce costs and simplify the design. Furthermore, it would be desirable to use solid shapes instead of wire outlines, the production of which is more expensive. However, this method does not suppress hand shadow effects.

Eine Gestenerkennung wird seit vielen Jahren in derartigen Einrichtungen verwendet. Ein frühes Beispiel hierfür ist die Zeichenerkennung in PDAs wie etwa in den Originalgeräten von Palm Inc. Eine ziehende Fingerbewegung und das einfache und doppelte Tippen auf dem Touchpad eines Notebooks sind andere seit langem genutzte Beispiele. In letzter Zeit wurde die Gestenerkennung in Handheld-Geräte wie etwa das Apple iPhone (eingetragene Marke) integriert. Außerdem gibt es viele Patentveröffentlichungen aus dem Stand der Technik zu Berührungsbildschirmen, die eine Gestenerkennung verwenden, wobei insbesondere Synaptics, Inc. und in letzter Zeit Apple Computer, Inc. viele derartige Veröffentlichungen getätigt haben.A Gesture recognition has been used in such facilities for many years used. An early example of this is the Character recognition in PDAs such as in the original devices by Palm Inc. A pulling finger movement and the simple and Double taps on the touchpad of a notebook are different since long used examples. Lately, the gesture recognition in handheld devices such as the Apple iPhone (registered Brand) integrated. In addition, there are many patent publications from the prior art to touch screens, the using gesture recognition, in particular Synaptics, Inc. and, more recently, Apple Computer, Inc. has made many such publications have done.

US 2007/152984 A1 von Apple Computer, Inc. gibt ein tragbares Kommunikationsgerät mit einer mehrfach berührbaren Eingabeeinrichtung an, die eine oder mehrere Berührungskontakte und Bewegungen erfasst und eine oder mehrere Operationen auf einem Objekt auf der Basis der einen oder mehreren mehrfachen Kontakte und/der Bewegungen ausführt. US 2007/152984 A1 by Apple Computer, Inc. discloses a portable communication device having a multi-touch input device that detects one or more touch contacts and movements and performs one or more operations on an object based on the one or more multiple contacts and / or movements.

US 2002/015024 A1 der University of Delaware gibt das gleichzeitige Verfolgen mehrerer Finger- und Handflächenkontakte wie etwa einer Annäherung, einer Berührung und eines Gleitens einer Hand über einen Näherungssensor an. Eine Segmentierungsverarbeitung extrahiert Form-, Positions- und Oberflächennähe-Merkmale für jeden Kontakt, wobei ein Pfadverfolger verwendet wird, um einzelne Aufsetzungen und Abhebungen zu erfassen. Kombinatorische Optimierungsmodule assoziieren den Pfad jedes Kontakts mit einer bestimmten Fingerspitze, dem Daumen oder der Handfläche einer Hand auf der Basis von biomechanischen Beschränkungen und Kontaktmerkmalen. Eine Klassifikation von intuitiven Handkonfigurationen und Bewegungen ermöglicht eine bisher nicht möglich gewesene Integration von Tippen, Ruhen, Zeigen, Scrollen, 3D-Manipulation und Handschrift zu einer vielseitigen und ergonomischen Computereingabeeinrichtung. US 2002/015024 A1 The University of Delaware claims the simultaneous tracking of multiple finger and palm contacts, such as an approach, a touch and a sliding of a hand via a proximity sensor. Segmentation processing extracts shape, position, and surface proximity features for each contact using a path tracker to capture discrete alignments and lifts. Combinatorial optimization modules associate the path of each contact with a particular fingertip, thumb or palm of a hand based on biomechanical constraints and contact features. A classification of intuitive hand configurations and movements allows an unprecedented integration of typing, resting, pointing, scrolling, 3D manipulation and handwriting into a versatile and ergonomic computer input device.

US 5,852,352 gibt ein Berührungspaneel an, das mehrere Berührungen gleichzeitig erfassen kann. In einem xy-Elektrodenarray sind Maxima und Minima in jedem der x- und y-Signale definiert, wobei die Maxima als Fingerberührungen bezeichnet werden. Die Spitzen- und Taldaten in den x- und y-Richtungen werden dann interpoliert, um die Position von einem oder mehreren Fingern auf dem Sensorarray zu identifizieren. US 5,852,352 indicates a touch panel that can detect multiple touches simultaneously. In an xy electrode array are maxima and Minima defined in each of the x and y signals, the maxima are referred to as finger touches. The peak and valley data in the x and y directions are then interpolated to identify the position of one or more fingers on the sensor array.

US 6028271 , US 6414671 und US 6750852 sind verwandte Patente von Synaptics, Inc., die eine Gestenerkennung eines Objekts auf einem Berührungssensorfeld und für die Cursorbewegung angeben. Tippende, ziehende, drückende, länger ziehende und variabel ziehende Gesten werden erkannt, indem die Position, der Druck und die Bewegung des leitenden Objekts auf dem Sensorfeld während einer erwarteten Geste analysiert werden, wobei die Signale zu einem Host gesendet werden, der das Auftreten dieser Gesten angibt. US 6028271 . US 6414671 and US 6750852 are related patents to Synaptics, Inc. which specify gesture recognition of an object on a touch sensor panel and for cursor movement. Typing, dragging, pushing, elongating, and variable dragging gestures are detected by analyzing the position, pressure, and motion of the conductive object on the sensor field during an expected gesture, sending the signals to a host that detects their occurrence Gestures.

US2007/176906 A1 von Synaptics, Inc. gibt einen Berührungssensor an, der einen Signalprozessor aufweist, der ausgebildet ist, um zwischen drei Gesten auf der Basis von verschiedenen Fingerbewegungen auf der Sensoreinrichtung zu unterscheiden, und wie in 5 von US2007/17906 A1 gezeigt einen Arbeitsablauf mit einem Ruhezustand und drei gestenspezifischen Zuständen umfasst, die jeweils als erster, zweiter und dritter Ergebniszustand bezeichnet werden. US2007 / 176906 A1 by Synaptics, Inc. discloses a touch sensor that includes a signal processor configured to discriminate between three gestures based on various finger movements on the sensor device, and as shown in FIG 5 from US2007 / 17906 A1 3, which shows a workflow with one idle state and three state-specific states, which are referred to as first, second, and third result states, respectively.

Allgemein ist die Rohausgabe aus dem 2D-Berührungssensor eine zeitliche Abfolge von x,y-Koordinaten, die dann durch eine Software oder durch eine mittels einer Software einer höheren Ebene erzeugte Firmware verarbeitet werden, um die Beschaffenheit der eingegebenen Geste zu unterscheiden. Allgemein werden die Rohdaten in benachbarte Berührungssegmente aufgeteilt und dann verarbeitet, um zu bestimmen, welche Gesten deduziert werden können. Die Verarbeitung der Rohdaten zur Identifizierung der Gesten kann in demselben Chip erfolgen, der die Rohdaten erzeugt: Die Rohdaten können aber auch zu einem externen Chip exportiert werden, zum Beispiel mittels einer Übertragung über einen Kommunikationsbus zu der CPU der Einrichtung. Der erste Ansatz wird bevorzugt durch Synaptics verwendet, während der zweite Ansatz zum Beispiel durch in US 2006/0066582 A1 von Apple verwendet wird.Generally, the raw output from the 2D touch sensor is a time series of x, y coordinates which are then processed by software or firmware generated by higher level software to distinguish the nature of the input gesture. Generally, the raw data is divided into adjacent touch segments and then processed to determine which gestures can be deduced. The processing of the raw data to identify the gestures may be done in the same chip that generates the raw data: however, the raw data may also be exported to an external chip, for example by means of a transmission over a communication bus to the device's CPU. The first approach is preferably used by Synaptics, while the second approach is exemplified by in US 2006/0066582 A1 used by Apple.

Die Patentliteratur ist zumeist unspezifisch in Bezug darauf, wie die zeitliche Abfolge der Rohdaten zu Gesten gewandelt wird. Der direkte Ansatz sieht vor, dass ein entsprechender Code der höheren Ebene zum Beispiel in C oder in einer anderen geeigneten Programmiersprache geschrieben wird, wobei die Interpretation der zeitliche Abfolge der Daten unter Verwendung von bedingten Anweisungen wie etwa „if”, „then” und „else” analysiert wird.The Patent literature is mostly unspecific in terms of how the temporal sequence of raw data is converted into gestures. The direct Approach provides that a corresponding code of higher Level for example in C or in another suitable programming language is written, with the interpretation of the temporal sequence analyzed using conditional statements such as "if", "then" and "else" becomes.

Es ist jedoch schwierig, einen Code zuverlässig und effizient hinzuzufügen, um eine neue Geste in einem vorhandenen Codeblock zu identifizieren und zwischen einer größeren Anzahl von Gesten wie etwa 3 bis 4 oder etwa 10 bis 20 zu unterscheiden. Das Testen des Codes bereitet besondere Schwierigkeiten. Der Grund hierfür liegt allgemein darin, dass sich die Eingabe an einem beliebigen mittleren Punkt in einer zeitlichen Abfolge von x,y,t-Daten auf eine Vielzahl von möglichen Gesten beziehen kann, sodass die Codierung zum Erkennen einer Geste allgemein abhängig von der Codierung zum Erkennen einer anderen Geste ist oder mit dieser verknüpft ist.It However, it is difficult to code reliably and efficiently add a new gesture in an existing code block to identify and between a larger one Number of gestures such as 3 to 4 or about 10 to 20 to distinguish. The Testing the code presents particular difficulties. The reason for that is generally that the input at any middle point in a time sequence of x, y, t data can relate to a variety of possible gestures, so the coding for detecting a gesture generally dependent from coding to recognizing another gesture is or with this is linked.

Die vorliegende Erfindung löst dieses Problem, indem sie den Ansatz einer Zustandsmaschine für den Entwurf und das Schreiben des Gestenerkennungsalgorithmus verwendet. Insbesondere betrifft die Erfindung eine Berührungssensoreinrichtung, die umfasst: wenigstens einen eindimensionalen Sensor, der angeordnet ist, um ein Erfassungssignal in Reaktion auf die Nähe eines Objekts auszugeben; eine Positionsverarbeitungseinheit zum Berechnen der Position einer Interaktion mit dem empfindlichen Bereich aus einer Analyse der Erfassungssignale und zum Ausgeben einer zeitlichen Abfolge von Daten zu den Interaktionspositionen auf dem Sensor; und eine Gestenverarbeitungseinheit, die betreiben werden kann, um die zeitliche Abfolge der Daten zu analysieren und eine oder mehrere Gesteneingaben zu unterscheiden, wobei die Gestenerverarbeitungseinheit mit einem Gestenerkennungscode codiert ist, der eine Vielzahl von miteinander verknüpften Zustandsmodulen umfasst. Die Erfindung betrifft weiterhin ein entsprechendes SignalverarbeitungsverfahrenThe The present invention solves this problem by providing the Approach of a state machine for design and writing used by the gesture recognition algorithm. In particular, the The invention relates to a touch sensor device comprising: at least one one-dimensional sensor arranged to a detection signal in response to the proximity of an object to spend; a position processing unit for calculating the position an interaction with the sensitive area from an analysis the detection signals and for outputting a temporal sequence data on the interaction positions on the sensor; and a gesture processing unit, which can be operated to the temporal sequence of the data too analyze and distinguish one or more gesture inputs, the gesture processing unit having a gesture recognition code encoded, which is a variety of linked State modules includes. The invention further relates to a corresponding Signal processing method

Der Gestenerkennungscode kann in einer höheren Programmiersprache wie etwa C geschrieben und dann kompiliert und in einem Mikrocontroller-Chip oder einem CPU-Chip eingebettet werden. Vorzugsweise wird der Gestenerkennungscode in denselben Chip geladen, der auch die Berührungssignale von dem Bildschirm interpretiert und die zeitliche Abfolge von Daten erzeugt, wie etwa in einen Mikrocontroller oder in eine andere programmierbare Logikeinrichtung wie etwa ein FPGA (Field Programmable Gate Array). Dieser Ansatz wurde verwendet, um einen zuverlässigen und testbaren Code für Einfachberührungs-Dateneingabebildschirme und auch für Mehrfachberührungs-Dateneingabebildschirme zu erzeugen. Bei einem Einfachberührungs-Bildschirm wird nur eine gleichzeitige Berührung auf dem Bildschirm unterstützt, wobei zu einem bestimmten Zeitpunkt jeweils nur eine x,y-Koordinate ausgegeben wird. Ein Mehrfachberührungs-Dateneingabebildschirm kann mehrere gleichzeitige Berührungen erfassen, wie etwa zwei oder drei gleichzeitige Berührungen.Of the Gesture recognition code can be in a high level programming language such as C written and then compiled and stored in a microcontroller chip or a CPU chip. Preferably, the gesture recognition code becomes loaded into the same chip, which also contains the touch signals interpreted by the screen and the timing of data generated, such as in a microcontroller or in another programmable logic device such as an FPGA (Field Programmable Gate Array). This approach was used to provide a reliable and testable code for single-touch data entry screens and also for multi-touch data input screens produce. On a single-touch screen will only supports a simultaneous touch on the screen, only one x, y coordinate at a time is issued. A multi-touch data input screen can detect multiple simultaneous touches, such as two or three simultaneous touches.

Die Zustandsmaschine umfasst ein Ruhezustandsmodul, das dem Startzustand entspricht und auch der Zustand ist, zu dem zurückgekehrt wird, nachdem ein Gesteninterpretations-Zustandsmodul verlassen wurde.The state machine includes a quiet state module, which corresponds to the start state and is also the state to return to after a gesture interpretation state module has been exited.

In Reaktion auf eine Berührung gibt der Ruhezustand die Steuerung an einen Berührungszustand.In In response to a touch, the idle state gives the controller to a touch condition.

In einer Mehrfachberührungsumgebung wird die Zustandsmaschine in der weiter unten beschriebenen zweiten Ausführungsform derart implementiert, dass mehrere Berührungszustände vorliegen, nämlich einer für eine einfache Berührung, einer für eine zweifache Berührung, einer für eine dreifache Berührung usw., wobei die Steuerung auf der Basis der Anzahl von gleichzeitigen Berührungen, die durch die zeitliche Abfolge von Daten zu diesem Zeitpunkt definiert werden, an den entsprechenden Berührungszustand gegeben wird.In a multi-touch environment becomes the state machine in the second embodiment described below implemented such that multiple touch states present, namely one for a simple touch, one for a double touch, one for a triple touch, etc., with the control on the base of the number of simultaneous touches by the temporal sequence of data is defined at that time, is given to the appropriate touch condition.

Der oben beschriebene Ansatz für die Handhabung von Mehrfachberührungsgesten durch Zweifachberührungs- und Dreifachberührungszustände, die mit Einfachberührungszuständen verknüpft sind, funktioniert gut, wobei jedoch die Umkonfiguration der Zustandsmaschine für das Hinzufügen einer neuen Mehrfachberührungsgeste angesichts des zunehmend komplexen Netzes von Zuständen und Übergängen schwierig ist. Dieses Problem wird durch eine weiter unten beschriebene vierte Ausführungsform der Erfindung gelöst, in der eine Vielzahl von Zustandsmaschinen vorgesehen sind, die jeweils auf eine Einfachberührungs-Gestenerkennung beschränkt sind. Wenn der Gestenerkennungscode konfiguriert ist, um Gesten mit bis zu drei gleichzeitigen Berührungen zu erkennen, dann werden drei derartige Einfachberührungs-Zustandsmaschinen vorgesehen. Weitere Zustandsmaschinen werden für eine Mehrfachberührungs-Gestenerkennung vorgesehen, die jeweils für eine bestimmte Anzahl von gleichzeitigen Berührungen zuständig sind, sodass eine Zweifachberührungs-Zustandsmaschine und optional eine Dreifachberührungs-Zustandsmaschine und weiterhin optionale zusätzliche Zustandsmaschinen für noch größere Anzahlen von gleichzeitigen Berührungen vorgesehen werden. Ein Hauptvorteil dieses Ansatzes besteht darin, dass dieselbe Codebasis für die Handhabung von Einfachberührungen verwendet wird, wobei Zweifachberührungen, Dreifachberührungen oder größere Anzahlen von gleichzeitigen Berührungen unter Verwendung eines separaten, zusätzlich vorgesehenen Codes verarbeitet werden, der in separaten Zustandsmaschinen eingebettet ist.Of the approach described above for the handling of multiple touch gestures by dual touch and triple touch states, the linked to single touch states are working well, but with the reconfiguration of the state machine for adding a new multiple touch gesture in the face of the increasingly complex network of states and transitions is difficult. This problem will by a fourth embodiment of the invention described below Solved invention in which a variety of state machines are provided, each on a single touch gesture recognition are limited. When the gesture recognition code is configured is to make gestures with up to three simultaneous touches then three such single-touch state machines are provided. Other state machines are used for multi-touch gesture recognition provided, each for a certain number of simultaneous Touch are responsible, so a dual-touch state machine and optionally a triple touch state machine and furthermore optional additional state machines for even greater numbers of simultaneous touches be provided. A major advantage of this approach is that that same codebase for handling single touches is used, with dual touch, triple touch or greater numbers of simultaneous touches using a separate, additionally provided Codes are processed, embedded in separate state machines is.

Eine Berührung wird gewöhnlich als eine gültige Berührung ausgegeben, wenn bestimmte Kriterien erfüllt werden, wobei ein gewöhnliches Kriterium darin besteht, dass eine Abfolge von Berührungen an einer stabilen x,y-Position oder in einem x,y-Bereich über mehrere Zeitabtastungsinkremente vorhanden sind. Wenn eine Berührung mit einer Dauer von mehr als einer Schwelldauer in dem Berührungszustand erfasst wird, dann geht der Steuerfluss zu einem Drückzustandsmodul über, wobei der Drückzustand zur Handhabung von längeren Berührungen dient. Der Drückzustand ist vorzugsweise ein Superzustand, der mehrere Subzustände umfasst, um zwischen verschiedenen Dauern des Drückens zu unterscheiden und/oder zu gestatten, dass ein sehr langes Drücken als ein wiederholtes Drücken interpretiert wird, was zum Beispiel nützlich für Anwendungen mit einer Eingabe über alphanumerische Tasten sein kann.A Touch is usually considered a valid one Touch issued when meets certain criteria with one common criterion being a sequence of touches at a stable x, y position or in an x, y range over a plurality of time sample increments available. If a touch with a duration of detected more than one threshold duration in the touch state then the control flow goes to a push state module, wherein the pushing condition for handling longer Touches serves. The pushing condition is preferable a super state that includes multiple sub-states to switch between to distinguish between different durations of pressing and / or to allow a very long press as a repeated Pressing is interpreted, which is useful, for example for applications with alphanumeric input Keys can be.

Die Zustandsmaschine weist vorzugsweise auch eine Vielzahl von Zustandsmodulen für das Interpretieren von Gesten einer höheren Ebene auf, wie etwa einen oder mehrere Zustände für das Interpretieren von doppelt tippenden, kurz ziehenden, ziehenden und anderen Gesten. Die Gesten umfassen gewöhnlich diejenigen, die speziell in diesem Dokument beschrieen werden, sowie andere aus dem Stand der Technik bekannte Gesten wie insbesondere diejenigen, die in den oben zitierten Dokumenten aus dem Stand der Technik angegeben werden.The State machine preferably also has a plurality of state modules for interpreting gestures of a higher one Level up, such as one or more states for the interpreting of doubly typing, short drawing, drawing and other gestures. The gestures usually include those which are specifically described in this document, as well as others Gestures known from the prior art such as, in particular, those those given in the above cited prior art documents become.

Die Erfindung gibt in einem Aspekt eine Berührungssensoreinrichtung an, die umfasst: einen Sensor mit einem empfindlichen Bereich, der sich in wenigstens einer Dimension erstreckt und angeordnet ist, um Erfassungssignale in Reaktion auf die Nähe eines Objekts zu einem empfindlichen Bereich auszugeben; eine Positionsverarbeitungseinheit, die betrieben werden kann, um Positionen von Interaktionen mit dem empfindlichen Bereich aus einer Analyse der Erfassungssignale zu berechnen und um eine zeitliche Abfolge von Daten auszugeben, die die Interaktionspositionen des Sensors und damit Berührungen angeben; und eine Gestenverarbeitungseinheit, die betrieben werden kann, um die zeitliche Abfolge von Daten zu analysieren, um eine oder mehrere Gesteneingaben aus denselben zu unterscheiden, wobei die Gestenverarbeitungseinheit mit einem Gestenerkennungscode codiert wird, der eine Vielzahl von verknüpften Zustandsmodulen umfasst.The In one aspect, the invention provides a touch sensor device which comprises: a sensor having a sensitive area which extends and is arranged in at least one dimension around detection signals in response to the proximity of an object to spend a sensitive area; a position processing unit, which can be operated to positions of interactions with the sensitive area from an analysis of the detection signals too to calculate and to output a temporal succession of data that the interaction positions of the sensor and thus touches specify; and a gesture processing unit that are operated can to analyze the time sequence of data to a or to distinguish a plurality of gesture inputs from the same, wherein the gesture processing unit is encoded with a gesture recognition code which is a variety of linked state modules includes.

Weitere Aspekte der Erfindung betreffen die Gestenverarbeitungseinheit alleine und die Gestenverarbeitungseinheit in Kombination mit der Positionsverarbeitungseinheit, aber ohne den Sensor.Further Aspects of the invention relate to the gesture processing unit alone and the gesture processing unit in combination with the position processing unit, but without the sensor.

Die Vielzahl von Zustandsmodulen umfasst vorzugsweise ein Ruhezustandsmodul und eine Vielzahl von Gesteninterpretations-Zustandsmodulen, wobei in das Ruhezustandsmodul zu Beginn des Betriebs eingetreten wird und von wenigstens einigen der Gesteninterpretations-Zustandmodule zu demselben zurückgekehrt werden kann. Die Vielzahl von Gesteninterpretations-Zustandsmodulen kann ein Berührungs-Zustandsmodul für einfache Berührungen umfassen, wobei der Ruhezustand nach einer Berührung die Steuerung an den Berührungszustand gibt.The plurality of state modules preferably includes an idle state module and a plurality of gesture interpretation state modules, wherein the idle state module is entered at the beginning of the operation and may be returned from at least some of the gesture interpretation state modules thereto. The variety of Gesture interpretation state modules may include a touch state module for simple touches, wherein the idle state after a touch gives the control to the touch state.

In einigen Ausführungsformen umfasst die Vielzahl von Gesteninterpretations-Statusmodulen wenigstens ein Mehrfachberührungs-Zustandmodul, das betrieben werden kann, um mehrere gleichzeitige Berührungen zu verarbeiten, wobei die Gestenverarbeitungseinheit betrieben werden kann, um die Steuerung auf der Basis der Anzahl von gleichzeitigen Berührungen, die durch die zeitliche Abfolge von Daten zu diesem Zeitpunkt definiert wird, an das entsprechende Berührungs-Zustandsmodul abzugeben. Es kann ein Mehrfachberührungs-Zustandsmodul für jeweils zwei gleichzeitige Berührungen und drei gleichzeitige Berührungen vorgesehen sein, wobei optional auch größere Anzahlen von Berührungen berücksichtigt werden können.In In some embodiments, the plurality of gesture interpretation status modules include at least a multi-touch state module that operates can handle multiple simultaneous touches, wherein the gesture processing unit is operable to control based on the number of simultaneous touches, which is defined by the timing of data at that time is to deliver to the corresponding touch state module. It may be a multi-touch state module for each two simultaneous touches and three simultaneous touches be provided, optionally also larger numbers can be taken into account by touch.

Die Vielzahl von Gesteninterpretations-Zustandsmodulen kann vorzugsweise ein Drück-Zustandsmodul umfassen, an das die Steuerung von einem Berührungs-Zustandsmodul gegeben werden kann, wenn eine Berührung mit einer Dauer, die länger als eine Schwelldauer ist, in dem Berührungszustandsmodul erfasst wird. Der Drückzustand ist vorzugsweise ein Superzustand, der mehrere Unterzustände umfasst, um zwischen verschiedenen Drückdauern zu unterscheiden.The Variety of gesture interpretation state modules may preferably a push state module to which the controller can be given by a touch state module, if a touch with a duration longer is a threshold duration in the touch state module is detected. The push state is preferably a super state, which includes several sub-states to distinguish between different ones Distinguish pressure periods.

In einigen Ausführungsformen umfasst die Vielzahl von Gesteninterpretations-Zustandsmodulen eine Vielzahl von Zustandsmodulen, die betrieben werden können, um auf Bewegungen bezogene Gesten zu erkennen die aus einer oder mehreren bewegten Berührungen abgeleitet werden. In anderen Ausführungsformen werden nur statische Gesten wie etwa ein Drücken, Tippen oder doppeltes Tippen berücksichtigt.In In some embodiments, the plurality of gesture interpretation state modules includes a variety of state modules that can be operated to recognize movements related to gestures that come from one or the other derived from several moving touches. In other embodiments Only static gestures such as a press, tap or double typing.

Eine bevorzugte Implementierung für das Interpretieren von Mehrfachberührungsgesten gemäß der Erfindung sieht einen Gestenerkennungscode vor, der konfiguriert ist, um Gesten mit bis zu N gleichzeitigen Berührungen zu erkennen, wobei N wenigstens gleich 2 ist, und umfasst N Einfachberührungs-Zustandsmaschinen, die betrieben werden können, um nur Einfachberührungsgesten zu erkennen, und N – 1 Mehrfachberührungs-Zustandsmaschinen, die jeweils betrieben werden können, um nur n-fache Berührungsgesten zu erkennen, wobei n gleich 2 bis N ist.A preferred implementation for interpreting multiple touch gestures according to the invention provides a gesture recognition code, which is configured to gestures up to N simultaneous touches where N is at least equal to 2, and includes N single-touch state machines, which can be operated to only single touch gestures and N - 1 multi-touch state machines, which can each be operated to only n-fold touch gestures to recognize where n is 2 to N.

Die Positionsverarbeitungseinheit und die Gestenverarbeitungseinheit können in einer einzelnen integrierten Schaltung wie zum Beispiel einem Mikrocontroller untergebracht und in derselben ausgeführt werden. Alternativ hierzu kann die Positionsverarbeitungseinheit in einer ersten integrierten Schaltung wie etwa einem Mikrocontroller untergebracht und ausgeführt werden, während die Gestenverarbeitungseinheit in einer oder mehreren separaten integrierten Schaltungen wie etwa einem PC oder einem anderen komplexen System mit einer eigenen Verarbeitungseinheit, einer Grafikverarbeitungseinheit und/oder einem digitalen Signalprozessor mit assoziiertem Speicher und Busverbindungen untergebracht und ausgeführt werden kann.The Position processing unit and the gesture processing unit can work in a single integrated circuit such as Example housed and executed in a microcontroller become. Alternatively, the position processing unit in a first integrated circuit such as a microcontroller be housed and executed while the Gesture processing unit in one or more separate integrated Circuits such as a PC or other complex system with its own processing unit, a graphics processing unit and / or a digital signal processor with associated memory and bus connections are housed and executed can.

Die Erfindung gibt in einem anderen Aspekt ein Verfahren zum Erkennen von Gesten aus einer zeitlichen Abfolge von Berührungsdaten mit Koordinaten von Interaktionspositionen auf einem Berührungssensor an, wobei das Verfahren umfasst: Empfangen von Berührungskoordinaten, die zeitlich etikettiert oder geordnet sind; Analysieren der Berührungskoordinaten in einer Zustandsmaschine, die eine Vielzahl von verknüpften Zustandsmodulen umfasst, um eine aus einer Vielzahl von definierten Gesten aus derselben zu erkennen; und Ausgeben der erkannten Gesten.The Invention in another aspect provides a method of recognition gestures from a temporal sequence of touch data with coordinates of interaction positions on a touch sensor wherein the method comprises: receiving touch coordinates, which are labeled or ordered in time; Analyze the touch coordinates in a state machine that has a lot of linked State modules include one of a variety of defined ones To recognize gestures from the same; and outputting the recognized gestures.

Die Erfindung gibt in einem weiteren Aspekt eine einzelne integrierte Schaltung an, die einen Speicher aufweist, auf den die oben genannte Gesten-Zustandsmaschine geladen ist, und die betrieben werden kann, um das oben definierte Verfahren für die Gestenerkennung auszuführen.The Invention in a further aspect provides a single integrated one Circuit on, which has a memory to which the above Gesture state machine is loaded, and which can be operated to the above-defined method for gesture recognition perform.

Die Erfindung gibt in einem weiteren Aspekt einen Computer an, der einen Speicher aufweist, auf den die oben genannte Gesten-Zustandsmaschine geladen ist, und der betrieben werden kann, um das oben definierte Verfahren für die Gestenerkennung auszuführen.The Invention indicates in a further aspect a computer having a Memory loaded on the above-mentioned gesture state machine is, and which can be operated to the above-defined method for gesture recognition.

Es ist zu beachten, dass der Ansatz der Gesten-Zustandsmaschine für die Gestenerkennung auf eine beliebige Hardwareplattform angewendet werden kann. Kapazitive Berührungssensoren und insbesondere eindimensionale und zweidimensionale kapazitive Berührungssensoren sind ein wichtiger Sensortyp, der eine Hardware-Plattform für eine Gestenerkennungs-Zustandsmaschine gemäß der Erfindung vorsehen kann. Insbesondere kann die Erfindung auch auf so genannte passive oder aktive kapazitive Erfassungstechniken angewendet werden.It Note that the approach of the gesture state machine for Gesture recognition applied to any hardware platform can be. Capacitive touch sensors and in particular one-dimensional and two-dimensional capacitive touch sensors are an important type of sensor that has a hardware platform for a gesture recognition state machine according to the invention can provide. In particular, the invention may also refer to so-called passive or active capacitive detection techniques are applied.

Passive kapazitive Erfassungseinrichtungen messen die Kapazität einer Erfassungselektrode zu einem Systembezugspotential (Erde). Die Prinzipien dieser Technik werden zum Beispiel in US 5,730,165 und US 6,466,036 beschrieben. Ganz allgemein verwenden passive kapazitive Sensoren Erfassungselektroden, die mit kapazitiven Messschaltungen verbunden sind. Jede kapazitive Messschaltung misst die Kapazität (kapazitive Kopplung) ihrer assoziierten Erfassungselektrode zu einer Systemerde. Wenn kein Zeigeobjekt in der Nähe der Erfassungselektrode vorhanden ist, weist die gemessene Kapazität einen Hintergrund- oder Ruhewert auf. Dieser Wert hängt von der Geometrie und dem Layout der Erfassungselektrode und den Verbindungsleitungen zu derselben usw. sowie von der Beschaffenheit und der Position von benachbarten Objekten wie etwa der Nähe der Erfassungselektroden zu benachbarten Erdungsebenen ab. Wenn ein zeigendes Objekt wie etwa der Finger eines Bedieners in die Nähe der Erfassungselektrode gebracht wird, erscheint das zeigende Objekt als eine virtuelle Erde. Dadurch wird die gemessene Kapazität der Erfassungselektrode zu der Erde erhöht. Eine derartige Erhöhung in der gemessenen Kapazität gibt das Vorhandensein eines zeigenden Objekts an. US 5,730,165 und US 5,466,036 sind primär auf diskrete Messungen (mit einer einzelnen Taste) und nicht auf zweidimensionale Anwendungen von Positionssensoren ausgerichtet. Die in US 5,730,165 und US 5,466,036 beschriebenen Prinzipien können aber einfach auf kapazitive 2D-Berührungssensoren (2DCTs) angewendet werden, indem zum Beispiel Elektroden vorgesehen werden, um ein 2D-Array von diskreten Erfassungsbereichen oder aber Reihen und Spalten von Elektroden in einer Matrixkonfiguration zu definieren.Passive capacitive sensing devices measure the capacitance of a sense electrode to a system reference potential (ground). The principles of this technique are used for example in US 5,730,165 and US 6,466,036 described. In general, passive capacitive sensors use sensing electrodes connected to capacitive sensing circuits. Each capacitive measuring circuit measures the capacitance (capacitive coupling) of its associated ones Detecting electrode to a system ground. If there is no pointing object near the sensing electrode, the measured capacitance has a background or quiescent value. This value depends on the geometry and layout of the sense electrode and the interconnections therewith, etc., as well as the nature and location of adjacent objects, such as the proximity of the sense electrodes to adjacent ground planes. When a pointing object such as an operator's finger is brought close to the detection electrode, the pointing object appears as a virtual earth. This increases the measured capacitance of the sense electrode to ground. Such an increase in the measured capacitance indicates the presence of a pointing object. US 5,730,165 and US 5,466,036 are primarily focused on discrete measurements (with a single key) and not on two-dimensional applications of position sensors. In the US 5,730,165 and US 5,466,036 However, the described principles can be readily applied to 2D capacitive touch sensors (2DCTs), for example, by providing electrodes to define a 2D array of discrete detection areas or rows and columns of electrodes in a matrix configuration.

Aktive 2DCT-Sensoren messen die kapazitive Kopplung zwischen zwei Elektroden (und nicht zwischen einer einzelnen Erfassungselektrode und einer Systemerde). Die den aktiven kapazitiven Erfassungstechniken zugrunde liegenden Prinzipien werden in US 6,452,514 beschrieben. In einem aktiven Sensor wird eine Elektrode, die so genannte Ansteuerungselektrode, mit einem oszillierenden Ansteuerungssignal versorgt. Der Grad der kapazitiven Kopplung des Ansteuerungssignals zu der Erfassungselektrode wird bestimmt, indem die durch das oszillierende Ansteuerungssignal zu der Erfassungselektrode übertragene Ladungsmenge gemessen wird. Die übertragene Ladungsmenge, d. h. die Stärke des an der Erfassungselektrode erfassten Signals, ist ein Maß für die kapazitive Kopplung zwischen den Elektroden. Wenn kein zeigendes Objekt in der Nähe der Elektroden ist, weist das gemessene Signal an der Erfassungselektrode einen Hintergrund- oder Ruhewert auf. Wenn jedoch ein zeigendes Objekt wie etwa der Finger eines Benutzers in die Nähe der Elektroden gebracht wird (und insbesondere in die Nähe des Bereichs zwischen den Elektroden gebracht wird), wirkt das zeigende Objekt als virtuelle Erde und zieht einen Teil des Ansteuerungssignals (der Ladung) von der Ansteuerungselektrode. Dadurch wird die Stärke der Komponente des mit der Erfassungselektrode gekoppelten Ansteuerungssignals reduziert. Eine derartige Verminderung des gemessenen Signals an der Erfassungselektrode gibt das Vorhandensein eines zeigenden Objekts an.Active 2DCT sensors measure the capacitive coupling between two electrodes (and not between a single sense electrode and a system ground). The principles underlying the active capacitive detection techniques are described in US 6,452,514 described. In an active sensor, an electrode, called the drive electrode, is supplied with an oscillating drive signal. The degree of capacitive coupling of the drive signal to the sense electrode is determined by measuring the amount of charge transferred to the sense electrode by the oscillating drive signal. The amount of charge transferred, that is, the strength of the signal detected at the sense electrode, is a measure of the capacitive coupling between the electrodes. When no pointing object is near the electrodes, the measured signal on the sense electrode has a background or quiescent value. However, when a pointing object such as a user's finger is brought near the electrodes (and in particular is brought near the area between the electrodes), the pointing object acts as a virtual ground and pulls part of the drive signal (the charge). from the drive electrode. This reduces the strength of the component of the drive signal coupled to the sense electrode. Such a reduction in the measured signal at the sense electrode indicates the presence of a pointing object.

Es ist zu beachten, dass es auch verschiedene andere Erfassungstechnologien gibt. Dazu gehören Techniken, die auf resistiven Bildschirmen basieren und gewöhnlich mit einem Stift bedient werden, oder für große Bereiche entwickelte Technologien wie etwa solche, die auf Ultraschall oder anderen akustischen Techniken beruhen, oder Techniken, die auf einer totalen internen Reflexion oder auf anderen optischen Wirkungen beruhen. Alle diese Techniken können von der vorliegenden Erfindung profitieren.It It should be noted that there are also various other detection technologies gives. These include techniques used on resistive screens are based and usually operated with a pen, or technologies developed for large areas such as such as those based on ultrasound or other acoustic techniques or techniques based on total internal reflection or based on other optical effects. All of these techniques can benefit from the present invention.

Es ist zu beachten, dass in der vorliegenden Patentanmeldung der Begriff „Zustandsmaschine” verwendet wird. Eine Zustandsmaschine kann auch durch das Akronym FSM (Finite State Machine) angegeben werden.It It should be noted that the term "state machine" is used in the present patent application becomes. A state machine can also be represented by the acronym FSM (Finite State machine).

Die Erfindung wird im Folgenden anhand einiger Ausführungsformen mit Bezug auf die beigefügten Zeichnungen verdeutlicht.The Invention will be described below with reference to some embodiments clarified with reference to the accompanying drawings.

1 zeigt eine Gestenerkennungs-Zustandsmaschine gemäß einer ersten Ausführungsform. 1 shows a gesture recognition state machine according to a first embodiment.

2 zeigt eine Gestenerkennungs-Zustandsmaschine gemäß einer zweiten Ausführungsform. 2 shows a gesture recognition state machine according to a second embodiment.

3 zeigt eine Gestenerkennungs-Zustandsmaschine gemäß einer dritten Ausführungsform. 3 shows a gesture recognition state machine according to a third embodiment.

4 zeigt eine Gestenerkennungs-Zustandsmaschine gemäß einer vierten Ausführungsform zur Handhabung von N Berührungen. 4 shows a gesture recognition state machine according to a fourth embodiment for handling N touches.

5 zeigt die internen Zustände einer Zustandsmaschine für N Berührungen gemäß der vierten Ausführungsform. 5 FIG. 12 shows the internal states of a N touch state machine according to the fourth embodiment.

6 ist ein Beispiel für die vierte Ausführungsform und zeigt die Erzeugung von Zweifachberührungs-Ereignissen unter Verwendung von Einfachberührungs-Zustandsmaschinen. 6 FIG. 4 is an example of the fourth embodiment showing the generation of dual touch events using single-touch state machines.

7 ist ein Beispiel für eine Dreifachberührungs-Gestenhandhabung gemäß der vierten Ausführungsform. 7 FIG. 10 is an example of a triple touch gesture handling according to the fourth embodiment. FIG.

8 ist eine schematische Draufsicht, die Teile eines Elektrodenmusters für einen zweidimensionalen kapazitiven Berührungsbildschirm (2DCT) zeigt. 8th Fig. 12 is a schematic plan view showing parts of a two-dimensional capacitive touch screen (2DCT) electrode pattern.

9 ist eine Draufsicht auf einen 2DCT von 8 und zeigt das Elektrodenmuster und eine erste Schicht von Verbindungen am Rand des Elektrodenmusterbereichs für die Verbindung mit den y-Elektroden. 9 is a plan view of a 2DCT of 8th and shows the electrode pattern and a first layer of interconnects at the edge of the electrode pattern region for connection to the y-electrodes.

10 ist eine Draufsicht auf die 2DCT von 9 und zeigt das Elektrodenmuster und eine zweite Schicht von Verbindungen am Rand des Elektrodenmusterbereichs für die Verbindung mit den x-Elektroden und auch für die Verbindung der externen Zuführleitungen mit den y-Elektrodenverbindungen von 9. 10 is a plan view of the 2DCT of 9 FIG. 12 shows the electrode pattern and a second layer of interconnects at the edge of the electrode pattern region for connection to the x-electrodes and also for connecting the external leads to the y-electrode interconnects of FIG 9 ,

11 ist eine schematische Ansicht auf der Systemebene, die eine Ansteuerungs- und Datenerfassungsschaltung für den 2DCT von 810 zeigt. 11 is a schematic view at the system level, showing a drive and data acquisition circuit for the 2DCT of 8th - 10 shows.

12 zeigt schematisch einen Anzeigemonitor und eine Eingabeeinrichtung gemäß der vorliegenden Erfindung. 12 schematically shows a display monitor and an input device according to the present invention.

13 zeigt schematisch ein Mobiltelefon gemäß der vorliegenden Erfindung. 13 schematically shows a mobile phone according to the present invention.

Bevor im Folgenden verschiedene Ausführungsformen der Erfindung beschrieben werden, sollen hier zuerst die in der ausführlichen Beschreibung der Ausführungsformen genannten Gesten erläutert werden.Before In the following, various embodiments of the invention should be described here first in the detailed Description of the embodiments mentioned gestures will be explained.

Tippen: Bei einem Tippen berührt und verlässt ein Benutzer die Berührungsfläche schnell wieder. Es tritt keine wesentliche Bewegung auf, während sich der Finger des Benutzers auf der Berührungsfläche befindet. Das Tippen ist durch eine kurze Berührungsdauer gekennzeichnet. Ein Tippen kann zum Beispiel verwendet werden, um einen Hyperlink auf einer angezeigten Internetseite zu aktivieren.Tap: When you tap, a user touches and leaves the touchpad quickly again. It occurs no significant movement while the finger the user is on the touchpad. Typing is characterized by a short touch duration. For example, a tap can be used to hyperlink to a displayed webpage.

Doppeltes Tippen: Bei einem doppelten Tippen berührt und verlässt der Benutzer die Berührungsfläche zweimal schnell hintereinander. Es tritt keine wesentliche Bewegung auf, während sich der Finger des Benutzers auf der Berührungsfläche befindet. Das doppelte Tippen ist durch kurze Berührungsdauern und eine kurze Pause zwischen der ersten und der zweiten Berührung gekennzeichnet. Ein doppeltes Tippen kann zum Beispiel verwendet werden, um ein Wort in einem angezeigten Dokument zu markieren.double Tap: touches and leaves with a double tap the user quickly makes the touchpad twice behind each other. There is no significant movement while the user's finger on the touchpad located. Double typing is due to short touch times and a short break between the first and the second touch characterized. A double tap can be used for example to mark a word in a displayed document.

Drücken: Bei einem Drücken berührt und hält der Benutzer die Berührungsfläche. Es tritt keine wesentliche Bewegung auf, während sich der Finger des Benutzers auf der Berührungsfläche befindet. Das Drücken kann zum Beispiel verwendet werden, um eine Zahl aus einem angezeigten Tastenfeld zu wählen. Derselbe Mechanismus kann auch verwendet werden, um die gewählte Nummer automatisch zu wiederholen, wenn der Benutzer die angezeigte Nummer gedrückt hält.To press: When pressed touches and holds the User the touchpad. It does not occur significant movement while the user's finger located on the touchpad. The pressing can be used, for example, to get a number from a displayed one Keypad to select. The same mechanism can also be used to automatically repeat the dialed number, when the user holds down the displayed number.

Kurzes Ziehen (Flick): Bei einem kurzen Ziehen berührt der Benutzer die Berührungsfläche schnell, führt eine kurze Bewegung durch und lässt die Berührung wieder los. Das kurze Ziehen ist durch eine kurze Berührungsdauer gekennzeichnet. Ein kurzes Ziehen kann zum Beispiel verwendet werden, um das nächste in einer Folge von Bildern anzuzeigen.short Pull (Flick): A short pull touches the user the touchpad quickly leads one short movement through and leaves the touch again Come on. The short pull is due to a short contact duration characterized. For example, a short drag can be used to to display the next one in a sequence of pictures.

Ziehen: Bei einem Ziehen berührt der Benutzer die Berührungsfläche, bewegt seinen Finger über die Fläche und beendet die Berührung. Das Ziehen ist durch eine große Bewegung über die Berührungsfläche gekennzeichnet. In Abhängigkeit von der Anwendung können mehrere Ziehereignisse erzeugt werden, während der Benutzer seinen Finger bewegt. Dies kann zum Beispiel verwendet werden, um einen Satz in einem angezeigten Dokument zu markieren.Pull: When dragging, the user touches the touchpad, moves his finger over the surface and ends the touch. The pull is through a big one Movement characterized by the contact surface. Depending on the application, several Drag events are generated while the user is using his Finger moves. This can for example be used to one Mark sentence in a displayed document.

Stauchen: Bei einem Stauchen platziert der Benutzer zwei Finger auf der Berührungsfläche und bewegt die Finger dann aufeinander zu. Dies kann zum Beispiel verwendet werden, um ein angezeigtes Bild zu verkleinern.upsetting: When upsetting, the user places two fingers on the touchpad and then move the fingers toward each other. This can be, for example used to shrink a displayed image.

Strecken: Bei einem Strecken platziert der Benutzer zwei Finger auf der Berührungsfläche und bewegt die Finger dann auseinander. Dies kann zum Beispiel verwendet werden, um ein angezeigtes Bild zu vergrößern.Stretch: When stretched, the user places two fingers on the touchpad and then move your fingers apart. This can be used for example to enlarge a displayed image.

Drehen: Bei einem Drehen platziert der Benutzer zwei Finger auf der Berührungsfläche und dreht die Finger dann relativ zueinander. Dies kann zum Beispiel verwendet werden, um ein angezeigtes Bild zu drehen.Rotate: When rotated, the user places two fingers on the touchpad and then rotate your fingers relative to each other. This can be, for example used to rotate a displayed picture.

Bevor im Folgenden verschiedene Ausführungsformen der Erfindung beschrieben werden, sollen hier zuerst die in der ausführlichen Beschreibung der Ausführungsformen genannten Ereignisse definiert werden. Diese Ereignisse werden durch die weiter unten beschriebenen Zustandsmaschinen der Erfindung ausgeführt. Es ist zu beachten, dass die Zustandsmaschine in einigen Ausführungsformen gleichzeitig mehrere Ereignisse in Reaktion auf bestimmte Benutzeraktionen erzeugen kann.Before In the following, various embodiments of the invention should be described here first in the detailed Description of the embodiments mentioned events To be defined. These events are explained by the below described state machines of the invention executed. It should be noted that in some embodiments, the state machine is simultaneous generate multiple events in response to specific user actions can.

Tippen: Ein Tippereignis wird erzeugt, wenn der Benutzer eine Tippgeste ausführt.Tap: A jog event is generated when the user makes a jog gesture performs.

Doppeltes Tippen: Ein doppeltes Tippereignis wird erzeugt, wenn der Benutzer eine doppelte Tippgeste ausführt.double Tap: A double tap event is generated when the user Do a double tap gesture.

Drücken: Ein Drückereignis wird erzeugt, wenn der Benutzer die Berührungsfläche berührt und seinen Finger dann stationär hält.To press: A push event is generated when the user touches the touchpad touched and then keeps his finger stationary.

Kurzes Drücken: Ein kurzes Drückereignis wird nach einem Drückereignis erzeugt, wenn der Benutzer seinen Finger weiterhin für eine bestimmte Zeitdauer stationär hält.Short press: A short press event is generated after a press event when the User keeps his finger stationary for a certain period of time.

Langes Drücken: Ein langes Drückereignis wird nach einem kurzen Drückereignis erzeugt, wenn der Benutzer seinen Finger weiterhin für eine bestimmte Zeitdauer stationär hält.long Press: A long press event will go to one short push event generated when the user his Fingers continue to be stationary for a certain period of time holds.

Wiederholtes Drücken: Ein wiederholtes Drückereignis wird nach einem langen Drückereignis erzeugt, wenn der Benutzer seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Wenn der Benutzer seinen Finger weiterhin stationär hält, werden wiederholte Drückereignisse mit regelmäßigen Intervallen erzeugt.Repeated Press: A repeated press event will disappear a long press event when the user generates his Finger stationary for a certain period of time has held. If the user continues to hold his finger stationary stops are repeated pusher events with regular Intervals generated.

Lösen: Ein Lösungsereignis wird erzeugt, wenn der Benutzer seine Finger von der Berührungsfläche entfernt.To solve: A solution event is generated when the user has his Finger away from the touchpad.

Kurzes Ziehen (Flick): Ein kurzes Ziehereignis wird erzeugt, wenn der Benutzer eine kurze Ziehgeste ausführt.short Drag (Flick): A short drag event is generated when the user makes a short drag gesture.

Ziehen: Ein Ziehereignis wird erzeugt, wenn der Benutzer eine Ziehgeste ausführt.Pull: A drag event is generated when the user makes a drag gesture performs.

Mehrfachberührung (oder Zweifachberührung): Ein Mehrfachberührungsereignis (oder Zweifachberührungsereignis) wird erzeugt, wenn der Benutzer die Berührungsfläche mit zwei Fingern berührt.Multi-touch (or dual touch): A multi-touch event (or double touch event) is generated when the User the touchpad with two fingers touched.

Stauchen: Ein Stauchereignis wird erzeugt, wenn der Benutzer eine Stauchgeste ausführt.upsetting: An upsetting event is generated when the user makes an upsetting gesture performs.

Strecken: Ein Streckereignis wird erzeugt, wenn der Benutzer eine Streckgeste ausführt.Stretch: A stretching event is generated when the user makes a stretching gesture performs.

Drehen: Ein Drehereignis wird erzeugt, wenn der Benutzer eine Drehgeste ausführt.Rotate: A spin event is generated when the user makes a swivel gesture performs.

1 zeigt eine Zustandsmaschine für die Gestenerkennung gemäß einer ersten Ausführungsform, die auf die Verarbeitung von Gesten beschränkt ist, die aus einfachen Berührungen bestehen. Mit anderen Worten werden in dieser Ausführungsform keine Mehrfachberührungsgesten berücksichtigt. Die unterstützten Gesten sind: Tippen; Drücken; doppeltes Tippen; kurzes Ziehen (Flick); und Ziehen. Diese fünf Gesten werden in der Zustandsmaschine erkannt, indem sieben Zustände durchlaufen werden, die wie in der Figur gezeigt durch ungefähr 17 Übergänge miteinander verbunden sind. Die Zustände können weiter in solche für statische Berührungen wie in diesem Beispiel Drücken, Tippen und doppeltes Tippen und in solche für bewegte Berührungen wie in diesem Beispiel kurzes Ziehen und Ziehen unterteilt werden. 1 shows a state machine for gesture recognition according to a first embodiment, which is limited to the processing of gestures consisting of simple touches. In other words, no multiple touch gestures are considered in this embodiment. The supported gestures are: typing; To press; double tap; short pulling (flick); and pulling. These five gestures are recognized in the state machine by going through seven states which are interconnected by approximately 17 transitions as shown in the figure. The states may be further subdivided into those for static touches such as pressing, jogging and double jogging in this example and moving touches such as short pulling and pulling in this example.

Im Folgenden wird der Ruhezustand beschrieben. Der Ruhezustand tritt immer dann auf, wenn die Berührungsfläche nicht von einem Benutzer berührt wird. In diesem Zustand werden keine Aktionen ausgelöst und keine Aktionen ausgeführt. Der Ruhezustand geht in einen Berührungszustand über, wenn der Benutzer die Berührungsfläche mit einem Finger berührt. Der Ruhezustand weist keine Parameter auf, und es sind keine Zeitberechnungen mit dem Ruhezustand assoziiert.in the The following describes the idle state. The hibernation occurs always on when the contact surface is not is touched by a user. In this state will be no actions are triggered and no action is taken. The idle state changes to a touch state when the user the touch surface with a finger touched. Hibernation has no parameters, and there are no time calculations associated with hibernation.

Im Folgenden wird der Berührungszustand beschrieben. Der berührte Zustand tritt auf, wenn ein Benutzer die Berührungsfläche berührt. Wenn in den Berührungszustand eingetreten wird, wird eine Zeitbeschränkung gestartet, d. h. es wird ein Timer gesetzt, der nach einer vorbestimmten Zeitdauer abläuft. Dadurch wird zwischen Gesten kurzer Dauer wie etwa einem kurzen Ziehen (Flick) und einem Tippen und Gesten langer Dauer wie etwa einem Drücken unterschieden. Die Ausgangsposition der Berührung wird gespeichert. Dies dient zur Bestimmung, ob der Benutzer seine Finger bewegt hat. In dem Berührungszustand wird auf einen Ablauf der Zeitbeschränkung geprüft und wird die von der Ausgangsposition der Berührung zurückgelegte Distanz berechnet. Wenn die Zeitbeschränkung abläuft, durchläuft die Zustandsmaschine einen Übergang, indem sie ein Drückereignis erzeugt und dann in den Drückzustand übergeht. Wenn der Benutzer den Finger über eine spezifizierte Distanz hinaus von der Ausgangsposition der Berührung bewegt, tritt die Zustandsmaschine in einen Wartezustand für ein kurzes Ziehen ein. Wenn der Benutzer die Berührung beendet, tritt die Zustandsmaschine in den Wartezustand für das zweite Tippen ein. Folgende Aktionen bestimmen, ob ein Tippen, ein doppeltes Tippen oder eine andere Geste erzeugt wird. Der Zeitbeschränkungsparameter in dem Berührungszustand bestimmt, wie lange der Benutzer seinen Finger entfernen muss, um ein Tippereignis zu erzeugen. Der Bewegungsparameter in diesem Zustand bestimmt, über welche Distanz der Benutzer seinen Finger bewegen muss, um in den Wartezustand für ein kurzes Ziehen einzutreten. Die maximal zulässige Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand ist die Zeitbeschränkungsperiode.in the Next, the touch condition will be described. The touched Condition occurs when a user touches the interface touched. When entered into the touch state a time limit is started, i. H. it will set a timer that expires after a predetermined period of time. This will switch between short duration gestures such as a short one Dragging (flick) and a long-duration typing and gesturing such as a press. The starting position of the touch will be saved. This is to determine if the user is his Finger has moved. In the state of touch is on a Expiration of the time limit is checked and becomes the traveled from the initial position of the touch Distance calculated. When the time limit expires, go through the state machine makes a transition by pressing a trigger generates and then enters the pressing state. If the user's finger over a specified distance moves out of the initial position of the touch occurs the state machine into a wait state for a short time Pull in. When the user stops the contact, occurs the state machine in the wait state for the second Type in. The following actions determine whether a tap, a double Tap or another gesture is generated. The time limit parameter in the touch state determines how long the user is must remove his finger to create a tap event. Of the Motion parameters in this state determines over which Distance the user must move his finger to be in the wait state to step in for a brief drag. The maximum allowed Duration from the first touch for the generation an event in this state is the time constraint period.

Im Folgenden wird der Wartezustand für das zweite Tippen beschrieben. Der Wartezustand für das zweite tippen tritt ein, nachdem ein Benutzer auf die Berührungsfläche getippt hat. Beim Eintreten in den Wartezustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer eine Tippgeste ausgeführt hat. Die Ausgangsposition der Berührung wird gespeichert. Dies dient zur Bestimmung, ob der Benutzer eine doppelte Tippgeste ausführt. Der Ablauf der Zeitbeschränkung wird geprüft. Wenn die Zeitbeschränkung abläuft, wird ein Tippereignis erzeugt und tritt die Zustandsmaschine in den Ruhezustand ein. Dies bedeutet, dass der Benutzer ein Mal, aber nicht zwei Mal während des zulässigen Zeitintervalls auf die Oberfläche getippt hat. Wenn der Benutzer die Berührungsfläche mit einem Finger drückt, wird die Distanz der zweiten Berührung von der ersten Berührung berechnet. Wenn die Distanz unter dem spezifizierten Wert liegt, tritt die Zustandsmaschine in den Wartezustand für ein doppeltes Tippen ein, weil der Benutzer unter Umständen ein doppeltes Tippen ausführt. Wenn die Distanz zwischen der ersten Berührung und der zweiten Berührung größer als der spezifizierte Wert ist, erzeugt die Zustandsmaschine ein Tippereignis (für die vorhergehende Tippgeste) und tritt wie gezeigt erneut in den Berührungszustand ein. Der Zeitbeschränkungsparameter in dem Wartezustand für das zweite Tippen bestimmt, wie lange nach der Beendigung einer Berührung durch den Benutzer ein Tippereignis erzeugt wird. Wenn der Benutzer die Oberfläche erneut berührt, bevor die Zeitbeschränkung abläuft, kann ein doppeltes Tippereignis erzeugt werden. Die maximal zulässige Zeit ab der ersten Berührung bis zum Erzeugen eines Ereignisses in diesem Zustand entspricht der Summe aus den Zeitbeschränkungsperioden des Berührungszustands und des Wartezustands für ein zweites Tippen.The following describes the wait state for the second jog. The second tap wait state occurs after a user taps the touchpad. When entering the wait state, a time limit is started. This is to determine if the user has made a jog gesture. The home position of the touch is stored. This is to determine if the user is doing a double tap gesture. The expiry of the time limit is checked. When the time limit expires, it will become one Tip event generates and enters the state machine in the idle state. This means that the user has typed once, but not twice, on the surface during the allowed time interval. When the user presses the touch area with a finger, the distance of the second touch from the first touch is calculated. If the distance is below the specified value, the state machine enters the double-tap wait state because the user may double-tap. If the distance between the first touch and the second touch is greater than the specified value, the state machine generates a jog event (for the previous jog gesture) and reenters the touch state as shown. The time-out parameter in the second-tap wait state determines how long after the end of a user's touch a jog event is generated. If the user touches the surface again before the timeout expires, a double tap event may be generated. The maximum allowable time from the first touch to the generation of an event in this state is equal to the sum of the time constraint periods of the touch state and the wait state for a second tap.

Im Folgenden wird der Wartezustand für ein doppeltes Tippen beschrieben. Der Wartezustand für ein doppeltes Tippen tritt ein, wenn der Benutzer auf die Berührungsfläche getippt hat und diese dann erneut drückt. Beim Eintreten in diesen Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer eine doppelte Tippgeste ausgeführt hat. Die Ausgangsposition der Berührung wird gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft und wird die von der Ausgangsposition der Berührung zurückgelegte Distanz berechnet. Wenn die Zeitbeschränkung abläuft, werden Tipp- und Drückereignisse erzeugt und tritt die Zustandsmaschine in den Drückzustand ein. Wenn sich der Benutzer über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, erzeugt die Zustandsmaschine ein Tippereignis und tritt in den Wartezustand für ein kurzes Ziehen (Flick) ein. Der Grund hierfür ist, dass der Benutzer einmal getippt hat und ein mögliches zweites Tippen jetzt ein mögliches kurzes Ziehen (Flick) ist. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein doppeltes Tippereignis und tritt in den Ruhezustand ein. Der Grund hierfür ist, dass der Benutzer beide Tippbetätigungen innerhalb der spezifizierten Zeit und den Distanzlimits ausgeführt hat. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Benutzer seinen Finger entfernen muss, um ein doppeltes Tippereignis zu erzeugen. Wenn die Zeitbeschränkung abläuft, wird angenommen, dass der Benutzer getippt und die Oberfläche anschließend gedrückt gehalten hat. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um in den Wartezustand für ein kurzes Ziehen einzutreten. Die maximal zulässige Zeit ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein zweites Tippen und des Wartezustands für ein doppeltes Tippen.in the Following is the wait state for a double tap described. The wait state for a double tap occurs when the user touches the touchpad has typed and then presses again. Upon entering a time limit is started in this state. This is to determine if the user is running a double tap gesture Has. The home position of the touch is stored. This is to determine if the user is moving his finger Has. In this state is set to expiration of the time limit checked and becomes the from the starting position of the touch calculated distance traveled. When the time limit expires, typing and popping events are generated and the state machine enters the push state. If the user has more than one specified Distance moved from the starting position of the touch, The state machine generates a tap event and enters the wait state for a short draw (Flick). The reason for that is that the user has typed once and a possible one second tap now a possible short drag (Flick) is. When the user stops the touch, the State machine a double tap event and enter hibernation. The reason for this is that the user has both jogging operations within the specified time and distance limits Has. The timeout parameter in this state determines how long the user has to remove his finger a double To generate a jog event. When the time limit expires, It is assumed that the user typed and then the surface has kept pressed. The motion parameter in this State determines how far the user must move his finger, to enter the wait state for a short drag. The maximum time from the first touch corresponds to the generation of an event in this state the sum of the time constraints of the touch state, the wait state for a second tap and the wait state for a double tap.

Im Folgenden wird der Wartezustand für ein schnelles Ziehen (Flick) beschrieben. Der Wartezustand für ein schnelles Ziehen (Flick) tritt auf, wenn der Benutzer die Berührungsfläche gedrückt hat und seinen Finger über die Oberfläche bewegt hat. Mit dem Eintritt in diesen Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer ein schnelles Ziehgeste (Flick) oder eine Ziehgeste ausführt. Beim Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Diese wird bei Bedarf zu der Verarbeitung des Wartens für ein Ziehen weitergeleitet. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft. Wenn die Zeitbeschränkung abläuft, wird ein Drückereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Der Grund hierfür ist, dass der Benutzer die Berührung nicht innerhalb der zum Unterscheiden zwischen einer schnellen Ziehbetätigung (Flick) und einer Ziehbetätigung verwendeten Zeitdauer beendet hat. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein schnelles Ziehereignis (Flick) und tritt in den Ruhezustand ein. Der Grund hierfür ist, dass der Benutzer die Bewegung innerhalb des spezifizierten Zeitlimits abgeschlossen hat. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Benutzer seinen Finger entfernen muss, um ein schnelles Ziehereignis (Flick) zu erzeugen. Wenn die Zeitbeschränkung abläuft, wird angenommen, dass der Benutzer eine Ziehoperation durchführt. Die maximale Zeitdauer von der ersten Berührung zum Erzeugen eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungsperioden des Berührungszustands und der Wartezustände für ein schnelles Ziehen (Flick).in the Following is the wait state for a quick drag (Flick) described. The wait for a quick Drag (Flick) occurs when the user touches the touchpad has pressed and his finger over the surface has moved. Entering this state becomes a time constraint started. This is to determine if the user is a fast Drag gesture (flick) or drag gesture. At the entrance Also, the home position of the touch is stored. If necessary, this will become the processing of waiting for a Drag forward. In this state, the expiration of the Time limit checked. When the time limit expires, a push event is generated and occurs the state machine in the wait state for a drag one. The reason for this is that the user touch not within the for distinguishing between a quick drag operation (Flick) and a drag duration used has finished. When the user stops the touch, generates the state machine makes a quick drag (flick) and kick into hibernation. The reason is that the Users complete the movement within the specified time limit Has. The time constraint parameter in this state determines how long the user needs to remove his finger for a quick drag (Flick) to produce. When the time limit expires, it is assumed that the user performs a drag operation. The maximum time from the first touch to generate a Event in this state corresponds to the sum of the time restriction periods the touch state and the wait states for a quick pull (Flick).

Im Folgenden wird der Wartezustand für ein Ziehen beschrieben. Der Wartezustand für ein Ziehen tritt auf, wenn der Benutzer die Berührungsfläche gedrückt und seinen Finger über die Oberfläche bewegt hat, wobei die Bewegung länger als die Dauer für ein schnelles Ziehen (Flick) gedauert hat. Mit dem Eintritt in diesen Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, ob der Benutzer seinen Finger stationär gehalten hat. Auch die Ausgangsposition der Berührung wird beim Eintritt gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft und wird die Distanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, tritt die Zustandsmaschine in den Drückzustand ein. Der Grund hierfür ist, dass der Benutzer seinen Finger zu lange stationär gehalten hat. Wenn der Benutzer seinen Finger um mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, erzeugt die Zustandsmaschine ein Ziehereignis. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem Drückzustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen. Die maximal zulässige Zeit ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick) und des Wartezustands für ein Ziehen.The following describes the wait state for a drag. The wait state for a drag occurs when the user has pressed the touchpad and moved his finger over the surface, the movement having taken longer than the duration for a quick drag (flick). Upon entering this state, a time limit is started. This is to determine if the user has kept his finger stationary. Also, the home position of the touch is stored upon entry. This is to determine if the user has moved his finger. In this condition is checked for expiration of the time limit and the distance from the starting position of the touch is calculated. When the time constraint expires, the state machine enters the push state. The reason for this is that the user has kept his finger stationary for too long. When the user moves his finger more than a specified distance from the starting position of the touch, the state machine generates a drag event. When the user ends the touch, the state machine generates a termination event and enters hibernation. The timeout parameter in this state determines how long the user's finger must remain stationary before proceeding to the push state. The motion parameter in this state determines how far the user must move his finger to create a drag event. The maximum allowable time from the first touch to generate an event in this state corresponds to the sum of the touch state time limits, the fast pull (flick) wait state, and the pull pull wait state.

Im Folgenden wird der Drückzustand beschrieben. Der Drückzustand tritt auf, wenn ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeit stationär gehalten hat. Mit dem Eintritt in diesen Zustand wird die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird die Distanz ab der Ausgangsposition der Berührung berechnet. Wenn der Benutzer sich über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt hat, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung löst, erzeugt die Zustandsmaschine ein Lösungsereignis und tritt in den Ruhezustand ein. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Es ist kein Limit dafür vorgegeben, wie lange es dauern kann, bevor in diesem Zustand ein Ereignis erzeugt wird.in the Next, the pushing condition will be described. The pushing condition occurs when a user touches the interface has pressed and his finger for a particular Time kept stationary. With the entry into this State, the home position of the touch is stored. This is to determine if the user has moved his finger. In this state, the distance becomes the starting position of the touch calculated. If the user is more than one specified Has moved distance from the starting position of the touch, a drag event is generated and the state machine enters the wait state for a drag. If the user the touch releases generates the state machine a solution event and enters hibernation. Of the Motion parameter in this state determines how far the user to move his finger to create a drawing event and to enter the waiting state for a pull. It is no limit on how long it can take before an event is generated in this state.

Es ist zu beachten, dass eine vereinfachte Version der ersten Ausführungsform vorgesehen werden kann, in der bewegte Gesten wie das schnelle Ziehen (Flick) und das Ziehen nicht unterstützt werden.It It should be noted that a simplified version of the first embodiment can be provided in the moving gestures such as the fast pulling (Flick) and dragging are not supported.

2 zeigt eine Zustandsmaschine für eine Gestenerkennung gemäß einer zweiten Ausführungsform, die als eine Entwicklung der ersten Ausführungsform mit einer Erweiterung für Mehrfachberührungsgesten betrachtet werden kann. Es werden dieselben fünf Einfachberührungsgesten wie in der ersten Ausführungsform und zusätzlich drei Mehrfachberührungsgesten unterstützt, nämlich ein Stauchen, ein Drehen und ein Strecken. Die Mehrfachberührungsfähigkeit wird durch einen zusätzlichen Zustand, den Mehrfachberührungszustand, und ungefähr elf zusätzliche Übergänge wie in der Figur gezeigt vorgesehen. Diese Ausführungsform wird im Folgenden mit besonderem Augenmerk auf die Modifikationen in Bezug auf die erste Ausführungsform beschrieben. 2 FIG. 11 shows a gesture recognition state machine according to a second embodiment which may be considered as a development of the first embodiment with a multi-touch gesture extension. It supports the same five single touch gestures as in the first embodiment and additionally three multi-touch gestures, namely, upsetting, turning and stretching. The multiple touch capability is provided by an additional state, the multi-touch state, and about eleven additional transitions as shown in the figure. This embodiment will be described below with particular attention to the modifications with respect to the first embodiment.

Zuerst wird der zusätzliche Zustand der Mehrfachberührung (Zweifachberührung) beschrieben. Der Mehrfachberührungszustand tritt auf, wenn der Benutzer zwei Finger auf der Berührungsfläche platziert hat. Mit dem Eintritt werden die Ausgangspositionen der Berührungen und der Winkel zwischen den Ausgangspositionen der Berührungen gespeichert. In diesem Zustand werden der Abstand zwischen den zwei gleichzeitigen Berührungen und der Winkel zwischen den Berührungspositionen berechnet. Wenn der Benutzer beide Finger löst, durchläuft die Zustandsmaschine einen Übergang, indem sie ein Lösungsereignis erzeugt und in den Ruhezustand eintritt. Wenn der Benutzer einen oder allgemein alle bis auf einen Finger löst, tritt die Zustandsmaschine in den Drückzustand ein. Wenn der Berührungsabstand um mehr als eine spezifizierte Distanz von dem ersten Berührungsabstand zunimmt, wird ein Streckereignis erzeugt. Wenn der Berührungsabstand um mehr als eine spezifizierte Distanz von dem ersten Berührungszustand vermindert wird, wird ein Stauchereignis erzeugt. Wenn sich der Winkel zwischen den Berührungspositionen um mehr als eine spezifizierte Größe gegenüber dem ursprünglichen Winkel ändert, wird ein Drehereignis erzeugt. Es ist zu beachten, dass die Zustandsmaschine in diesem Zustand auch mehrere Ereignisse erzeugen kann, zum Beispiel ein Strecken und ein Drehen oder ein Stauchen und ein Drehen. Der Winkelparameter in diesem Zustand bestimmt, wie stark sich der Winkel zwischen den Berührungspositionen ändern muss, um ein Drehereignis zu erzeugen. Der Streckschwellenparameter in diesem Zustand bestimmt, wie stark der Abstand zwischen den zwei Berührungspositionen zunehmen muss, um ein Streckereignis zu erzeugen. Der Stauchschwellenparameter in diesem Zustand bestimmt, wie stark sich der Abstand zwischen den zwei Berührungspositionen vermindern muss, um ein Stauchereignis zu erzeugen. Es ist kein Limit dafür vorgegeben, wie lange es dauern kann, bevor in diesem Zustand ein Ereignis erzeugt wird.First becomes the additional state of multiple touch (Dual contact) described. The multiple touch state occurs when the user places two fingers on the touchpad Has. With entry the starting positions of touches become and the angle between the initial positions of the touches saved. In this state, the distance between the two simultaneous touches and the angle between the Calculated touch positions. If the user both Finger releases, the state machine goes through a transition, by creating a solution event and entering hibernation. If the user has one or all but one finger solves, enters the state machine in the pressing state one. When the contact distance is more than one specified Distance increases from the first contact distance is generates a stretch event. When the contact distance is around more than a specified distance from the first touch state is reduced, an upsetting event is generated. When the Angle between the touch positions by more than one specified Size changes from the original angle, a spin event is generated. It should be noted that the state machine in this state can also generate multiple events, for example a stretching and a turning or a swaging and a turning. Of the Angular parameter in this state determines how strong the angle between must change the touch positions to a rotation event to create. The stretch threshold parameter in this state determines how strong the distance between the two touch positions must increase to produce a stretch event. The compression threshold parameter in this state determines how much the distance between must reduce the two touch positions to an upsetting event to create. There is no limit to how long It may take time before an event is generated in this state.

Aus dem Ruhezustand ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Bennutzer die Berührungsfläche mit zwei Fingern drückt, wobei in diesem Fall die Zustandsmaschine ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt.Out hibernation is an additional transition provided to the multi-touch state. This occurs when the user is using the touchpad presses two fingers, in which case the state machine generates a multi-touch event and into the multi-touch state entry.

Aus dem Berührungszustand ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer einen zweiten Finger auf der Berührungsfläche platziert, wobei in diesem Fall die Zustandsmaschine ein Drückereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt.Out the touch state is an additional transition provided to the multi-touch state. This occurs when the user has a second finger on the touchpad In this case, the state machine is a push event and a multi-touch event is generated and in the multi-touch state entry.

Aus dem Wartezustand für ein zweites Tippen ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern berührt, wobei in diesem Fall die Zustandsmaschine ein Tippereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Dies gibt an, dass auf ein einfaches Tippen eine Mehrfachberührung folgte.Out Waiting for a second tap is an extra transition provided to the multi-touch state. This occurs when the user interacts with the touchpad touches two fingers, in which case the state machine generates a jog event and a multi-touch event and enters the multi-touch state. This gives that on a simple tap a multiple touch followed.

Aus dem Wartezustand für ein doppeltes Tippen ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern berührt, wobei in diesem Fall die Zustandsmaschine ein Tippereignis, ein Drückereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Dies gibt an, dass ein einfaches Tippen, ein Drücken und dann eine Mehrfachberührung aufeinander folgten.Out the wait state for a double tap is an additional transition provided to the multi-touch state. This occurs when the user interacts with the touchpad touches two fingers, in which case the state machine a jog event, a trigger event, and a multi-touch event generated and enters the multi-touch state. This indicates that a simple tap, a press and then a multiple touch followed each other.

Aus dem Wartezustand für ein schnelles Ziehen (Flick) ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, wobei in diesem Fall die Zustandsmaschine ein schnelles Ziehereignis und ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Es wird davon ausgegangen, dass die Mehrfachberührung die schnelle Ziehgeste beendet hat.Out the wait state for a quick pull (Flick) is on additional transition to the multiple touch state intended. This occurs when the user touches the interface with two fingers, in which case the state machine a fast drag event and a multiple touch event generated and enters the multi-touch state. It is assumed that the multiple touch the fast Drag gesture has finished.

Aus dem Wartezustand für ein Ziehen ist ein zusätzlicher Übergang zu dem Mehrfachberührungszustand vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, wobei die Zustandsmaschine ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt.Out the wait state for a drag is an additional transition provided to the multi-touch state. This occurs when the user interacts with the touchpad presses two fingers, the state machine being a multi-touch event generated and enters the multi-touch state.

Aus dem Drückzustand ist ein zusätzlicher Übergang vorgesehen. Dieser tritt auf, wenn der Benutzer die Berührungsfläche mit zwei oder mehr Fingern drückt, wobei die Zustandsmaschine ein Mehrfachberührungsereignis erzeugt und in den Mehrfachberührungszustand eintritt. Wenn der Benutzer weiterhin in dem Mehrfachberührungszustand wie weiter oben genannt alles bis auf einen Finger löst, tritt die Zustandsmaschine in den Drückzustand ein.Out the push condition is an additional transition intended. This occurs when the user touches the interface with two or more fingers presses, the state machine generates a multi-touch event and into the multi-touch state entry. If the user is still in the multi-touch state as mentioned above, all but one finger releases the state machine in the pushing state.

3 zeigt Merkmale einer Zustandsmaschine für eine Gestenerkennung gemäß einer dritten Ausführungsform, die als eine Entwicklung der zweiten Ausführungsform betrachtet werden kann, in welcher der Drückzustand weiter entwickelt wurde. In dieser Ausführungsform wird der Drückzustand zu einem Superzustand modifiziert, der fünf Zustände umfasst. Die zusätzlichen Zustände sind ein kurzes Warten, ein langes Warten, ein Warten auf eine Wiederholung, ein Weiderholen und ein abgeschlossenes Drücken. Diese zusätzlichen Zustände gestatten mehrere Interpretationen einer Berührung je nach deren Dauer. 3 FIG. 12 shows features of a state machine for gesture recognition according to a third embodiment, which can be considered as a development of the second embodiment in which the push state has been further developed. In this embodiment, the push state is modified to a super state including five states. The additional states are a short wait, a long wait, a wait for a repeat, a recover and a complete press. These additional states allow multiple interpretations of a touch according to their duration.

Der kurze Wartezustand ist ein Ausgangszustand des Superzustands, in den von den anderen Zuständen der Zustandsmaschine eingetreten wird, wenn ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Mit dem Eintritt in den kurzen Wartezustand wird eine Zeitbeschränkung gestartet, die verwendet wird, um zu bestimmen, wann ein kurzes Drückereignis erzeugt werden soll. Die Ausgangsposition der Berührung wird gespeichert und verwendet, um zu bestimmen, ob der Benutzer seinen Finger bewegt hat. In dem kurzen Wartezustand wird auf einen Ablauf der Zeitbeschränkung geprüft und wird die Bewegungsdistanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, wird ein kurzes Drückereignis erzeugt und tritt die Zustandsmaschine in den langen Wartezustand, in den Wartezustand für eine Wiederholung, in den Wiederholungszustand oder in den abgeschlossenen Drückzustand ein. Wenn der Benutzer den Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem langen Wartezustand, dem Wartezustand für eine Wiederholung oder dem abgeschlossenen Drückzustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximal zulässige Zeit ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe aus den Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick), des Wartezustands für ein Ziehen und des kurzen Wartezustands.Of the short wait state is an initial state of super state, in from the other states of the state machine when a user has pressed the touchpad and his finger stationary for a certain period of time has held. With the entry into the short wait state becomes a Started time limit that is used to determine when a short push event is to be generated. The Starting position of the touch is stored and used to determine if the user has moved his finger. By doing short wait state is due to expiration of the time limit checked and becomes the moving distance from the home position the touch is calculated. When the time limit expires, a short press event is generated and the state machine enters the long wait state, into Waiting state for a repetition, in the repetitive state or in the completed push condition. If the User's finger over more than a specified distance is moved from the starting position of the touch, a Pulling event generates and enters the state machine in the wait state for a pull. When the user touch terminated, the state machine generates a completion event and enters hibernation. If the user has the touchpad presses with two fingers, generates the state machine Multiple touch event and enters the multiple touch state one. The time constraint parameter in this state determines how long the user's finger has to stay stationary, before the long wait state, the wait state for a repetition or the completed pressing state passed becomes. The motion parameter in this state determines how far the user must move his finger to get a drag event generate and enter the wait for a drag. The maximum time from the first touch on the generation of an event in this state corresponds to Sum of the time constraints of the touch state, the wait state for a quick pull (Flick), the Waiting state for a pull and a short wait state.

Der lange Wartezustand ist dafür vorgesehen, dass ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeit stationär gehalten hat. Mit dem Eintritt wird eine Zeitbeschränkung gestartet. Diese dient zur Bestimmung, wann ein langes Drückereignis erzeugt werden soll. Mit dem Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft, wobei die Distanz von der Ausgangsposition der Berührung berechnet wird. Wenn die Zeitbeschränkung abläuft, wird ein langes Drückereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für eine Wiederholung oder in den abgeschlossenen Drückzustand ein. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem Wartezustand für eine Wiederholung oder zu dem abgeschlossenen Wartezustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximale Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick), des Wartezustands für ein Ziehen, des kurzen Wartezustands und des langen Wartezustands.The long wait state is therefor hen a user pressed the touchpad and kept his finger stationary for a certain time. Upon entry, a time limit is started. This is used to determine when a long press event is to be generated. With the entry also the starting position of the touch is stored. This is to determine if the user has moved his finger. In this state, it is checked for lapse of the time limit, whereby the distance from the starting position of the touch is calculated. When the time constraint expires, a long push event is generated and the state machine enters the wait state for a repeat or locked push state. When the user moves his finger more than a specified distance from the starting position of the touch, a pulling event is generated and the state machine enters the waiting state for pulling. When the user ends the touch, the state machine generates a termination event and enters hibernation. When the user presses the touchpad with two fingers, the state machine generates a multi-touch event and enters the multi-touch state. The timeout parameter in this state determines how long the user's finger must remain stationary before transitioning to the retry wait state or the completed wait state. The motion parameter in this state determines how far the user must move his finger to create a drag event and enter the wait state for a drag. The maximum amount of time from the first touch to generate an event in this state corresponds to the sum of the touch state time limits, the fast pull (flick) wait state, the pull wait state, the short wait state, and the long wait state.

Der Wartezustand für eine Wiederholung ist dafür vorgesehen, dass ein Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Mit dem Eintritt in den Zustand wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, wann ein wiederholtes Drückereignis erzeugt werden soll. Mit dem Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird auf ein Ablaufen der Zeitbeschränkung geprüft und wird die Distanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, wird ein wiederholtes Drückereignis erzeugt und tritt die Zustandsmaschine in den Wiederholungszustand ein. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Beendigungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor zu dem Wiederholungszustand übergegangen wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximale Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein kurzes Ziehen (Flick), des Wartezustands für ein Ziehen, des kurzen Wartezustands, des langen Wartezustands und des Wartezustands für eine Wiederholung.Of the Waiting state for a repetition is intended that a user pressed the touchpad has and his finger stationary for a certain period of time has held. Upon entering the state, a time limit is started. This is to determine when a repeated push event should be generated. With the entrance is also the starting position saved the touch. This is to determine whether the user has moved his finger. In this state will open a expiry of the time limit is checked and becomes the distance from the starting position of the touch calculated. When the time limit expires, a repeated push event is generated and the State machine in the repeat state. If the user his finger over more than a specified distance moving from the starting position of the touch becomes a pulling event generates and enters the state machine in the wait state for a pull. When the user ends the touch, The state machine generates a completion event and enters the resting state. If the user has the touchpad presses with two fingers, generates the state machine Multiple touch event and enters the multiple touch state one. The time constraint parameter in this state determines how long the user's finger has to stay stationary, before proceeding to the repeat state. Of the Motion parameter in this state determines how far the user to move his finger to create a drawing event and to enter the waiting state for a pull. The maximal Duration from the first touch for the generation an event in this state corresponds to the sum of the time constraints of the touch state, the wait state for a short pull (flick), the wait state for a drag, of the short wait state, the long wait state, and the wait state for a repetition.

Der Wiederholungszustand ist dafür vorgesehen, dass der Benutzer die Berührungsfläche gedrückt hat und seinen Finger für eine bestimmte Zeitdauer stationär gehalten hat. Mit dem Eintritt wird eine Zeitbeschränkung gestartet. Dies dient zur Bestimmung, wann ein wiederholtes Drückereignis erzeugt werden soll. Mit dem Eintritt wird auch die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird der Ablauf der Zeitbeschränkung geprüft und wird die Bewegungsdistanz von der Ausgangsposition der Berührung berechnet. Wenn die Zeitbeschränkung abläuft, wird ein wiederholtes Drückereignis erzeugt. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Lösungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Zeitbeschränkungsparameter in diesem Zustand bestimmt, wie lange der Finger des Benutzers stationär bleiben muss, bevor ein wiederholtes Drückereignis erzeugt wird. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Die maximale Zeitdauer ab der ersten Berührung für die Erzeugung eines Ereignisses in diesem Zustand entspricht der Summe der Zeitbeschränkungen des Berührungszustands, des Wartezustands für ein schnelles Ziehen (Flick), des Wartezustands für ein Ziehen, des kurzen Wartezustands, des langen Wartezustands und des Wiederholungszustands.The repeat state is for the user to have pressed the touchpad and kept his finger stationary for a certain period of time. Upon entry, a time limit is started. This is to determine when a repeated push event should be generated. With the entry also the starting position of the touch is stored. This is to determine if the user has moved his finger. In this state, the timing of the time restriction is checked, and the moving distance is calculated from the starting position of the touch. When the timeout expires, a repeated push event is generated. When the user moves his finger more than a specified distance from the starting position of the touch, a pulling event is generated and the state machine enters the waiting state for pulling. When the user terminates the touch, the state machine generates a solution event and enters hibernation. When the user presses the touchpad with two fingers, the state machine generates a multi-touch event and enters the multi-touch state. The timeout parameter in this state determines how long the user's finger must remain stationary before a repeated push event is generated. The motion parameter in this state determines how far the user must move his finger to create a drag event and enter the wait state for a drag. The maximum amount of time from the first touch to generate an event in this state corresponds to the sum of the time constraints of the touch state, the fast pull (flick) wait state, the Wait state for a pull, the short wait state, the long wait state, and the retry state.

Der abgeschlossene Drückzustand ist dem Drückzustand der ersten und der zweiten Ausführungsform ähnlich. Mit dem Eintritt wird die Ausgangsposition der Berührung gespeichert. Dies dient zur Bestimmung, ob der Benutzer seinen Finger bewegt hat. In diesem Zustand wird die Bewegungsdistanz von der Ausgangsposition der Berührung berechnet. Wenn der Benutzer seinen Finger über mehr als eine spezifizierte Distanz von der Ausgangsposition der Berührung bewegt hat, wird ein Ziehereignis erzeugt und tritt die Zustandsmaschine in den Wartezustand für ein Ziehen ein. Wenn der Benutzer die Berührung beendet, erzeugt die Zustandsmaschine ein Lösungsereignis und tritt in den Ruhezustand ein. Wenn der Benutzer die Berührungsfläche mit zwei Fingern drückt, erzeugt die Zustandsmaschine ein Mehrfachberührungsereignis und tritt in den Mehrfachberührungszustand ein. Der Bewegungsparameter in diesem Zustand bestimmt, wie weit der Benutzer seinen Finger bewegen muss, um ein Ziehereignis zu erzeugen und in den Wartezustand für ein Ziehen einzutreten. Es ist kein Limit dafür vorgegeben, wie lange es dauern kann, bevor in diesem Zustand ein Ereignis erzeugt wird.Of the completed pressing condition is the pushing condition similar to the first and second embodiments. With the entry becomes the starting position of the touch saved. This is to determine if the user's finger has moved. In this state, the movement distance of the Calculated starting position of the touch. If the user his finger over more than a specified distance from the initial position of the touch is generates a drag event and the state machine enters the wait state for a pull. When the user touch terminated, the state machine generates a solution event and enters hibernation. If the user has the touchpad with two fingers, the state machine generates a multi-touch event and enters the multi-touch state. The motion parameter in this state determines how far the user's finger has to move to create a drag event and into the wait state to enter for a drag. There is no limit to it given how long it can take before entering this state Event is generated.

Es ist zu beachten, dass nicht alle in 3 gezeigten Übergänge in Bezug auf den Drücksuperzustand gleichzeitig aktiv sind. Jeder der Drücksubzustände kann bei Bedarf deaktiviert werden. Dann werden die internen Pfade bestimmt, über die die Subzustände aktiviert werden. Wenn zum Beispiel ein kurzes Drücken und ein wiederholtes Drücken aktiviert sind, aber ein langes Drücken deaktiviert ist, dann verläuft ein Pfad in den Superzustand zu dem kurzen Wartezustand. Der lange Wartezustand wird in diesem Fall übersprungen, und die Maschine geht zu dem Wartezustand für eine Wiederholung über.It should be noted that not all in 3 transitions with respect to the super press state are simultaneously active. Each of the push sub-states can be disabled as needed. Then the internal paths are determined, via which the sub-states are activated. For example, if a short press and press are enabled, but a long press is disabled, then a path goes to the super state to the short wait state. The long wait state is skipped in this case and the machine goes to the wait state for a retry.

Es ist zu beachten, dass die erste Ausführungsform auch derart modifiziert werden kann, dass ein Drücksuperzustand wie oben mit Bezug auf 3 beschrieben vorgesehen wird, wobei aber die Merkmale für eine Mehrfachberührung weggelassen werden.It should be noted that the first embodiment can be also modified such that a push-up state as described above with reference to FIG 3 is described, but omitting the features for a multiple touch.

Die Zustandsmaschinen der ersten, zweiten und dritten Ausführungsform sind einfach und effektiv, lassen sich aber nicht gut für komplexere Gestenkombinationen skalieren, insbesondere wenn es sich um Mehrfachberührungen handelt. Es soll hier zum Beispiel eine Geste betrachtet werden, in der ein Benutzer einen Finger auf die Berührungsfläche hält und mit einem zweiten Finger auf die Fläche tippt (eine „Drück- und Tippgeste). Dazu benötigt der Mehrfachberührungszustand in der Zustandsmaschine der zweiten Ausführungsform mehrere Subzustände, um die Position, die Dauer und die Bewegung der zwei Berührungen zu verfolgen.The State machines of the first, second and third embodiments are simple and effective, but are not good for scale more complex gesture combinations, especially when it comes to Multiple touches. It should be here for example a gesture in which a user points a finger the contact surface stops and with a second finger on the surface (a "press and hint gesture). This requires the multiple touch state in the state machine of the second embodiment, a plurality Sub-states, position, duration and movement to follow the two touches.

Es wäre deshalb auch schwierig, die Zustandsmaschine der zweiten Ausführungsform für die Handhabung von Gesten mit mehr als zwei Berührungen zu erweitern. Die Komplexität der Zustandsmaschine würde mit jeder zusätzlichen Berührung stark zunehmen.It would therefore be difficult, the state machine of the second Embodiment for the handling of gestures with more than two touches to expand. The complexity the state machine would work with every additional one Strongly increase touch.

Diese Beschränkungen werden durch eine vierte Ausführungsform der Erfindung beseitigt, in welcher der Mehrfachberührungszustand aus der Zustandsmaschine der zweiten Ausführungsform entfernt ist, um eine einfache Einfachberührungs-Zustandsmaschine gemäß der ersten Ausführungsform wie in 1 gezeigt vorzusehen. Eine Einfachberührungs-Zustandsmaschine dieser Art kann alle erforderlichen Informationen aus einer einfachen Berührung verfolgen. Mehrere Einfachberührungs-Zustandsmaschinen werden dann miteinander kombiniert, um Mehrfachberührungsgesten zu handhaben, sodass also keine komplexeren Mehrfachberührungs-Zustandsmaschinen erzeugt werden müssen, die dem Ansatz der zweiten Ausführungsform folgen.These limitations are eliminated by a fourth embodiment of the invention in which the multi-touch state is removed from the state machine of the second embodiment to provide a simple single-touch state machine according to the first embodiment as in FIG 1 to be shown provided. A single-touch state machine of this type can track all required information from a single touch. Multiple single-touch state machines are then combined together to handle multiple touch gestures so that no more complex multi-touch state machines need to be created that follow the approach of the second embodiment.

4 zeigt eine Zustandsmaschine gemäß der vierten Ausführungsform auf der höchsten konzeptuelle Ebene. In diesem Diagramm geben die x Berührungsblöcke jeweils die Einfachberührungs-Zustandsmaschine von 3 wieder. N derartige Zustandsmaschinen werden durch eine Nfachberührungs-Zustandsmaschine verarbeitet, um Nfachberührungsgesten zu erzeugen. 4 shows a state machine according to the fourth embodiment at the highest conceptual level. In this diagram, the x touch blocks respectively output the single-touch state machine of FIG 3 again. N such state machines are processed by a N-touch state machine to generate N-touch gestures.

5 zeigt den internen Aufbau der Nfachberührungs-Zustandsmaschine der zweiten Ausführungsform, die einen Ruhezustand und einen Berührungszustand umfasst. Wenn alle Berührungen getätigt werden, befindet sich die Zustandsmaschine in dem Nfachberührungs-Berührungszustand, während sie sich ansonsten in dem Nfachberührungs-Ruhezustand befindet. Die Zustandsmaschine kann Ereignisse in jedem Zustand erzeugen. Wenn sich zum Beispiel in dem Nfachberührungs-Berührungszustand alle Einfachberührung-Zustandsmaschinen in dem Wartezustand für ein Ziehen befinden, kann ein Nfachberührungs-Ziehereignis erzeugt werden, wenn eine der Zustandsmaschinen ein Ziehereignis erzeugt. 5 Fig. 10 shows the internal structure of the N-touch state machine of the second embodiment including a sleep state and a touch state. When all touches are made, the state machine is in the N-touch state while otherwise in the Nip-touch idle state. The state machine can generate events in each state. For example, in the multi-touch touch state, when all single-touch state machines are in the pull-to-wait state, a multi-touch drag event may be generated when one of the state machines generates a pull event.

6 zeigt, wie dieser Ansatz verwendet werden kann, um eine äquivalente Funktion für die Zustandsmaschine der zweiten Ausführungsform von 2, aber mit einer einfacheren und skalierbaren Architektur vorzusehen. 6 shows how this approach can be used to provide an equivalent function for the state machine of the second embodiment of FIG 2 but with a simpler and scalable architecture.

In diesem Beispiel werden die Berührung 1 und die Berührung 2 durch die Zweifachberührungs-Zustandsmaschine verarbeitet, die den Abstand und den Winkel zwischen den Berührungen verfolgt und Streck-, Stauch- und Drehereignisse erzeugt, wenn sich der Abstand und/oder der Winkel zwischen den Berührungen ändert.In this example, the touch 1 and the touch 2 are processed by the dual-touch state machine that represents the Ab and tracks the angle between the touches and creates stretching, compression and rotation events as the distance and / or angle between the contacts changes.

Diese Zustandsmaschine kann auch komplexere Gesten wie etwa die zuvor beschrieenen Drück- und Tippgesten erzeugen. Dies kann unter Verwendung einer Kombination aus den Zuständen und erzeugten Ereignissen der zwei Eingangszustandsmaschinen bewerkstelligt werden. Wenn eine Zustandsmaschine den Zustand „Drücken” aufweist, und die andere das Ereignis „Tippen” erzeugt hat, dann kann die Zweifachberührungs-Zustandsmaschine ein „Drück- und Tippereignis” erzeugen.These State machine can also have more complex gestures like those before generate written push and tap gestures. This can using a combination of the states and generated events of the two input state machines accomplished become. When a state machine is in the "Press" state, and the other has generated the event "typing", then For example, the dual-touch state machine may provide a "push-button" state machine. and typing event ".

Ähnliche Kombinationen können verwendet werden, um Ereignisse wie etwa die folgenden zu erzeugen:

  • • Drücken und doppeltes Tippen
  • • Ziehen und Tippen
  • • Drücken und schnelles Ziehen (Flick)
  • • Ziehen mit zwei Fingern
  • • andere Kombinationen von Zuständen und Ereignissen
Similar combinations can be used to generate events such as the following:
  • • Press and double tap
  • • Drag and tap
  • • Press and fast drag (Flick)
  • • Pull with two fingers
  • • other combinations of states and events

7 zeigt, wie derselbe Ansatz verwendet werden kann, um Gesten mit drei Berührungen zu handhaben. Die Figur zeigt drei mögliche Dreifachberührungsgesten. Wenn sich in dem Dreifachberührungs-Berührungszustand alle Einfachberührungs-Zustandsmaschinen in dem Wartezustand für ein Ziehen befinden, dann kann die Dreifachberührungs-Zustandsmaschine ein Dreifachberührungs-Ziehereignis erzeugen, wenn eine beliebige Einfachberührungs-Zustandsmaschine ein Ziehereignis erzeugt. 7 Figure 4 shows how the same approach can be used to handle gestures with three touches. The figure shows three possible triple touch gestures. In the triple touch state of touch, when all single touch state machines are in the pull wait state, then the triple touch state machine may generate a triple touch pull event when any single touch state machine generates a pull event.

Die Figur zeigt auch, wie die Zustandsmaschine eine Situation erfassen kann, in welcher der Benutzer zwei Berührungen auf der Berührungsfläche aufweist, wobei er dann mit einem dritten Finger tippt. Dies kann zum Beispiel in einer Anwendung verwendet werden, in der zwei Finger zum Drehen eines angezeigten Bildes verwendet werden und das angezeigte Bild durch ein Tippen mit einem dritten Finger vergrößert wird. Dieselbe Zustandsmaschine kann auch verwendet werden, um einfach ein doppeltes Tippen für ein Verkleinern des angezeigten Bildes zu erfassen.The Figure also shows how the state machine detect a situation can in which the user two touches on the Has contact surface, where he then with a third finger is typing. This can be used, for example, in an application in which two fingers are used to rotate a displayed picture and the displayed image by tapping with a third finger is enlarged. The same state machine can also used to just double tap for to reduce the size of the displayed image.

Ein Hauptvorteil des Ansatzes der vierten Ausführungsform besteht darin, dass dieselbe Codebasis für die Handhabung von Einfachberührungen verwendet wird, wobei Zweifachberührungen, Dreifachberührungen oder auch noch größere Mehrfachberührungen unter Verwendung eines separaten und zusätzlichen Codes verarbeitet werden. Der Ansatz ist also skalierbar und modular und bringt damit die üblichen Vorteile hinsichtlich eines reduzierten Programmieraufwands und einer höheren Zuverlässigkeit mit sich.One Main advantage of the approach of the fourth embodiment is in that the same codebase used for the handling of single touches becomes, whereby two-touches, triple touches or even more multiple touches using a separate and additional code are processed. So the approach is scalable and modular and brings with it the usual advantages in terms of a reduced Programming effort and higher reliability with himself.

Im Folgenden wird eine geeignete Hardware-Plattform für die Einbindung der Gestenerkennungs-Zustandsmaschine gemäß der Erfindung beschrieben. Die Hardware-Plattform ist aus der weiter oben genannten US 2007/0279395 A1 übernommen.The following describes a suitable hardware platform for incorporating the gesture recognition state machine according to the invention. The hardware platform is from the above US 2007/0279395 A1 accepted.

8 ist eine schematische Draufsicht auf wichtige Teile eines Elektrodenmusters für einen 2DCT, wobei das Elektrodenmuster einen empfindlichen Bereich für die Einrichtung definiert. Die Elektroden sind auf einem nicht eigens gezeigten Substrat angeordnet, das eine Oberfläche aufweist, die in der Zeichnungsebene liegt. Das Substrat kann etwa aus einem flexiblen und transparenten Kunststoffmaterial wie etwa PET (Polyethylenterephthalat) ausgebildet sein. Das Substrat ist allgemein isolierend. Das Elektrodenmuster ist aus Indiumzinnoxid ausgebildet und weist einen Widerstand von einigen wenig hundert Ohm/Quadrat auf. Dabei handelt es sich um ein transparentes Material, das also für Anzeigeanwendungen oder andere Anwendungen geeignet ist, in denen eine darunter liegende Taste oder andere Schablone sichtbar sein soll. 8th Figure 4 is a schematic plan view of important parts of an electrode pattern for a 2DCT, the electrode pattern defining a sensitive area for the device. The electrodes are disposed on a substrate, not specifically shown, having a surface lying in the plane of the drawing. The substrate may be formed of, for example, a flexible and transparent plastic material such as PET (polyethylene terephthalate). The substrate is generally insulating. The electrode pattern is formed of indium tin oxide and has a resistance of a few hundred ohms / square. This is a transparent material suitable for display applications or other applications where an underlying key or other template should be visible.

Allgemein kann das Elektrodenmuster hergestellt werden, indem ein geeignetes leitendes Material aufgetragen oder entfernt wird. Das Auftragen kann zum Beispiel durch eine Gasphasenabscheidung oder ein Siebdrucken erfolgen. Die Entfernung kann zum Beispiel durch einen Laser oder durch ein chemisches Ätzen erfolgen.Generally the electrode pattern can be made by using a suitable conductive material is applied or removed. The application can for example, by vapor deposition or screen printing respectively. The removal can be done for example by a laser or done by a chemical etching.

Das Elektrodenmuster definiert y-Elektroden 10, 12 zum Bestimmen der y-Position und der x-Elektroden 14, 16, 18, 20, 22, 24 zum Bestimmen der x-Position. Wie gezeigt, erstrecken sich die x-Elektroden und die y-Elektroden allgemein in der x-Richtung und sind in der y-Richtung miteinander verschränkt. Die y-Elektroden 10, 12 sind als einfache Balken, d. h. als längliche Rechtecke, geformt, während die x-Elektroden 1424 jeweils sich verjüngende Dreiecksformen aufweisen.The electrode pattern defines y-electrodes 10 . 12 for determining the y-position and the x-electrodes 14 . 16 . 18 . 20 . 22 . 24 to determine the x position. As shown, the x-electrodes and the y-electrodes extend generally in the x-direction and are interlaced in the y-direction. The y-electrodes 10 . 12 are shaped as simple bars, ie as elongated rectangles, while the x-electrodes 14 - 24 each have tapered triangular shapes.

Im Folgenden werden zuerst die x-Elektroden ausführlich beschrieben. Darauf folgt eine Beschreibung der y-Elektroden.in the Next, the x-electrodes will first be described in detail. This is followed by a description of the y-electrodes.

Die x-Elektroden lassen sich in drei Gruppen klassifizieren. Eine erste Gruppe von dreieckigen, sich verjüngenden Elektroden 14, 24 ist auf der linken und der rechten Seite des empfindlichen Bereichs angeordnet. Eine zweite Gruppe von dreieckigen Elektroden 16, 22 mit einer sich doppelt verjüngenden Form ist derart angeordnet, dass sich die Elektroden jeweils von der linken und der rechten Seite des empfindlichen Bereichs nach innen zu der Mitte hin erstrecken.The x-electrodes can be classified into three groups. A first group of triangular, tapered electrodes 14 . 24 is located on the left and right sides of the sensitive area. A second group of triangular electrodes 16 . 22 with a double-tapered shape is arranged such that the electrodes respectively extend inwardly toward the center from the left and right sides of the sensitive area.

Eine dritte Gruppe von x-Elektroden 18, 20 erstreckt sich jeweils von einer Mittellinie 26 links und nach rechts nach außen und sind einstückig ausgebildet. Benachbarte Elemente der ersten und der zweiten Gruppe 14, 16 und 24, 22 erstrecken sich gemeinsam in der x-Richtung über die äußeren Teile I und IV des empfindlichen Bereichs zur linken und rechten Seite des empfindlichen Bereichs. Und benachbarte Elemente der zweiten und dritten Gruppen 16, 18 und 22, 20 erstrecken sich in der x-Richtung über innere Teile II und III des empfindlichen Bereichs auf beiden Seiten der Mittellinie.A third group of x-electrodes 18 . 20 each extends from a centerline 26 left and right to the outside and are integrally formed. Neighboring elements of the first and second groups 14 . 16 and 24 . 22 extend together in the x direction over the outer portions I and IV of the sensitive area to the left and right sides of the sensitive area. And neighboring elements of the second and third groups 16 . 18 and 22 . 20 extend in the x direction over inner parts II and III of the sensitive area on both sides of the center line.

Auf diese Weise bildet jedes benachbarte Paar von sich gemeinsam erstreckenden x-Elektroden der ersten und der zweiten Gruppe oder der zweiten und der dritten Gruppe einen so genannten Schieber. Es ist zu beachten, dass die Elektrodenelemente in geeigneter Weise in Entsprechung zu der Betätigungseinrichtung wie etwa einen Finger geformt und dimensioniert sind, um ein ratiometrisches, kapazitives Signal über die Länge der wechselseitigen Erstreckung in der x-Richtung vorzusehen, sodass sie also einander in der x-Richtung überlappen.On this way, each adjacent pair forms of coexistence x-electrodes of the first and the second group or the second and the third group a so-called slider. It should be noted that the electrode elements suitably correspond formed into the actuator such as a finger and dimensioned to provide a ratiometric capacitive signal the length of the mutual extension in the x-direction so that they overlap each other in the x-direction.

Die linken sich doppelt verjüngenden x-Elektroden 16 sind alle über eine elektrische Leitung 30, die sich in der y-Richtung am linken Rand des empfindlichen Bereichs nahe der linken Kante der x-Elektroden 16 erstreckt, mit einer externen Leitung X1 verbunden. Es ist zu beachten, dass die sich doppelt verjüngenden Elektroden an ihren linken Enden Anschlussbereiche 33 aufweisen, um diese externe Verbindung zu unterstützen.The left double-tapered x-electrodes 16 are all over an electrical line 30 located in the y-direction on the left edge of the sensitive area near the left edge of the x-electrodes 16 extends, connected to an external line X1. It should be noted that the doubly tapered electrodes have terminal areas at their left ends 33 to support this external connection.

Die linken sich verjüngenden x-Elektroden 14 sind alle über eine elektrische Leitung 32, die in der y-Richtung an dem linken Rand des empfindlichen Bereichs in der Nähe der linken Kante der x-Elektroden 14 verläuft, mit einer externen Leitung X2 verbunden.The left tapered x-electrodes 14 are all over an electrical line 32 placed in the y-direction at the left edge of the sensitive area near the left edge of the x-electrodes 14 runs, connected to an external line X2.

Die sich verjüngenden x-Elektroden 18 und 20, die von der Mittellinie 26 erstrecken, sind natürlich alle mit der Mittellinie verbunden und sind über die Mittellinie 26 in einem elektrischen Kontakt mit dem Rand des empfindlichen Bereichs. Eine externe Leitung X3 ist über eine elektrische Leitung 34, die mit der Basis der Mittellinie 26 in Kontakt ist, mit der Mittellinie verbunden.The tapered x-electrodes 18 and 20 from the midline 26 Of course, all are connected to the center line and are across the center line 26 in electrical contact with the edge of the sensitive area. An external line X3 is via an electrical line 34 with the base of the midline 26 is in contact with the midline.

Die rechten sich verjüngenden x-Elektroden 24 sind alle über eine elektrische Leitung 36, die in der y-Richtung an dem rechten Rand des empfindlichen Bereichs nahe der rechten Kante der x-Elektroden 24 verläuft, mit einer externen Leitung X4 verbunden, ähnlich wie die entsprechenden linken x-Elektroden 14.The right tapered x-electrodes 24 are all over an electrical line 36 , which are in the y-direction at the right edge of the sensitive area near the right edge of the x-electrodes 24 is connected to an external line X4, similar to the corresponding left x-electrodes 14 ,

Die rechten sich doppelt verjüngenden x-Elektorden 22 sind alle über eine elektrische Leitung 38, die in der y-Richtung an dem rechten Rand des empfindlichen Bereichs nahe der rechten Kante der x-Elektorden 22 verläuft, mit einer externen Leitung X5 verbunden, ähnlich wie die entsprechenden linken x-Elektroden 16, wobei vergrößerte Kontaktflächen 39 verwendet werden.The right double-tapered x-electrodes 22 are all over an electrical line 38 , which are in the y-direction at the right edge of the sensitive area near the right edge of the x-electrodes 22 is connected to an external line X5, similar to the corresponding left x-electrodes 16 , where enlarged contact surfaces 39 be used.

Auf diese Weise sind die x-Elektroden 1424 nach außen hin mit fünf externen Leitungen X1–X5 für ein Auslesen verbunden.In this way are the x-electrodes 14 - 24 externally connected to five external lines X1-X5 for readout.

Die y-Elektroden sind in zwei Sätze 10 und 12 links und rechts von der Mittellinie 26 aufgeteilt. Wie weiter oben genannt, weisen sie eine einfache Balkenform auf und sind zwischen benachbarten Sätzen von x-Elektroden 14, 16, 18 auf der linken Seite und 20, 22, 24 auf der rechten Seite angeordnet. Die y-Elektroden 10 und 12 sind in vertikal benachbarten Sätzen durch elektrische Leitungen miteinander verbunden, sodass die y-Auflösung des empfindlichen Bereichs auf eine vertikale Distanz beschränkt ist, die der vertikalen Erstreckung der verbundenen y-Elektroden entspricht. Die Verkettung der y-Elektroden reduziert die y-Auflösung, wobei jedoch die Anzahl der externen Leitungen für die y-Elektroden klein gehalten wird. In dem gezeigten Beispiel ist der unterste Satz von y-Elektroden, der aus vier Paaren von y-Elektroden besteht, mit einer elektrisch leitenden Schiene 50 verbunden, die Teil einer externen Leitung Y1 ist. Obwohl in der Figur nicht zu erkennen, ist jedes Paar von y-Elektroden auf derselben Höhe gemeinsam mit einer externen Umflaufschiene verbunden. Der nächste Satz besteht aus drei Paaren von y-Elektroden, wobei jedoch nur das erste Paar gezeigt ist, und ist mit einer Schiene 52 für eine weitere externe Leitung Y2 verbunden. Insgesamt sind sieben Sätze von y-Elektroden mit den entsprechenden externen Leitungen Y1–Y7 über assoziierte leitende Schienen verbunden. Der y-Wert ist aus diesen sieben externen Leitungen genommen, die nur sieben Einheiten von y-Auflösung für einen einfachen Steueralgorithmus vorsehen, wobei jedoch eine größere y-Auflösung mit einer Interpolation zwischen benachbarten y-Leitungen erzielt werden kann.The y-electrodes are in two sets 10 and 12 left and right of the midline 26 divided up. As mentioned above, they have a simple beam shape and are between adjacent sets of x-electrodes 14 . 16 . 18 on the left and 20 . 22 . 24 arranged on the right side. The y-electrodes 10 and 12 are interconnected in vertically adjacent sets by electrical leads so that the y-resolution of the sensitive region is limited to a vertical distance corresponding to the vertical extent of the connected y-electrodes. The concatenation of the y-electrodes reduces the y-resolution, but the number of external leads for the y-electrodes is kept small. In the example shown, the lowest set of y-electrodes, which consists of four pairs of y-electrodes, is provided with an electrically conductive rail 50 which is part of an external line Y1. Although not visible in the figure, each pair of y-electrodes are connected at the same height together with an external umlauf rail. The next set consists of three pairs of y-electrodes, but only the first pair is shown, and is with a rail 52 connected to another external line Y2. In total, seven sets of y-electrodes are connected to the corresponding external lines Y1-Y7 via associated conductive rails. The y value is taken from these seven external lines, which provide only seven units of y-resolution for a simple control algorithm, but a larger y-resolution can be achieved with interpolation between adjacent y-lines.

Zusammenfassend lässt sich also sagen, dass der 2DCT eine quasi kontinuierliche x-Auflösung über Schieber in vier überlappenden Bereichen I–IV in der x-Richtung über die Breite des empfindlichen Bereichs in Kombination mit einer schrittweisen y-Auflösung über sich horizontal erstreckende Elektrodenstangen vorsieht, die in vertikal benachbarten Sätzen von 3 und 4 gemeinsam verbunden sind. Insgesamt werden zwölf externe Leitungen verwendet, fünf für X und sieben für Y.In summary So let's say that the 2DCT is a quasi-continuous one x resolution via slider in four overlapping Regions I-IV in the x-direction across the width of the sensitive area in combination with a gradual y-resolution Provides horizontally extending electrode rods, the in vertically adjacent sets of 3 and 4 joined together are. A total of twelve external lines are used, five for X and seven for Y.

Die Kombination aus der Mittellinie und den sich doppelt verjüngenden Elektroden gestattet, dass eine große Fläche des empfindlichen Bereichs in der x-Richtung eine große empfindliche Fläche vorsieht, die transparent und ohne externe Verbindungen außer am Rand vorgesehen werden kann. Weiterhin sind bei diesem Elektrodenaufbau die Handschatteneffekte nicht auffällig, weil eine Verschiebung des Zentrums des kapazitiven Signals von der physikalischen Position des Fingers durch die laterale Erstreckung der Elektroden begrenzt ist. Zum Beispiel kann eine Einrichtung mit einem empfindlichen Bereich mit einer Diagonalen von 6 Zoll (150 mm) auf der Grundlage dieses Aufbaus hergestellt werden.The combination of the midline and the double tapered electrodes allows for a large area of the sensitive area in the x-direction provides a large sensitive area that can be transparent and provided with no external connections except at the edge. Further, in this electrode structure, the hand shadow effects are not conspicuous because displacement of the center of the capacitive signal from the physical position of the finger is limited by the lateral extent of the electrodes. For example, a device having a sensitive area with a diagonal of 6 inches (150 mm) can be manufactured based on this structure.

9 ist eine Draufsicht mit einem Maßstab von ungefähr 1:1 (d. h. in Echtgröße) auf einen 2DCT mit dem Elektrodenmuster und einer ersten Schicht von Verbindungen am Rand des Elektrodenmusterbereichs für eine Verbindung mit den y-Elektroden. Der Einfachheit halber ist der durch die vorausgehende schematische Ansicht gezeigte Bereich durch das mit einer doppelt gepunkteten Strichlinie umgebene Rechteck unten in der Figur gezeigt. Außerdem ist ein ungefähr maßstabsgetreuer Fingerumriss gezeigt. 9 FIG. 10 is a plan view with a scale of approximately 1: 1 (ie, in real size) of a 2DCT with the electrode pattern and a first layer of interconnects on the edge of the electrode pattern region for connection to the y-electrodes. For the sake of simplicity, the area shown by the preceding schematic view is shown by the rectangle surrounded by a double dotted dashed line at the bottom of the figure. In addition, a roughly scaled finger outline is shown.

Das allgemeine ITO-Elektrodenmuster bedeckt den Hauptteil des Substrats 40. Das Muster in diesem Beispiel bedeckt einen rechteckigen Bereich, der dem Bereich des Berührungsbildschirms oder einer anderen Einrichtung entspricht, für die ein Erfassungsteil vorgesehen werden soll. Die oben beschriebenen vier einander überlappenden Bereiche I–IV der x-Elektroden sind ebenfalls markiert. Das Substrat 40, das allgemein rechteckig ist, weist weiterhin eine vorstehende Lasche 42 in der Mitte der linken Seite des Substrats auf. Die vorstehende Lasche 42 wird für eine externe Kontaktierung wie mit Bezug auf die folgende Figur beschrieben verwendet. Auf der linken Seite des Substrats 40, d. h. auf der Seite neben der vorstehenden Lasche 42, sind sieben Gruppen von leitenden Schienen 5062 vorgesehen, die externe Leitungen Y1–Y7 für die y-Leitungen bilden, wobei die Leitungen Y2–Y7 jeweils über die Schienen 5262 mit drei y-Elektroden verbunden sind und die Leitung Y1 vier y-Elektroden über die Schiene 50 verbindet, sodass insgesamt 22 y-Elektroden auf der linken Hälfte der Einrichtung, d. h. in der Hälfte links von der Mittellinie 26, vorgesehen sind. Auf der rechten Seite ist eine genau entsprechende Anordnung mit 22 y-Elektroden jeweils in Dreiergruppen und einer untersten Vierergruppe vorgesehen. Die Schienen 5062 der externen Leitungen Y1–Y7 auf der rechten Seite des Substrats erstrecken sich um das obere Ende des Substrats zu der linken Seite des Substrats, sodass die einander entsprechenden Paare auf der linken und der rechten Seite und die gemeinsam verbundenen Gruppen von Paaren von y-Elekroden über eine einzige leitende Schiene miteinander verbunden sind.The general ITO electrode pattern covers the main part of the substrate 40 , The pattern in this example covers a rectangular area corresponding to the area of the touch screen or other device for which a detection part is to be provided. The above-described four overlapping regions I-IV of the x-electrodes are also marked. The substrate 40 , which is generally rectangular, further has a protruding tab 42 in the middle of the left side of the substrate. The above tab 42 is used for external contacting as described with reference to the following figure. On the left side of the substrate 40 ie on the side next to the protruding tab 42 , are seven groups of conductive rails 50 - 62 provided, which form external lines Y1-Y7 for the y-lines, wherein the lines Y2-Y7 respectively via the rails 52 - 62 are connected to three y-electrodes and the line Y1 four y-electrodes via the rail 50 connects, so overall 22 y electrodes on the left half of the device, ie halfway to the left of the centerline 26 , are provided. On the right side is a corresponding arrangement with 22 y-electrodes are provided in groups of three and a lowest group of four. The rails 50 - 62 The external leads Y1-Y7 on the right side of the substrate extend around the upper end of the substrate to the left side of the substrate so that the corresponding pairs on the left and right sides and the commonly connected sets of pairs of y-electrodes connected by a single conductive rail.

10 ist eine Draufsicht auf den 2DCT-Prototypen von 9 und zeigt das Elektrodenmuster und eine zweite Schicht von Verbindungen am Rand des Elektrodenmusterbereichs für die Verbindung der x-Elektroden und auch für die Verbindung der externen Leitungen der y-Elektroden mit dem y-Elektrodenverbindungen von 9. Zwischen der ersten und der zweiten Schicht von 9 und 10 ist eine Isolationsschicht angeordnet, die isolierende Bereiche vorsieht, um einen elektrischen Kontakt zwischen bestimmten Paaren von ersten und zweiten Verbindungsschichten zu verhindern, und weiterhin offene Bereiche vorsieht, um einen elektrischen Kontakt zwischen bestimmten anderen Paaren von ersten und zweiten Verbindungsschichten sicherzustellen. 10 is a plan view of the 2DCT prototype of 9 FIG. 12 shows the electrode pattern and a second layer of interconnects at the edge of the electrode pattern region for connecting the x-electrodes and also for connecting the external leads of the y-electrodes to the y-electrode interconnects of FIG 9 , Between the first and the second layer of 9 and 10 For example, an insulating layer is provided that provides insulating regions to prevent electrical contact between certain pairs of first and second interconnect layers, and further provides open regions to ensure electrical contact between certain other pairs of first and second interconnect layers.

Im Folgenden werden zuerst die y-Elekroden beschrieben. Sieben leitende Schienen 44 erstrecken sich parallel in der x-Richtung entlang des oberen Teils der vorstehenden Lasche 42 zu der linken Seite des Hauptbereichs des Substrats 40. Diese fächern sich dann auf und enden in einer vergrößerten Kontaktfläche 46 direkt über einen Teil der Schienen 5062 in der ersten Verbindungsschicht von 9 für jede der y-Elektrodenverbindungen Y1–Y7, sodass Signale zu und von jeder der y-Elektrodengruppen über die externen Kontaktschienen 44 ein- und ausgegeben werden können. Es sind offene Bereiche in der Isolationsschicht an jedem Kontaktfeld 46 vorgesehen, um einen elektrischen Kontakt zwischen jeder der Y1–Y7-Schienen 44 auf der zweiten Verbindungsschicht und den Y1–Y7 Schienen 5062 in der ersten Verbindungsschicht vorzusehen. Außerdem sind isolierende Bereiche in der Isolationsschicht vorgesehen, die die Y1–Y7-Schienen dort bedecken, wo diese über dem ITO-Muster liegen, um die y-Elektorden auf der linken und auf der rechten Seite des Substrats zu kontaktieren.The following describes the y-electrodes first. Seven conductive rails 44 extend parallel in the x-direction along the upper part of the protruding tab 42 to the left side of the main area of the substrate 40 , These fan out then and end in an enlarged contact surface 46 directly over part of the rails 50 - 62 in the first connecting layer of 9 for each of the y-electrode connections Y1-Y7, so that signals to and from each of the y-electrode groups via the external contact rails 44 can be input and output. There are open areas in the insulation layer at each contact pad 46 provided for electrical contact between each of the Y1-Y7 rails 44 on the second bonding layer and the Y1-Y7 rails 50 - 62 to provide in the first connection layer. In addition, insulating regions are provided in the insulating layer which cover the Y1-Y7 rails where they overlay the ITO pattern to contact the y-electrodes on the left and right sides of the substrate.

Im Folgenden werden die x-Elektrodenverbindungen beschrieben. Die fünf elektrischen Leitungen 3038 für die externen Verbindungen X1–X5 wurden bereits mit Bezug auf 8 beschrieben und sind in der zweiten Verbindungsschicht des Prototypen von 11 gezeigt. Wie gezeigt, sind die x-Elektrodenverbindungen vollständig auf der zweiten Verbindungsschicht vorgesehen, während die y-Elektrodenverbindungen zwischen der ersten und der zweiten Verbindungsschicht verteilt sind. Die Schienen 3038 laufen um die untere Seite des Substrats 40 und laufen dann in fünf parallelen Schienen zusammen, die sich zu der vorstehenden Lasche 42 erstrecken, wo sie mit den sieben parallelen y-Elektrodenverbindungen verbunden werden. Es ist zu beachten, dass die x-Elekrodenverbindungsschienen und -felder, die vertikal auf jeder Seite des ITO-Bereichs nach oben verlaufen, um die x-Elekroden zu kontaktieren, durch die Isolationsschicht elektrisch von den y-Elektrodenverbindungsschienen isoliert sind.The following describes the x-electrode compounds. The five electrical wires 30 - 38 for the external connections X1-X5 were already with reference to 8th are described in the second connection layer of the prototype of 11 shown. As shown, the x-electrode interconnects are completely disposed on the second interconnect layer while the y-electrode interconnections are distributed between the first and second interconnect layers. The rails 30 - 38 run around the bottom side of the substrate 40 and then converge into five parallel rails that extend to the protruding tab 42 where they are connected to the seven parallel y-electrode junctions. It is to be noted that the x-electrode connection bars and panels vertically upward on each side of the ITO region to contact the x-electrodes are electrically isolated from the y-electrode connection bars by the insulating layer.

11 ist eine schematische Ansicht auf Systemebene einer Mehrkanal-Sensorschaltung 140 für die Verwendung mit dem Berührungsbildschirm. In dieser Figur ist die Sensorschaltung 140 mit fünf kapazitiven Elektrodeneingängen X1, X2, X3, X4 und X5 von den x-Elektroden und einem einzigen kapazitiven Elektrodeneingang Yn repräsentativ für die sieben y-Elektrodeneingänge gezeigt. In Wirklichkeit sind sieben derartige Leitungen vorgesehen, nämlich eine für jeden y-Elektrodeneingang, um die insgesamt zwölf Leitungen vorzusehen. Eine Ladungssteuerleitung 157 wird verwendet, um gleichzeitig alle kapazitiven Eingänge X1–X5 und Y1–Y7 über die mit einer Bezugsspannungsschiene 158 verbundenen Ladeschalter 156 aufzuladen. 11 Fig. 10 is a schematic system-level view of a multi-channel sensor circuit 140 for use with the touch screen. In this figure, the sensor circuit 140 with five capacitive electrode inputs X1, X2, X3, X4 and X5 from the x-electrodes and a single capacitive electrode input Y n representative of the seven y-electrode inputs. In fact, seven such leads are provided, one for each y-electrode input, to provide the total of twelve leads. A charge control line 157 is used to simultaneously supply all the capacitive inputs X1-X5 and Y1-Y7 via those with a reference voltage rail 158 connected charging switch 156 charge.

Die Kanäle X1–X5 und Y1–Y7 wirken zusammen, um Ladung wie in der Figur gezeigt zu den Ladungsdetektoren zu übertragen, indem eine einzelne Ladungssteuerleitung 163 verwendet wird, um die Entladungsschalter 162 für eine Entladung aller geladenen Elektroden zu betätigen. Nach einer Übertragung oder einer Folge von Übertragungen wählt eine analoger Multiplexer 182, welche der Ladungsdetektor-Kondensatorausgaben zu dem Verstärker 184 und dem Analog/Digital-Wandler 186 zu geben ist.The channels X1-X5 and Y1-Y7 cooperate to transfer charge to the charge detectors as shown in the figure by applying a single charge control line 163 used to the discharge switch 162 for discharging all charged electrodes. After a transmission or sequence of transmissions, an analog multiplexer selects 182 which charge detector capacitor outputs to the amplifier 184 and the analog-to-digital converter 186 to give is.

Außerdem wird ein Array von Rücksetzschaltern 188, die durch eine Rücksetzsteuerleitung 190 gesteuert werden, nach jeweils einem Impuls oder einer Folge von Impulsen aktiviert, um die kapazitiven Eingaben auf einen bekannten Bezug (z. B. auf die Erde) zu setzen. Die x-Kanäle X1–X5 müssen betrieben werden und die Signale müssen verarbeitet werden, um die von diesen Signalen zu erhaltenden ratiometrischen Informationen zu berücksichtigen.There will also be an array of reset switches 188 through a reset control line 190 are activated after each one pulse or sequence of pulses to set the capacitive inputs to a known reference (eg to earth). The x-channels X1-X5 must be operated and the signals must be processed to account for the ratiometric information to be obtained from these signals.

Eine Datenverarbeitung findet dann auf den digitalisierten Ladungsdetektor-Kondensatorausgaben statt. Diese Ausgaben werden in eine Verarbeitungseinheit 188 eingegeben, die einen Mikroprozessor und optional einen Mikrocontroller für die Verarbeitung auf einer unteren Ebene enthält.Data processing then takes place on the digitized charge-detector capacitor outputs. These issues are in a processing unit 188 input, which includes a microprocessor and optionally a microcontroller for processing at a lower level.

In einer ersten Verarbeitungsstufe/-einheit 190, die als Berührungskoordinaten-Bestimmungsstufe-/einheit bezeichnet wird, werden die digitalisierte Ladungsdetektor-Kondensatorausgaben gesammelt und als keine, eine oder mehrere gleichzeitige Berührungen an definierten x,y-Positionen auf dem 2DCT für jede wiederholte Erfassung, jeden Rahmen oder jedes Abtastungsintervall interpretiert. Die Berührungskoordinaten-Bestimmungsstufe/-einheit 190 weist einen Ausgang auf, der betrieben werden kann, um den analogen Multiplexer 182 zu steuern und um die Ladungsdetektor-Kondensatorausgaben zu durchlaufen, wodurch die Rohdaten aus jeder der x,y-Sensorknotenkombinationen erhalten werden. Diese Daten, d. h. die Berührungskoordinaten jeder Probe, werden als Berührungsdatensätze bezeichnet.In a first processing stage / unit 190 , referred to as the touch coordinate determination stage / unit, the digitized charge detector capacitor outputs are collected and interpreted as none, one or more simultaneous touches at defined x, y positions on the 2DCT for each repeated acquisition, frame or sample interval. The touch coordinate determination stage / unit 190 has an output that can be operated to the analog multiplexer 182 and to cycle through the charge detector capacitor outputs, thereby obtaining the raw data from each of the x, y sensor node combinations. These data, ie the touch coordinates of each sample, are referred to as touch records.

In einer zweiten Verarbeitungsstufe/-einheit 192, die als Berührungsverfolgungsstufe/-einheit bezeichnet wird, werden die Berührungsdatensätze für aufeinander folgende Proben analysiert, sodass Eingaben, die aus einer einzelnen sich von Probe zu Probe bewegenden Berührung resultieren, als solche identifiziert und von neuen Berührungen und vergangenen Berührungen unterschieden werden. Die aus der Berührungsverfolgungsstufe/-einheit ausgegebenen Daten sind in der Zeit gesammelte Ströme von x,y-Koordinaten und bestimmte über die Zeit verfolgte Berührungen. Diese können in einer Tabellenform gespeichert und/oder wiedergegeben werden.In a second processing stage / unit 192 , referred to as the touch-tracking stage / unit, analyzes the touch records for successive samples so that inputs resulting from a single touch moving from sample to sample are identified as such and distinguished from new touches and past touches. The data output from the touch-tracking stage / unit is time-collected streams of x, y coordinates and certain time-tracked touches. These can be stored and / or reproduced in a tabular form.

Wenn diese Daten in eine dritte Verarbeitungsstufe/-einheit 194, die als Gestenerkennungsstufe/-einheit bezeichnet wird, eingegeben werden, wird eine Gestenerkennungsverarbeitung unter Verwendung des Zustandsmaschinencodes der Erfindung ausgeführt. Die aus der Gestenerkennungsstufe/-einheit ausgegebenen Daten sind erkannte Gesten (einschließlich von einfachen Berührungen) und die Zeiten ihres Auftritts.If this data is in a third processing stage / unit 194 entered as a gesture recognition stage / unit, a gesture recognition processing is performed using the state machine code of the invention. The data output from the gesture recognition stage / unit are recognized gestures (including simple touches) and the times of their appearance.

In einer vierten Verarbeitungsstufe/-einheit 196 werden die Daten zu den erkannten Gesten aus der dritten Stufe in einem Code einer höheren Ebene, gewöhnlich auf der Anwendungsebene, unter Umständen aber auch auf unteren Ebenen der Codierungshierarchie verwendet. Diese Gesten werden verwendet, um eine Funktion einer höheren Ebene auszulösen, wie etwa für die grafische Benutzerschnittstelle der Einrichtung und für das Springen zwischen Codeblöcken einer Anwendung.In a fourth processing stage / unit 196 For example, the third-stage recognized gesture data is used in higher-level code, usually at the application level but may also be at lower levels of the encoding hierarchy. These gestures are used to trigger a higher-level function, such as for the device's graphical user interface and for jumping between code blocks of an application.

Weitere geeignete kapazitive Hardware-Plattformen für die Erfassung von Berührungen werden zum Beispiel in US 2005/0041018 A1 , US 2007/0247443 A1 und US 2007/0257894 A1 beschrieben, die Beispiele für passive kapazitive Sensoren angeben. In dem vorliegenden Dokument wird der Kürze halber nur ein Beispiel wiedergegeben.Other suitable capacitive hardware platforms for detecting touches are described, for example, in US Pat US 2005/0041018 A1 . US 2007/0247443 A1 and US 2007/0257894 A1 describe examples of passive capacitive sensors. In the present document, for brevity, only one example will be given.

12 zeigt schematisch einen Anzeigemonitor 901 und eine Eingabeeinrichtung 902 eines PC. In diesem Beispiel umfasst die Eingabeeinrichtung 902 eine alphanumerische Tastatur 903, über die der Benutzer Zeichen in den PC eingibt, und ein Touchpad 904. Es ist zu beachten, dass das Touchpad 904 eine separat zu der Tastatur 903 vorgesehene Einrichtung sein kann. Ein herkömmliches Computer-Touchpad kann auch eine Anzahl von „Maustasten” aufweisen, damit der Benutzer einen Cursor bedienen und Elemente auswählen kann, indem er auf eine der Maustasten klickt. Obwohl man mit einem herkömmlichen Touchpad einen Cursor auf dem Display bewegen kann, indem man einen Finger über die Oberfläche des Touchpads bewegt, und auch eine Maustastenbetätigung vornehmen kann, indem man mit dem Finger auf die Oberfläche des Touchpads tippt, kann das herkömmliche Touchpad diese beiden Funktionen nicht gleichzeitig ausführen. Es ist zu beachten, dass der PC auch in dem Anzeigemonitor 901 enthalten sein kann und dass das Touchpad 904 auch eine der Eingabeeinrichtungen eines Laptop-Computers sein kann. 12 schematically shows a display monitor 901 and an input device 902 a PC. In this example, the input device comprises 902 an alphanumeric keyboard 903 where the user enters characters in the PC and a touchpad 904 , It should be noted that the touchpad 904 one separate to the keyboard 903 provided device may be. A conventional computer touchpad may also include a number of "mouse buttons" for the user to operate a cursor and select items by clicking on one of the mouse buttons. Although you can use a conventional touchpad to move a cursor on the display by swiping a finger If the surface of the touchpad is moved, and also a mouse button operation can be performed by tapping on the surface of the touchpad with a finger, the conventional touchpad can not perform these two functions at the same time. It should be noted that the PC is also in the display monitor 901 can be included and that the touchpad 904 may also be one of the input devices of a laptop computer.

Das Touchpad 904 gestattet, dass der Benutzer zwei separate Finger verwendet, um zwei verschiedene Funktionen des PC auszuführen. Zum Beispiel kann der Benutzer einen auf dem Anzeigemonitor 901 angezeigten Cursor unter Verwendung eines Fingers auf der Oberfläche des Touchpads bewegen, während er einen anderen Finger verwenden kann, um auf die Oberfläche des Touchpads 901 ähnlich wie auf eine Maustaste zu tippen, um Elemente zu markieren. Dies kann zum Beispiel verwendet werden, um Dateien zu organisieren, wobei zuerst der auf dem Anzeigemonitor 901 angezeigte Cursor mit einem ersten Finger auf der Oberfläche des Touchpads bewegt wird, bis er über der gewünschten Datei positioniert ist. Die Datei wird dann markiert, indem ein zweiter Finger auf der Oberfläche des Touchpads platziert wird. Die Datei wird dann zu einer anderen Position bewegt, indem der erste Finger über die Oberfläche des Touchpads bewegt wird, während der zweite Finger in Kontakt mit der Oberfläche des Touchpads gehalten wird. Wenn die Datei an der gewünschten neuen Position angelangt ist, wird der zweite Finger von der Oberfläche des Touchpads gelöst, wodurch die Markierung der Datei aufgehoben wird. Es ist zu beachten, dass der zweite Finger in der vorstehenden Beschreibung auch gleichzeitig zu dem ersten Finger bewegt werden kann, sodass der Benutzer diese Funktion mit einer Hand ausführen kann.The touchpad 904 allows the user to use two separate fingers to perform two different functions of the PC. For example, the user may have one on the display monitor 901 while using another finger to move the displayed cursor to the surface of the touchpad, using one finger on the surface of the touchpad 901 Similar to tapping a mouse button to highlight items. This can be used, for example, to organize files, first on the display monitor 901 displayed cursor is moved with a first finger on the surface of the touchpad until it is positioned over the desired file. The file is then marked by placing a second finger on the surface of the touchpad. The file is then moved to another position by moving the first finger across the surface of the touchpad while holding the second finger in contact with the surface of the touchpad. When the file has reached the desired new position, the second finger is released from the surface of the touchpad, which removes the marking of the file. It should be noted that the second finger in the above description can also be moved simultaneously with the first finger, so that the user can perform this function with one hand.

Eine weitere Funktion, die mit der vorliegenden Erfindung implementiert werden kann, ist die Fähigkeit, auf einem PC zu malen, wobei ein erster Finger als Pinsel verwendet wird und ein zweiter Finger verwendet wird, um die gewünschte Farbe aus einer auf dem Bildschirm angezeigten Farbpalette zu wählen. Der erste Finger wird auf der Oberfläche des Touchpads 904 verwendet, um einen herkömmlichen primären Cursor zum Malen eines Bildes auf dem Computer zu steuern, das dann auf dem Anzeigemonitor 901 angezeigt wird. Dabei wird eine Farbpalette in Software implementiert und auf dem Anzeigemonitor 901 angezeigt, damit die Farben einfach ausgewählt werden können. Der Benutzer bewegt dazu einen sekundären Cursor über die gewünschte Farbe in der Palette, die dann durch ein Tippen auf das Touchpad 904 mit dem zweiten Finger ausgewählt werden kann. Der Benutzer kann den sekundären Cursor auch verwenden, um neben der Farbe auch den Typ oder die Größe des Pinsels unter Verwendung der vorstehend beschriebenen Methode zu ändern. Dadurch kann der Benutzer ein Bild freier malen, weil der Benutzer den primären Cursor (den Pinsel) immer über dem Bild halten kann.Another function that can be implemented with the present invention is the ability to paint on a PC using a first finger as a brush and a second finger to acquire the desired color from a color palette displayed on the screen choose. The first finger is on the surface of the touchpad 904 used to control a conventional primary cursor for painting an image on the computer, which is then displayed on the display monitor 901 is shown. A color palette is implemented in software and on the display monitor 901 is displayed so that the colors can be easily selected. The user moves to a secondary cursor over the desired color in the palette, which then by tapping on the touchpad 904 can be selected with the second finger. The user can also use the secondary cursor to change not only the color but also the type or size of the brush using the method described above. This allows the user to paint an image more freely because the user can always hold the primary cursor (brush) over the image.

13 zeigt schematisch ein Mobiltelefon 905 mit einem Touchpadsensor 907 gemäß der vorliegenden Erfindung. Der Touchpadsensor ist vor dem Display 906 vorgesehen, wobei das Display weiterhin durch den Benutzer betrachtet werden kann, während eine kapazitive Kopplung zwischen dem Finger des Benutzers oder einem Stift und dem Touchpadsensor 907 ermöglicht wird. In diesem Beispiel kann der Benutzer die auf dem Display angezeigten Elemente unter Verwendung eines Fingers oder Stifts auf dem Touchpad auswählen und bewegen. Das Touchpad ist mit dem Display zu einer Einheit integriert, sodass der „Cursor” der Bewegung des Fingers oder Stifts folgt. Es können also dieselben Funktionen wie oben mit Bezug auf 12 beschrieben für das Beispiel von 13 angewendet werden. 13 schematically shows a mobile phone 905 with a touchpad sensor 907 according to the present invention. The touchpad sensor is in front of the display 906 provided that the display can still be viewed by the user while a capacitive coupling between the user's finger or a stylus and the touchpad sensor 907 is possible. In this example, the user may select and move the items displayed on the display using a finger or stylus on the touchpad. The touchpad is integrated with the display so that the "cursor" follows the movement of the finger or stylus. So it can have the same functions as above with respect to 12 described for the example of 13 be applied.

Alternativ hierzu kann die Fläche des Touchpads 907 auch derart unterteilt sein, dass ein Bereich des Sensors nur für die Anzeige des Displays 906 verwendet wird, während ein anderer Bereich des Sensors nur als herkömmlicher Touchpadsensor verwendet wird, sodass der Benutzer in der oben beschriebenen Weise einen Cursor bewegen und Elemente wählen kann.Alternatively, the area of the touchpad 907 also be subdivided such that a portion of the sensor only for the display of the display 906 is used while another portion of the sensor is used only as a conventional touchpad sensor, so that the user can move a cursor and select items in the manner described above.

Eine weitere Funktion, die mit der vorliegenden Erfindung implementiert werden kann, ist die Steuerung eines Spiels auf dem Mobiltelefon 905. Obwohl das Touchpad 907 dieselbe Fläche bedeckt wie das Display 906, kann es derart unterteilt sein, dass Steuerelemente links und rechts von einem mittigen Anzeigebereich vorgesehen sind. Der Benutzer kann zwei Finger oder Daumen jeweils auf der linken und rechten Seite des Touchpads 907 verwenden, um zwei verschiedene Funktionen eines Spiels zu steuern. Zum Beispiel kann der linke Teil des Touchpads 907 eine Bewegungssteuerung für eine Bewegung nach oben, unten, links und rechts vorsehen, während der rechte Teil des Touchpads 907 eine Reihe von Schaltflächen enthält. Diese können zum Beispiel verwendet werden, um ein Spiel zu steuern, wobei die Bewegungssteuerung auf der linken Seite des Touchpads 907 für das Lenken eines Fahrzeugs in einem Spiel verwendet wird, während die Schaltflächen auf der rechten Seite des Touchpads 907 verwendet werden, um das Fahrzeug zu beschleunigen oder zu verlangsamen.Another feature that can be implemented with the present invention is the control of a game on the mobile phone 905 , Although the touchpad 907 the same area covered as the display 906 , it may be subdivided such that controls are provided on the left and right of a central display area. The user can place two fingers or thumbs each on the left and right sides of the touchpad 907 use to control two different functions of a game. For example, the left part of the touchpad 907 provide a movement control for a movement up, down, left and right, while the right part of the touchpad 907 contains a series of buttons. These can be used, for example, to control a game, with the motion control on the left side of the touchpad 907 is used for steering a vehicle in a game while the buttons are on the right side of the touchpad 907 used to accelerate or slow down the vehicle.

Es ist zu beachten, dass der beschriebene PC und das beschriebene Mobiltelefon lediglich beispielhafte Anwendungen sind, wobei die Erfindung auf viele verschiedene Geräte wie etwa Unterhaltungsgeräte, Telekommunikationsgeräte, Haushaltsgeräte und Kfz-Zubehörgeräte angewendet werden kann.It should be noted that the described personal computer and the described mobile telephone are merely exemplary applications, the invention being applicable to many different devices such as entertainment devices, telecommunication devices, household devices and car accessories can be applied.

Aus den vorstehenden Erläuterungen sollte deutlich geworden sein, dass ein kapazitives Berührungspaneel angegeben wird, das mehrere gleichzeitige Berührungen erfassen kann, die in eine Gesten-Zustandsmaschine gemäß der vorliegenden Erfindung eingegeben werden können.Out The above explanations should be made clear be that a capacitive touch panel is specified, that can capture multiple simultaneous touches, the in a gesture state machine according to the present invention Invention can be entered.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - US 3593115 [0004] - US 3593115 [0004]
  • - US 5650597 [0005] US 5650597 [0005]
  • - US 6297811 [0006] - US 6297811 [0006]
  • - US 2007/152984 A1 [0008] US 2007/152984 A1 [0008]
  • - US 2002/015024 A1 [0009] US 2002/015024 Al [0009]
  • - US 5852352 [0010] US 5852352 [0010]
  • - US 6028271 [0011] - US 6028271 [0011]
  • - US 6414671 [0011] US 6414671 [0011]
  • - US 6750852 [0011] - US 6750852 [0011]
  • - US 2007/176906 A1 [0012] US 2007/176906 A1 [0012]
  • - US 2007/17906 A1 [0012] US 2007/17906 A1 [0012]
  • - US 2006/0066582 A1 [0013] US 2006/0066582 A1 [0013]
  • - US 5730165 [0036, 0036, 0036] US 5730165 [0036, 0036, 0036]
  • - US 6466036 [0036] - US 6466036 [0036]
  • - US 5466036 [0036, 0036] US 5466036 [0036, 0036]
  • - US 6452514 [0037] - US 6452514 [0037]
  • - US 2007/0279395 A1 [0115] US 2007/0279395 A1 [0115]
  • - US 2005/0041018 A1 [0145] US 2005/0041018 A1 [0145]
  • - US 2007/0247443 A1 [0145] US 2007/0247443 A1 [0145]
  • - US 2007/0257894 A1 [0145] US 2007/0257894 A1 [0145]

Claims (14)

Berührungssensorvorrichtung, die umfasst: einen Sensor der einen empfindlichen Bereich aufweist, der sich in wenigstens einer Dimension erstreckt, und angeordnet ist, um Erfassungssignale in Reaktion auf die Nähe eines Objekts zu dem empfindlichen Bereich auszugeben, eine Positionsverarbeitungseinheit, die betrieben werden kann, um Positionen von Interaktionen mit dem empfindlichen Bereich aus einer Analyse der Erfassungssignale zu berechnen und eine zeitliche Abfolge von Daten auszugeben, die die Interaktionspositionen auf dem Sensor und damit die Berührungen angeben, und eine Gestenverarbeitungseinheit, die betrieben werden kann, um die zeitliche Abfolge von Daten zu analysieren und eine oder mehrere Gesten aus derselben zu unterscheiden, wobei die Gestenverarbeitungseinheit mit einem Gestenerkennungscode codiert ist, der eine Vielzahl von verknüpften Zustandsmodulen umfasst.A touch sensor device comprising: one Sensor having a sensitive area extending in at least one dimension, and is arranged to detect signals in response to the proximity of an object to the sensitive one Spend area, a position processing unit which can be operated to positions of interactions with the sensitive Range from an analysis of the detection signals to calculate and to output a temporal sequence of data representing the interaction positions on the sensor and thus indicate the touch, and a Gesture processing unit that can be operated to the temporal Sequence of data to analyze and one or more gestures the same, the gesture processing unit is encoded with a gesture recognition code comprising a plurality of includes linked state modules. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Vielzahl von Zustandsmodulen ein Ruhezustandsmodul und eine Vielzahl von Gesteninterpretations-Zustandsmodulen umfasst, wobei zu Beginn einer Operation das Ruhezustandsmodul gestartet wird und von wenigstens einigen der Gesteninterpretations-Zustandsmodule zu demselben zurückgekehrt werden kann.Device according to claim 1, characterized in that that the plurality of state modules a hibernation module and includes a plurality of gesture interpretation state modules, wherein at the beginning of an operation the hibernation module is started and of at least some of the gesture interpretation state modules can be returned to the same. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Vielzahl von Gesteninterpretations-Zustandmodulen ein Berührungszustandsmodul für einfache Berührungen umfasst, wobei der Ruhezustand die Steuerung in Reaktion auf eine Berührung zu dem Berührungszustand gibt.Device according to claim 2, characterized in that the plurality of gesture interpretation state modules is a touch state module for simple touches, where hibernation the control in response to a touch to the touch state gives. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Vielzahl von Gesteninterpretations-Zustandsmodulen wenigstens ein Mehrfachberührungs-Zustandsmodul umfasst, das betrieben werden kann, um mehrere gleichzeitige Berührungen zu verarbeiten, wobei die Gestenverarbeitungseinheit betrieben werden kann, um auf der Basis der Anzahl von gleichzeitigen Berührungen, die durch die zeitliche Abfolge von Daten zu diesem Zeitpunkt definiert werden, die Steuerung zu dem entsprechenden Berührungszustandsmodul zu geben.Device according to claim 2, characterized in that that the plurality of gesture interpretation state modules at least a multi-touch state module that is operated can handle multiple simultaneous touches, wherein the gesture processing unit is operable to the base of the number of concurrent touches that defined by the timing of data at that time control to the corresponding touch state module to give. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass ein Mehrfachberührungs-Zustandsmodul für zwei gleichzeitige Berührungen und für drei gleichzeitige Berührungen vorgesehen ist.Device according to claim 4, characterized in that a multi-touch state module for two simultaneous touches and three simultaneous ones Touch is provided. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Vielzahl von Gesteninterpretations-Zustandsmodulen ein Drückzustandsmodul umfasst, zu dem die Steuerung von einem Berührungszustandsmodul gegeben werden kann, wenn eine Berührung mit einer Dauer von mehr als einer Schwelldauer in dem Berührungszustandsmodul erfasst wird.Device according to claim 2, characterized in that that the plurality of gesture interpretation state modules Pressing state module, to which the control of a Touch state module can be given if a Contact with a duration of more than one threshold duration is detected in the touch state module. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass der Drückzustand ein Superzustand ist, der mehrere Subzustände umfasst, um zwischen verschiedenen Drückdauern zu unterscheiden.Device according to claim 6, characterized in that that the push state is a super state, which is multiple Substates includes to different pressing durations to distinguish. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass die Vielzahl von Gesteninterpretations-Zustandsmodulen eine Vielzahl von Zustandsmodulen umfasst, die betrieben werden können, um bewegungsbezogene Gesten zu erkennen, die aus einer oder mehreren bewegten Berührungen abgeleitet werden.Device according to claim 2, characterized in that that the plurality of gesture interpretation state modules a Includes a variety of state modules that can be operated to recognize movement-related gestures that consist of one or more Moving contacts are derived. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Gestenerkennungscode konfiguriert ist, um Gesten mit bis zu N gleichzeitigen Berührungen zu erkennen, wobei N wenigstens gleich 2 ist, und N Einfachberührungs-Zustandsmaschinen, die betrieben werden können, um nur Einfachberührungsgesten zu erkennen, und N – 1 Mehrfachberührungs-Zustandsmaschinen, die betrieben werden können, um nur n-fache Berührungsgesten zu erkennen, wobei n = 2 bis N, umfasst.Device according to claim 1, characterized in that that the gesture recognition code is configured to display gestures with up to to detect N simultaneous touches, where N is at least is equal to 2, and N single-touch state machines, the can be operated to only single touch gestures and N - 1 multi-touch state machines, which can be operated to only n-fold touch gestures , where n = 2 to N. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Positionsverarbeitungseinheit und die Gestenverarbeitungseinheit in einer einzelnen integrierten Schaltung untergebracht sind und ausgeführt werden.Device according to claim 1, characterized in that that the position processing unit and the gesture processing unit housed in a single integrated circuit and executed become. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Positionsverarbeitungseinheit in einer ersten integrierten Schaltung untergebracht ist und ausgeführt wird, während die Gestenverarbeitungseinheit in einer oder mehreren separaten integrierten Schaltungen untergebracht ist und ausgeführt wird.Device according to claim 1, characterized in that that the position processing unit in a first integrated Circuit is housed and executed while the gesture processing unit in one or more separate integrated circuits is housed and executed becomes. Verfahren zum Erkennen von Gesten aus einer zeitlichen Abfolge von Berührungsdaten, die Koordinaten von Interaktionspositionen auf einem Berührungssensor umfassen, wobei das Verfahren folgende Schritte umfasst: Empfangen von Berührungskoordinaten, die zeitlich etikettiert oder geordnet sind, Analysieren der Berührungskoordinaten in einer Zustandsmaschine, die eine Vielzahl von verknüpften Zustandsmodulen umfasst, um eine aus einer Vielzahl von definierten Gesten zu erkennen, und Ausgeben der erkannten Gesten.Method for recognizing gestures from a temporal Sequence of touch data, the coordinates of interaction positions on a touch sensor, the method following steps include: Receiving touch coordinates, which are labeled in time or ordered, Analyze the Touch coordinates in a state machine that has a Variety of linked state modules includes a to recognize from a variety of defined gestures, and Output the recognized gestures. Einzelne integrierte Schaltung, die einen Speicher aufweist, in den die in Anspruch 12 genannte Zustandsmaschine geladen ist, und betrieben werden kann, um das Verfahren nach Anspruch 12 auszuführen.A single integrated circuit having a memory in which the state machine mentioned in claim 12 is loaded, and operated can, to carry out the method of claim 12. Computer, der einen Speicher aufweist, in den die in Anspruch 12 genannte Zustandsmaschine geladen ist, und betrieben werden kann, um das Verfahren nach Anspruch 12 auszuführen.Computer that has a memory in which the in claim 12 said state machine is loaded, and operated may be to carry out the method of claim 12.
DE102009019910.1A 2008-05-01 2009-05-04 Gesture recognition Active DE102009019910B4 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US4945308P 2008-05-01 2008-05-01
US61/049,453 2008-05-01
US12/254,043 US8526767B2 (en) 2008-05-01 2008-10-20 Gesture recognition
US12/254,043 2008-10-20

Publications (2)

Publication Number Publication Date
DE102009019910A1 true DE102009019910A1 (en) 2009-12-03
DE102009019910B4 DE102009019910B4 (en) 2021-09-16

Family

ID=41254167

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009019910.1A Active DE102009019910B4 (en) 2008-05-01 2009-05-04 Gesture recognition

Country Status (1)

Country Link
DE (1) DE102009019910B4 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013012394A1 (en) 2013-07-26 2015-01-29 Daimler Ag Method and device for remote control of a function of a vehicle
DE102014012158A1 (en) 2013-09-12 2015-03-12 Mechaless Systems Gmbh Gesture recognition and gesture recognition device
DE102016212723A1 (en) 2016-07-13 2018-01-18 Volkswagen Aktiengesellschaft A method of providing a deadman button function by means of a touch screen of an operating device, operating device and system

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3593115A (en) 1969-06-30 1971-07-13 Ibm Capacitive voltage divider
US5466036A (en) 1994-05-09 1995-11-14 Chrylser Corporation Vehicle wire routing apparatus
US5650597A (en) 1995-01-20 1997-07-22 Dynapro Systems, Inc. Capacitive touch sensor
US5730165A (en) 1995-12-26 1998-03-24 Philipp; Harald Time domain capacitive field detector
US5852352A (en) 1995-06-07 1998-12-22 Itt Automotive Electrical Systems, Inc. Reduced speed growth in windshield wiper motor
US6028271A (en) 1992-06-08 2000-02-22 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
US6297811B1 (en) 1999-06-02 2001-10-02 Elo Touchsystems, Inc. Projective capacitive touchscreen
US20020015024A1 (en) 1998-01-26 2002-02-07 University Of Delaware Method and apparatus for integrating manual input
US6414671B1 (en) 1992-06-08 2002-07-02 Synaptics Incorporated Object position detector with edge motion feature and gesture recognition
US6452514B1 (en) 1999-01-26 2002-09-17 Harald Philipp Capacitive sensor and array
US6466036B1 (en) 1998-11-25 2002-10-15 Harald Philipp Charge transfer capacitance measurement circuit
US20050041018A1 (en) 2003-08-21 2005-02-24 Harald Philipp Anisotropic touch screen element
US20060066582A1 (en) 2004-09-24 2006-03-30 Apple Computer, Inc. Raw data track pad device and system
US20070152984A1 (en) 2005-12-30 2007-07-05 Bas Ording Portable electronic device with multi-touch input
US20070176906A1 (en) 2006-02-01 2007-08-02 Synaptics Incorporated Proximity sensor and method for indicating extended interface results
US20070247443A1 (en) 2006-04-25 2007-10-25 Harald Philipp Hybrid Capacitive Touch Screen Element
US20070257894A1 (en) 2006-05-05 2007-11-08 Harald Philipp Touch Screen Element
US20070279395A1 (en) 2006-05-31 2007-12-06 Harald Philipp Two Dimensional Position Sensor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070046643A1 (en) 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US20070017906A1 (en) 2005-06-30 2007-01-25 General Electric Company Shimmed laser beam welding process for joining superalloys for gas turbine applications
US8169421B2 (en) 2006-06-19 2012-05-01 Cypress Semiconductor Corporation Apparatus and method for detecting a touch-sensor pad gesture
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3593115A (en) 1969-06-30 1971-07-13 Ibm Capacitive voltage divider
US6414671B1 (en) 1992-06-08 2002-07-02 Synaptics Incorporated Object position detector with edge motion feature and gesture recognition
US6750852B2 (en) 1992-06-08 2004-06-15 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
US6028271A (en) 1992-06-08 2000-02-22 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
US5466036A (en) 1994-05-09 1995-11-14 Chrylser Corporation Vehicle wire routing apparatus
US5650597A (en) 1995-01-20 1997-07-22 Dynapro Systems, Inc. Capacitive touch sensor
US5852352A (en) 1995-06-07 1998-12-22 Itt Automotive Electrical Systems, Inc. Reduced speed growth in windshield wiper motor
US5730165A (en) 1995-12-26 1998-03-24 Philipp; Harald Time domain capacitive field detector
US20020015024A1 (en) 1998-01-26 2002-02-07 University Of Delaware Method and apparatus for integrating manual input
US6466036B1 (en) 1998-11-25 2002-10-15 Harald Philipp Charge transfer capacitance measurement circuit
US6452514B1 (en) 1999-01-26 2002-09-17 Harald Philipp Capacitive sensor and array
US6297811B1 (en) 1999-06-02 2001-10-02 Elo Touchsystems, Inc. Projective capacitive touchscreen
US20050041018A1 (en) 2003-08-21 2005-02-24 Harald Philipp Anisotropic touch screen element
US20060066582A1 (en) 2004-09-24 2006-03-30 Apple Computer, Inc. Raw data track pad device and system
US20070152984A1 (en) 2005-12-30 2007-07-05 Bas Ording Portable electronic device with multi-touch input
US20070176906A1 (en) 2006-02-01 2007-08-02 Synaptics Incorporated Proximity sensor and method for indicating extended interface results
US20070247443A1 (en) 2006-04-25 2007-10-25 Harald Philipp Hybrid Capacitive Touch Screen Element
US20070257894A1 (en) 2006-05-05 2007-11-08 Harald Philipp Touch Screen Element
US20070279395A1 (en) 2006-05-31 2007-12-06 Harald Philipp Two Dimensional Position Sensor

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013012394A1 (en) 2013-07-26 2015-01-29 Daimler Ag Method and device for remote control of a function of a vehicle
WO2015010752A1 (en) 2013-07-26 2015-01-29 Daimler Ag Method and device for remote-controlling a function of a vehicle
DE102014012158A1 (en) 2013-09-12 2015-03-12 Mechaless Systems Gmbh Gesture recognition and gesture recognition device
DE202014010352U1 (en) 2013-09-12 2015-06-17 Mechaless Systems Gmbh Gesture recognition device
DE102016212723A1 (en) 2016-07-13 2018-01-18 Volkswagen Aktiengesellschaft A method of providing a deadman button function by means of a touch screen of an operating device, operating device and system

Also Published As

Publication number Publication date
DE102009019910B4 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
US9122947B2 (en) Gesture recognition
DE112008001800B4 (en) Two-dimensional touch panel
DE69534404T2 (en) Method for compensating for unintentional movements in a touchpad on a touch sensor surface
DE102010028983A1 (en) Two-dimensional touch sensors
DE102012021768B4 (en) CONTROL SYSTEM FOR A MULTI-FACE INPUT DEVICE
DE202005021427U1 (en) Electronic device with touch-sensitive input device
DE102007063961B3 (en) Touch sensitive user interface
DE102011016389A1 (en) Multi-mode touch screen user interface for a multilevel touch screen device
DE112010002760B4 (en) User interface
DE102010027732A1 (en) Two-dimensional position sensor
DE60022030T2 (en) COMMUNICATION SYSTEM AND METHOD
DE112019000251T5 (en) TWO-ELECTRODE TOUCH BUTTON WITH A MULTI-PHASE CAPACITY MEASUREMENT PROCESS
DE112007000278T5 (en) Gesturing with a multipoint scanning device
DE102011078985A1 (en) Touch detection on three-dimensional objects
DE102014210267A1 (en) Capacitive multi-state button
DE112014004615T5 (en) Detecting and differentiating touches of conductive objects of different sizes on a capacitive button
DE202008007847U1 (en) Speed / Position mode translation
US20110169760A1 (en) Device for control of electronic apparatus by manipulation of graphical objects on a multicontact touch screen
DE112005001422T5 (en) Bar-based data entry device, system and method
DE202008001338U1 (en) Gesturing with a multipoint scanning device
DE102010036906A1 (en) Configurable pie menu
DE102014210286A1 (en) Capacitive multi-state button
DE202012101741U1 (en) Multi-surface touch sensor device and detection of user activity
DE102010003575A1 (en) Capacitive touch screen or touchpad for fingers and movable stylus
DE112009002578T5 (en) Tracking with multiple touches

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: SOLAS OLED LTD., IE

Free format text: FORMER OWNER: ATMEL CORPORATION, SAN JOSE, CALIF., US

R082 Change of representative

Representative=s name: PETERREINS SCHLEY PATENT- UND RECHTSANWAELTE, DE

Representative=s name: PETERREINS SCHLEY PATENT- UND RECHTSANWAELTE P, DE

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06F0003041000

Ipc: G06F0003048800

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R130 Divisional application to

Ref document number: 102009061865

Country of ref document: DE

R026 Opposition filed against patent