DE19738425A1 - Auf intuitive Bewegungen gestützte graphische Benutzerschnittstelle - Google Patents

Auf intuitive Bewegungen gestützte graphische Benutzerschnittstelle

Info

Publication number
DE19738425A1
DE19738425A1 DE19738425A DE19738425A DE19738425A1 DE 19738425 A1 DE19738425 A1 DE 19738425A1 DE 19738425 A DE19738425 A DE 19738425A DE 19738425 A DE19738425 A DE 19738425A DE 19738425 A1 DE19738425 A1 DE 19738425A1
Authority
DE
Germany
Prior art keywords
user
screen
input
function
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE19738425A
Other languages
English (en)
Inventor
Suthirug Num Pisutha-Arnond
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Publication of DE19738425A1 publication Critical patent/DE19738425A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Description

Diese Erfindung bezieht sich allgemein auf Benutzerschnitt­ stellen und insbesondere auf graphische Schnittstellen, die Bewe­ gungen berücksichtigen.
Hintergrund der Erfindung
Eine graphische Benutzerschnittstelle verwendet allgemein Menüleisten, Bildschirmtasten und ein Zeigerinstrument, wie etwa eine Maus, ein Joystick oder einen Berührungsaufnehmer (Touch-Pad), um eine elektronische Vorrichtung wie etwa einen Computer oder ein computergesteuertes Gerät zu steuern. Das Zeigerinstrument wählt einen Bereich des Bildschirms aus, um eine gewünschte Funktion zu markieren, und ein Auswahlknopf, wie etwa eine Maustaste, befiehlt die Ausführung der Funktion. Damit ein Anwender weiß, welche Funktionen zur Verfügung stehen, werden sie in den Menüleisten oder in den Bildschirmtasten entweder explizit angegeben, oder es wird ihre Funktion über Symbole auf kontinuierlicher Grundlage ange­ zeigt, was den Platz auf dem Bildschirm, wo dem Anwender andere Informationen gezeigt werden können, einschränkt. Um den von den Menüleisten und Bildschirmtasten benötigten Platz zu minimieren, können Pull-Down- oder andere Untermenüs zugeordnete Wahlmöglich­ keiten auflisten und weitere Funktionen nach der Auswahl eines Hauptmenüpunkts anzeigen.
Um die Ausführung von häufig verwendeten Funktionen abzukür­ zen, verwenden verschiedene elektronische Geräte auf der Grundlage von Schreibstiften oder sonstigen Stiften Anwenderschnittstellen mit "Bewegung". Bewegungen sind jedoch nur zusätzlich zu herkömmli­ chen graphischen Benutzerschnittstellen mit Menüleisten und Bild­ schirmtasten verfügbar. Daher bleibt bei beiden Arten von Anwender­ schnittstellen das Problem des eingeschränkten Platzes auf dem Bildschirm bestehen. Durch einfach erlernte Bewegungen kann bei Bewegungsanwenderschnittstellen schnell auf Funktionen zugegriffen werden. Ein Anwender könnte zum Beispiel beim Löschen von Text statt die Buchstaben mit einem Zeigerinstrument auszuwählen und einen "Lösche"-Knopf zu drücken, einfach mit einem Stift die Worte (von links nach rechts) durchstreichen, und sie wären gelöscht. Leider sind die meisten zur Verfügung stehenden Bewegungen bei weitem nicht so intuitiv wie im Beispiel des Löschens. Das Verfah­ ren, um eine bestimmte Funktion aufzurufen, ist bei Abkürzungen durch Bewegungen außerdem grundsätzlich anders als bei Menüleisten und Bildschirmtasten.
Diese Bewegungsanwenderschnittstellen sollen daher nur von er­ fahrenen Anwendern verwendet werden. Für Anfänger gibt es keine simple Möglichkeit herauszufinden, welche Bewegungen verfügbar sind. Der Anfänger muß die verfügbaren Bewegungen und ihre Funktion zunächst aus der Bedienungsanleitung oder mit einer Softwarehilfe auf dem Bildschirm lernen und sich dann diese Bewegungen einprägen. Wenn der Anwender eine Bewegung vergessen hat, muß er gezielt zur Anleitung zurück und die Bewegung und ihre Funktion erneut lernen. Daraus ergibt sich, daß eine auf Bewegungen gestützte Anwender­ schnittstelle benötigt wird, deren Bedienung leicht erlernbar ist, bei der die Anwender schnell auf die häufig verwendeten Funktionen einer elektronischen Maschine zugreifen können und daher die unbequeme Anleitung weniger benötigen. Außerdem besteht Bedarf an einer Anwenderschnittstelle, bei der Menüleisten und Bildschirmta­ sten weniger Platz auf dem Bildschirm beanspruchen.
Kurze Beschreibung der Zeichnungen
Fig. 1 zeigt ein Diagramm einer auf intuitive Bewegungen ge­ stützten Anwenderschnittstelle gemäß einer bevorzugten Ausführungs­ form, wie sie in einer elektronischen Vorrichtung implementiert wurde.
Fig. 2 zeigt Einzelheiten des Bildschirms der in Fig. 1 ge­ zeigten elektronischen Vorrichtung gemäß einer bevorzugten Ausfüh­ rungsform.
Fig. 3 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ein Anwender ein Bildschirmobjekt gemäß der bevorzugten Ausführungsform manuell auswählt.
Fig. 4 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ge­ mäß einer bevorzugten Ausführungsform eine Richtskala erscheint.
Fig. 5 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ein Anwender eine Skalentaste auf der Richtskala aus Fig. 4 gemäß einer bevorzugten Ausführungsform manuell auswählt.
Fig. 6 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ein Anwender ein Bildschirmobjekt und eine Funktion gemäß einer bevor­ zugten Ausführungsform mit einer Bewegung auswählt.
Fig. 7 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ein Anwender eine Skalentaste auf der Richtskala aus Fig. 4 gemäß einer anderen bevorzugten Ausführungsform manuell auswählt.
Fig. 8 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ein Anwender ein Bildschirmobjekt gemäß einer anderen bevorzugten Ausführungsform mit einer Bewegung auswählt.
Fig. 9 zeigt ein Flußdiagramm des Betriebs einer auf intuitive Bewegungen gestützten Anwenderschnittstelle gemäß einer bevorzugten Ausführungsform.
Ausführliche Beschreibung der bevorzugten Ausführungsform
Bei einer auf intuitive Bewegungen gestützten Anwenderschnitt­ stelle können die Anwender die Bewegungen schnell aus dem Bestreben heraus lernen, auf oft verwendete Funktionen eines Computers oder eines computergestützten Geräts zügig zuzugreifen. Die auf intuiti­ ve Bewegungen gestützte Anwenderschnittstelle braucht außerdem weniger Bildschirmtasten, die den verfügbaren Bildschirmplatz einschränken würden. Vorzugsweise wird die auf intuitive Bewegungen gestützte Anwenderschnittstelle von einer auf einen Schreibstift oder sonstigen Stift gestützten Vorrichtung ausgeführt, und der Anwender wählt manuell mit einem Stift ein Symbol auf dem Bild­ schirm durch Antippen oder durch Ziehen eines Punktes auf einem berührungsempfindlichen Bildschirm aus. Nach einem einzelnen Antippen öffnet die Vorrichtung eine Richtskala mit Skalentasten, die relativ zum Mittelpunkt der Richtskala in verschiedenen Rich­ tungen liegen. Jede Skalentaste zeigt explizit ein spezielles Symbol, das eine Funktion darstellt oder über etwas anderes infor­ miert. Weil der Anwender eine gewünschte Skalentaste manuell betätigen muß, etwa durch ein zweites Antippen, lernt er verfügbare Funktionen der Vorrichtung und die dazugehörigen Bewegungen kennen. Wenn der Anwender mit der elektronischen Vorrichtung Erfahrungen gesammelt hat, kann ein Anwender zweimal nacheinander auf ein Bildschirmobjekt tippen oder ausgehend von einem ausgewählten Bildschirmobjekt eine Linie in eine gewünschte Richtung ziehen, und die Vorrichtung wird die Auswahl durch diese Bewegung passend verarbeiten, ohne daß sich die Richtskala öffnet.
Fig. 1 zeigt ein Diagramm einer auf intuitive Bewegungen ge­ stützten graphischen Anwenderschnittstelle gemäß einer bevorzugten Ausführungsform, wie sie auf einer elektronischen Vorrichtung ausgeführt wurde. Die elektronische Vorrichtung 100 ist vorzugswei­ se ein Computer oder ein Gerät mit einem Mikroprozessor. In dieser Darstellung ist die elektronische Vorrichtung 100 eine integrierte, drahtlose Kommunikationsvorrichtung mit Funktelefon, elektronischer Post und FAX-Möglichkeit. Die elektronische Vorrichtung 100 könnte jedoch auch ein Schreibtischcomputer oder ein transportabler Computer mit einem Modem (MOdulator/DEModulator), eine Kombination aus Fernseher und Videorecorder, ein FAX-Gerät, ein Photokopierer, ein persönliches digitales Notizbuch oder ähnliches sein. Die elektronische Vorrichtung 100 hat einen berührungsempfindlichen Bildschirm 150 und Drucktasten 120. Ein Zeigerinstrument 190 wie etwa ein Schreibstift oder ein sonstiger Stift wirken mit dem Bildschirm 150 zusammen, um auf dem Bildschirm Bereiche auszuwäh­ len. Ein anderes Anzeigeinstrument, wie etwa eine Maus, ein Joy­ stick, ein Berührungsaufnehmer oder auch ein menschlicher Finger können den Schreibstift oder sonstigen Stift ersetzen.
Fig. 2 zeigt Einzelheiten des Bildschirms der elektronischen Vorrichtung aus Fig. 1 gemäß einer bevorzugten Ausführungsform. Dieser Bildschirm zeigt von einem Mikroprozessor angesteuert ein oder mehrere Bildschirmobjekte 210, 220, 230, wie zum Beispiel eine Liste von in einem elektronischen Briefkasten empfangener Nachrich­ ten. Ein Bildschirmobjekt ist eine graphische Darstellung von Daten. Obwohl in diesem Beispiel ein Softwareprogramm für elektro­ nische Nachrichtenübermittlung verwendet wird, könnte es ebenso ein anderes Programm mit anderen Bildschirmobjekten sein, wie etwa ein Adreßbuch-Programm, dessen Bildschirmobjekte einen alphabetischen Index darstellen, oder ein Erinnerungs- oder Terminkalender-Pro­ gramm mit Kalenderdaten als Bildschirmobjekten, ein elektroni­ sches Spiel mit gerichteten Tasten als Bildschirmobjekten oder elektronische Programme, die Photokopierungen oder Fax-Übertragungen steuern.
Um ein Bildschirmobjekt und eine zugehörige Funktion auszuwäh­ len, gibt es zwei Methoden. Bei der manuelle Auswahl eines Bild­ schirmobjekts, etwa durch Antippen oder durch Ziehen eine Punktes, öffnet sich automatisch eine Richtskala mit Skalentasten, auf denen ein explizites Symbol die Funktion anzeigt, die dem manuell ausge­ wählten Bildschirmobjekt entspricht. Eine manuelle Auswahl einer Skalentaste, beispielsweise durch ein zweites Tippen auf die gewünschte Skalentaste, weist die Ausführung der gekennzeichneten Funktion an. Bei der Auswahl mit einer Bewegung kann gleichzeitig sowohl das Bildschirmobjekt als auch die Funktion ausgewählt werden. Das Auswählen durch eine Bewegung, wie etwa durch das Ziehen einer Linie, ausgehend von einem Bildschirmobjekt in eine bestimmte Richtung, legt durch den Anfangspunkt der Linie das gewünschte Bildschirmobjekt und durch die Richtung, in der die Linie gezogen wurde, die gewünschte Funktion fest.
Um ein Bildschirmobjekt manuell auszuwählen, würde ein Anfän­ ger intuitiv ein Bildschirmobjekt antippen oder einen Punkt hinzie­ hen, um eine elektronische Mitteilung auszuwählen. Fig. 3 zeigt Einzelheiten des Bildschirms aus Fig. 2, wenn ein Anwender ein Bildschirmobjekt gemäß einer bevorzugten Ausführungsform manuell auswählt. Die elektronische Vorrichtung gibt dem Anwender sinnvol­ lerweise eine sichtbare Rückmeldung, indem das angetippte Gebiet 310 aufleuchtet. Bei Bedarf könnte dem Anwender auch eine akusti­ sche Rückmeldung gegeben werden. Nach einer manuellen Auswahl, etwa ein einzelnes Antippen oder das Ziehen eines Punktes, würde die elektronische Vorrichtung dem Anwender automatisch eine Richtskala öffnen, die sich vorzugsweise in dem Gebiet des Bildschirms befin­ det, in dem der Punkt angetippt wurde.
Fig. 4 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ei­ ne Richtskala gemäß einer bevorzugten Ausführungsform erscheint. Die Richtskala 450 zeigt dem Anwender eine Anzahl Skalentasten. Obwohl die dargestellte Richtskala 450 dem Anwender fünf Skalenta­ sten zeigt, können Richtskalen je nach Bedarf mehr oder weniger Tasten umfassen. Die Form, Größe und Anordnung einer Richtskala hängt davon ab, welches Bildschirmobjekt ausgewählt wurde. Jede Skalentaste liegt in einer eigenen Richtung relativ zum Mittelpunkt der Richtskala, der vorzugsweise gleichzeitig ungefähr dort ist, wo zuerst angetippt wurde. Auf diese Richtungen kann man sich wie auf Himmelsrichtungen beziehen. Jede Skalentaste zeigt außerdem ein Funktionssymbol, das festlegt oder zeigt, auf welche Funktion beim Betätigen der Skalentaste zugegriffen werden kann.
Bei den elektronischen Mitteilungen des Beispiels stellt ein Bildschirmobjekt eine empfangene Mitteilung dar. Wenn das Bild­ schirmobjekt einer empfangen Mitteilung manuell ausgewählt wird, öffnet sich die Richtskala 450 mit einer nördlichen Skalentaste 451, die auf eine Funktion "Zurück" (Z) zugreift. Eine andere Methode, um auf diese Funktion "Zurück" (Z) zuzugreifen, ist auf einen Bereich des Bildschirms außerhalb der Skala zu tippen. Die Funktion "Zurück" entfernt die vorliegende Skala vom Bildschirm oder macht die letzte Anweisung auf andere Weise rückgängig. Östlich kann der Anwender die Skalentaste 452 (W) auswählen, um die Mitteilung an einen anderen Empfänger weiterzuleiten. Die Skalenta­ ste 453 (L) in südlicher Richtung löst das Löschen der Mitteilung aus, und in westliche Richtung fragt die Skalentaste 454 (A) den Nutzer nach einer Antwort an den Absender der Mitteilung. Schließ­ lich kann der Anwender über die zentrale Skalentaste 455 (I) den Inhalt der Mitteilung lesen. Durch das Antippen der Skalentasten wird die Funktion, die auf der Skalentaste dargestellt ist, aufgerufen.
Um dem Anwender beim Lernen und Erinnern der verfügbaren Wahl­ möglichkeiten für Funktionen und die dazugehörigen Bewegungen zu erleichtern, stellt die Richtskala die Funktionsmöglichkeiten möglichst logisch dar. In diesem Beispiel liegt "Antworten" in westlicher Richtung, während "Weiterleiten" in östlicher Richtung liegt. Der Anwender kann sich vorstellen, daß eine Antwort in gewisser Weise zurückreist und das "Weiterleiten" in gewisser Weise vorwärts gerichtet ist.
Fig. 5 zeigt Einzelheiten des Bildschirms aus Fig. 2, wenn ein Anwender eine Skalentaste auf der Richtskala von Fig. 4 gemäß der bevorzugten Ausführungsform manuell auswählt. Eine Skalentaste wird durch ein zweites Antippen manuell ausgewählt. Nachdem die mittlere Skalentaste 455 angetippt wurde, läßt der Mikroprozessor die Skalentaste zeitweise aufleuchten, als würde sie blinken, und der vorangegangene Bildschirm aus Fig. 2 wird durch den Bildschirm mit der ausgewählten elektronischen Mitteilung ersetzt. Durch das zweite Antippen kann der Anwender die mit dem ersten Antippen ausgewählte Nachricht lesen. Auf diese Weise schult die Richtskala 450 den Anwender, eine ausgewählte Mitteilung zum Lesen zweimal anzutippen.
Ein zweites Antippen links vom ersten Antippen, auf die "Antworten"-Taste der Richtskala aus Fig. 5 wird desweiteren einen Bildschirm "Antworten" hervorbringen. Die entsprechende Bewegung wäre, wie in Fig. 6 gezeigt, das Ziehen einer Linie von rechts nach links. Fig. 6 zeigt Einzelheiten des Bildschirms aus Fig. 2, wenn ein Nutzer eine Bildschirmobjekt und eine Funktion gemäß einer bevorzugten Ausführungsform mit einer Bewegung auswählt. Die Linie 620 stellt das Ziehen einer Linie von rechts nach links auf dem Bildschirmobjekt 220 auf dem Bildschirm dar. Sobald der Mikropro­ zessor die Bewegung "Antworten" erkennt, erscheint die blinkende Skalentaste "Antworten" 454 (A), um optisch eine Rückmeldung zu geben, und ein Bildschirm "Antworten" erscheint, ganz genauso als würde der Bildschirm "Antworten" erscheinen, wenn der Nutzer den Skalentaste "Antworten" von der Richtskala ausgewählt hätte. Zu beachten ist, daß sowohl ein Anfänger als auch ein erfahrener Anwender mit derselben Vorstellung auf eine Funktion zugreift. Es werden daher keine getrennten redundanten Bildschirmtasten für Anfänger mehr gebraucht.
Sobald ein Anwender eine Bewegung gelernt hat, muß er nicht länger auf das Erscheinen der Richtskala warten, um auf die zugäng­ lichen Funktionen zuzugreifen. Eine auf intuitive Bewegungen gestützte graphische Anwenderschnittstelle trainiert einen Anfänger auf Bewegungen als beste Methode, um mit der Vorrichtung zu arbei­ ten. Durch die Kombination der auf Bewegungen gestützten graphi­ schen Anwenderschnittstelle mit der Richtskala stellt die auf intuitive Bewegungen gestützte graphische Anwenderschnittstelle die Programmfunktionen dar.
Dadurch, daß der Anwender die Vorrichtung bereits bedienen kann, bevor die Richtskala erscheint, und dem Anwender die Auswahl­ möglichkeiten an Funktionen nur dann explizit dargestellt werden, wenn sie gebraucht werden, unterstützt die auf intuitive Bewegungen gestützte graphische Anwenderschnittstelle eine wirkungsvollere Nutzung des Bildschirms. Da sowohl der Anfänger als auch der erfahrenen Anwender sie mit derselben inneren Vorstellung bedienen können, kann der Anfänger leichter auf den Stand des erfahrenen Anwenders kommen.
Fig. 7 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ein Anwender eine Skalentaste auf der Richtskala von Fig. 4 gemäß einer anderen bevorzugten Ausführungsform manuell auswählt. Richtskalen können gestapelt werden, um jede Anzahl von Bewegungen und zugreif­ baren Funktionen zu erzeugen. Ein Antippen der westlichen Skalenta­ ste 454 (A), die mit "Antworten" beschriftet ist, öffnet eine Unterskala 750. Die Unterskala 750 enthält nur zwei Skalentasten: eine nordwestliche Skalentaste 751 (JS), um dem Absender der Mitteilung zu antworten, und eine südwestliche Skalentaste 753 (U), um aus einer Übersicht mögliche Empfänger auszuwählen. Die Unters­ kalen 750 können beliebig gestapelt werden, und sie können eine beliebige Anzahl von Skalentasten enthalten.
Fig. 8 zeigt Einzelheiten des Bildschirms von Fig. 2, wenn ein Anwender eine Bildschirmobjekt mit einer Bewegung gemäß einer anderen bevorzugten Ausführungsform auswählt. In einer Ausführungs­ form mit Richtskalen kann eine Bewegungsauswahl einen Anwender zu einer Unterskala bringen oder direkt zum Zugriff auf eine Funktion. In dieser Ausführungsform macht der Anwender eine Bewegung entlang der Bewegungslinie 620, und die Unterskala 750 öffnet sich. Wenn die Bewegung jedoch mit einer Biegung in Richtung Nordwesten fortgesetzt worden wäre, würde zunächst die Skalentaste "Antworten" 454 erscheinen und blinken, und dann würde die Skalentaste 751 erscheinen und blinken, und ein Bildschirm für eine Antwort, die an den Absender Jan Schmidt der Mitteilung adressiert ist, würde den gegenwärtigen Bildschirm ersetzen. Durch Bewegungen können sowohl die Skala 450 als auch die Unterskala 750 umgangen werden.
Fig. 9 zeigt ein Ablaufdiagramm des Betriebs einer durch in­ tuitive Bewegungen gestützten graphischen Anwenderschnittstelle gemäß einer bevorzugten Ausführungsform. Nach dem Start in Schritt 901 zeigt die elektronische Vorrichtung in Schritt 901 ein oder mehrere Objekte an. Die Vorrichtung wartet danach in Schritt 920 auf die Eingabe des Anwenders. Der Empfang einer Eingabe eines Anwenders läßt einen Teil des Bildschirms aufleuchten, um dem Anwender optisch eine Rückmeldung zu geben. Die Maschine könnte dem Anwender eine Rückmeldung auch akustische geben. In Schritt 930 entscheidet die Vorrichtung, ob die empfangene Eingabe eine manuel­ le Auswahl oder eine Bewegungsauswahl eines Bildschirmobjekts ist. Wenn die Eingabe des Anwenders eine manuelle Auswahl (d. h. ein Antippen) ist, zeigt die Vorrichtung nach der Verzweigung 933 in Schritt 940 eine Richtskala. In Schritt 950 wartet die Vorrichtung erneut auf die Eingabe des Anwenders, läßt die Eingabe des Anwen­ ders aufleuchten und entscheidet in Schritt 955, ob die empfangene Eingabe des Anwenders ein Antippen oder eine Bewegung ist.
Wenn die nächste Eingabe des Anwenders ein Antippen ist, ent­ scheidet der Mikroprozessor in Schritt 960, ob die Eingabe des Anwenders eine Funktion aufruft. Wenn die nächste Eingabe des Anwenders eine Bewegung ist, wird im Schritt 970 die ausgewählte Skalentaste als optische Rückmeldung gezeigt, und dann entscheidet der Mikroprozessor in Schritt 960, ob die Eingabe des Anwenders eine Funktion aufruft. Wiederum kann genauso gut eine akustische Rückmeldung abgegeben werden, um die Bewegungsauswahl zu quittie­ ren.
Wenn die Auswertung in Schritt 960 ergibt, daß die Eingabe des Anwenders keine Funktion ruft, dann kehrt die Vorrichtung zum Schritt 940 zurück und zeigt eine weitere Richtskala (d. h. Unters­ kala). Die Schleife 963 erlaubt den Effekt, Skalen zu stapeln, und sie kann so oft wie nötig ausgeführt werden, bis eine Eingabe des Anwenders eine Funktion ruft, wie von der Verzweigung 965 darge­ stellt. Sobald ein Funktionsaufruf ausgewählt wurde, läßt die Vorrichtung die ausgewählte Skalentaste blinken, und der Mikropro­ zessor führt in Schritt 980 die Funktion aus.
Wenn wiederum in Schritt 930 die anfängliche Eingabe des An­ wenders als eine Bewegungsauswahl erkannt wurde, dann zeigt die Vorrichtung über den Zweig 935 in Schritt 970 die Skalentaste an, die von der Bewegungsauswahl ausgewählt wurde, um dem Anwender die optische Rückmeldung zu geben. Daran schließt sich direkt der Schritt 960 an, in dem die Vorrichtung bestimmt, ob die Bewegung eine Funktion aufruft. Sobald eine ausgewählte Funktion ausgeführt wurde, wird der Schlußschritt 990 erreicht, und die Vorrichtung kann zum Start an Schritt 901 zurückkehren.
Es besteht die Möglichkeit, das Öffnen der Richtskala zu ver­ zögern, um einen Anfänger anzuspornen, gleich mit einer Bewegung auszuwählen statt einfach auf das Öffnen der Richtskala zu warten, bevor er zum zweiten Mal antippt. Beim ersten Benutzen einer Vorrichtung zum Beispiel, könnte sich die Richtskala zügig nach einem einzelnen Antippen öffnen. Durch das schnelle Öffnen der Richtskala kann der Anwender zu Beginn die verfügbaren Funktionen und die dazu gehörigen Bewegungen lernen. Wenn der Anwender lernt, eine bestimmte Funktion durch ein zweites Antippen in einer be­ stimmten Richtungen anzuschalten, braucht die Richtskala nach dem ersten Antippen länger und länger, um sich zu öffnen. Ein ungedul­ diger Anwender wird dadurch angeregt, zum zweiten Mal anzutippen, bevor sich die Richtskala öffnet. Sobald der Anwender vor dem Erscheinen der Richtskala entweder zweimal antippt oder eine Linie zieht, hat der Anwender mit einer Bewegung ausgewählt, jedoch ohne die Bewegung gezielt gelernt zu haben. Wenn ein Anwender eine Bewegung wieder vergessen hat, dann muß der Anwender lediglich warten, bis nach dem ersten Antippen auf dem Bildschirm wieder die Richtskala erscheint, um die Bewegung und die zugehörige Funktion erneut zu lernen.
Eine auf intuitive Bewegungen gestützte graphische Anwender­ schnittstelle bringt dem Anwender schnell und leicht Bewegungen für die Arbeit mit einer von einem Mikroprozessor gesteuerten elektro­ nischen Vorrichtung bei. Während bestimmte Einzelteile und Funktio­ nen der auf intuitive Bewegungen gestützten graphischen Anwender­ schnittstelle oben beschrieben wurden, kann der Fachmann im Sinne und innerhalb des Umfangs der vorliegenden Erfindung weniger oder mehr Funktionen verwenden. Die Erfindung soll nur durch die ange­ fügten Ansprüche begrenzt sein.

Claims (11)

1. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm, das die Schritte umfaßt:
  • A) Anzeigen eines Bildschirmobjekts auf dem Bildschirm,
  • B) Empfangen einer Eingabe von einem Anwender, die einer Aus­ wahl eines Bildschirmobjekts entspricht, und Auswerten der Eingabe des Anwenders entweder entsprechend einer manuellen Auswahl oder entsprechend einer Bewegungsauswahl,
  • C) Ausführen folgender Schritte, falls die Eingabe des Anwen­ ders einer manuellen Auswahl entspricht:
    • 1) automatisches Darstellen einer Richtskala auf dem Bildschirm, wobei die Richtskala mindestens eine Skalen­ taste hat und jede der mindestens einen Skalentasten in einer eigenen Richtung liegt und eine eigene Kennzeich­ nung einer Funktion hat, und
    • 2) Empfangen einer nächsten Eingabe von einem Anwender, die einer Auswahl der mindestens einen Skalentaste ent­ spricht.
2. Verfahren für eine von einem Mikroprozessor gesteuerte, auf intuitive Bewegungen gestützte, graphische Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm gemäß Anspruch l, das außerdem die Schritte umfaßt:
  • D) Ausführen der Schritte, wenn die Eingabe des Anwenders ei­ ner Bewegungsauswahl entspricht:
    • 1) Liefern einer Rückmeldung für den Anwender, die die Bewegungsauswahl quittiert,
    • 2) Bestimmen, ob die Eingabe des Anwenders eine Funktion aufruft,
    • 3) Ausführen der Funktion, wenn die Eingabe eine Funktion aufruft, und
    • 4) Zurückkehren zu dem Schritt, in dem automatisch eine Richtskala auf dem Bildschirm dargestellt wird (Schritt C) 1)), wenn die Eingabe des Anwenders keine Funktion aufruft.
3. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für ein elektronische Vorrichtung mit Bild­ schirm gemäß Anspruch 2, bei dem die Rückmeldung für den Anwender eine optische Rückmeldung ist.
4. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit einem Bildschirm gemäß Anspruch 2, bei dem die Rückmeldung für den Anwender eine akustische Rückmeldung ist.
5. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm gemäß Anspruch 1, das außerdem den Schritt umfaßt:
Warten für eine veränderbare Dauer vor dem Schritt, eine Richtskala automatisch auf dem Bildschirm darzustellen (Schritt C) 1)).
6. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm gemäß Anspruch 1, bei dem die Eingabe des Anwenders, die einer manuellen Auswahl entspricht, das Zeichnen eines Punktes ist.
7. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm gemäß Anspruch 1, bei dem die Eingabe des Anwenders, die einer Bewegungsauswahl entspricht, das Zeichnen einer Linie ist.
8. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm gemäß Anspruch 1, das außerdem den Schritt umfaßt:
Liefern einer optischen Rückmeldung nach dem Schritt, in dem vom Anwender eine Eingabe erhalten wurde (Schritt B).
9. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm gemäß Anspruch 1, das außerdem die Schritte umfaßt:
  • C)
    • 3) Auswerten der nächsten Eingabe des Anwenders, ob sie einer manuellen Auswahl entspricht oder einer Bewegungs­ auswahl entspricht,
    • 4) Ausführen der Schritte, wenn die nächste Eingabe des Anwenders einer manuellen Auswahl entspricht:
    • 5) Bestimmen, ob die nächste Eingabe des Anwenders eine Funktion aufruft,
    • 6) Ausführen der Funktion, wenn die nächste Eingabe des Anwenders eine Funktion aufruft,
    • 7) Zurückkehren zum Schritt, in dem eine Richtskala auf dem Bildschirm automatisch dargestellt wurde (Schritt C) 1)), wenn die nächste Eingabe des Anwenders keine Funkti­ on aufruft.
10. Verfahren zum Bereitstellen einer von einem Mikroprozessor gesteuerten, auf intuitive Bewegungen gestützten, graphischen Anwenderschnittstelle für eine elektronische Vorrichtung mit Bildschirm gemäß Anspruch 9, das außerdem die Schritte umfaßt:
  • D) Ausführen der Schritte, wenn die Eingabe des Anwenders ei­ ner Bewegungsauswahl entspricht:
    • 1) Liefern einer Rückmeldung an den Anwender, die die Be­ wegungsauswahl quittiert,
    • 2) Bestimmen, ob der Eingabe des Anwenders ein Funktions­ aufruf ist,
    • 3) Ausführen der Funktion, wenn die Eingabe des Anwenders ein Funktionsaufruf ist, und
    • 4) Zurückkehren zum Schritt, in dem eine Richtskala auf dem Bildschirm automatisch dargestellt wird (Schritt C) 1)), wenn die Eingabe des Anwenders kein Funktionsruf ist.
DE19738425A 1996-09-09 1997-09-03 Auf intuitive Bewegungen gestützte graphische Benutzerschnittstelle Ceased DE19738425A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US08/711,236 US5745116A (en) 1996-09-09 1996-09-09 Intuitive gesture-based graphical user interface

Publications (1)

Publication Number Publication Date
DE19738425A1 true DE19738425A1 (de) 1998-03-12

Family

ID=24857272

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19738425A Ceased DE19738425A1 (de) 1996-09-09 1997-09-03 Auf intuitive Bewegungen gestützte graphische Benutzerschnittstelle

Country Status (7)

Country Link
US (1) US5745116A (de)
JP (1) JPH10105324A (de)
KR (1) KR100251662B1 (de)
CN (1) CN1093951C (de)
BR (1) BR9704601B1 (de)
DE (1) DE19738425A1 (de)
GB (1) GB2317092B (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10324698A1 (de) * 2003-05-28 2004-12-23 Siemens Ag Computer und Verfahren zum Bearbeiten und/oder Auswerten eines digitalen Bildes
WO2007072118A1 (en) * 2005-12-20 2007-06-28 Sony Ericsson Mobile Communications Ab Navigation button surrounded by a display

Families Citing this family (369)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6014552A (en) * 1997-03-13 2000-01-11 Motorola, Inc. Low profile eject stylus
US6055153A (en) * 1997-07-30 2000-04-25 International Business Machines Corporation Computer keyboard with enhanced cooling and touch pad
US6141011A (en) 1997-08-04 2000-10-31 Starfish Software, Inc. User interface methodology supporting light data entry for microprocessor device having limited user input
USRE43318E1 (en) 1997-08-28 2012-04-17 Flatworld Interactives, Llc User interface for removing an object from a display
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US5986655A (en) * 1997-10-28 1999-11-16 Xerox Corporation Method and system for indexing and controlling the playback of multimedia documents
US6144888A (en) * 1997-11-10 2000-11-07 Maya Design Group Modular system and architecture for device control
US6037937A (en) * 1997-12-04 2000-03-14 Nortel Networks Corporation Navigation tool for graphical user interface
WO1999028811A1 (en) * 1997-12-04 1999-06-10 Northern Telecom Limited Contextual gesture interface
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
EP1717684A3 (de) 1998-01-26 2008-01-23 Fingerworks, Inc. Verfahren und Vorrichtung zur Integration von manuellen Eingaben
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7844914B2 (en) * 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
IL140360A0 (en) * 1998-06-27 2002-02-10 Lci Smartpen Nv Apparatus and methods for imaging written information with a mobile telephone set
US6208341B1 (en) * 1998-08-05 2001-03-27 U. S. Philips Corporation GUI of remote control facilitates user-friendly editing of macros
JP2000207263A (ja) * 1998-11-12 2000-07-28 Sony Corp 情報処理装置及び方法、並びに提供媒体
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7293231B1 (en) 1999-03-18 2007-11-06 British Columbia Ltd. Data entry for personal computing devices
WO2000057265A1 (en) * 1999-03-18 2000-09-28 602531 British Columbia Ltd. Data entry for personal computing devices
US6335725B1 (en) * 1999-07-14 2002-01-01 Hewlett-Packard Company Method of partitioning a touch screen for data input
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6714214B1 (en) * 1999-12-07 2004-03-30 Microsoft Corporation System method and user interface for active reading of electronic content
US6820111B1 (en) * 1999-12-07 2004-11-16 Microsoft Corporation Computer user interface architecture that saves a user's non-linear navigation history and intelligently maintains that history
US7185274B1 (en) 1999-12-07 2007-02-27 Microsoft Corporation Computer user interface architecture wherein users interact with both content and user interface by activating links
US7337389B1 (en) 1999-12-07 2008-02-26 Microsoft Corporation System and method for annotating an electronic document independently of its content
US6992687B1 (en) 1999-12-07 2006-01-31 Microsoft Corporation Bookmarking and placemarking a displayed document in a computer system
US6957233B1 (en) 1999-12-07 2005-10-18 Microsoft Corporation Method and apparatus for capturing and rendering annotations for non-modifiable electronic content
US7458014B1 (en) 1999-12-07 2008-11-25 Microsoft Corporation Computer user interface architecture wherein both content and user interface are composed of documents with links
US20040268253A1 (en) * 1999-12-07 2004-12-30 Microsoft Corporation Method and apparatus for installing and using reference materials in conjunction with reading electronic content
US7028267B1 (en) * 1999-12-07 2006-04-11 Microsoft Corporation Method and apparatus for capturing and rendering text annotations for non-modifiable electronic content
US9424240B2 (en) 1999-12-07 2016-08-23 Microsoft Technology Licensing, Llc Annotations for electronic content
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
EP1277104A1 (de) * 2000-03-30 2003-01-22 Ideogramic APS Verfahren zur modellierung auf gestenbasis
US6765557B1 (en) 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US7243299B1 (en) 2000-04-21 2007-07-10 Microsoft Corporation Methods and apparatus for displaying multiple contexts in electronic documents
WO2002005081A1 (en) * 2000-05-11 2002-01-17 Nes Stewart Irvine Zeroclick
US7259753B2 (en) * 2000-06-21 2007-08-21 Microsoft Corporation Classifying, anchoring, and transforming ink
US7006711B2 (en) 2000-06-21 2006-02-28 Microsoft Corporation Transform table for ink sizing and compression
US7397949B2 (en) * 2000-06-21 2008-07-08 Microsoft Corporation Serial storage of ink and its properties
US7234108B1 (en) 2000-06-29 2007-06-19 Microsoft Corporation Ink thickness rendering for electronic annotations
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
ATE345525T1 (de) * 2000-07-05 2006-12-15 Smart Technologies Inc Kamerabasiertes beruehrungssystem
US6792265B1 (en) * 2000-10-02 2004-09-14 Sbc Technology Resources, Inc. Conference call setup utilizing a wireless access protocol capable telephone
US7076275B1 (en) * 2000-10-13 2006-07-11 Palmsource, Inc. Method and system for single-step enablement of telephony functionality for a portable computer system
CA2323856A1 (en) * 2000-10-18 2002-04-18 602531 British Columbia Ltd. Method, system and media for entering data in a personal computing device
US6918091B2 (en) * 2000-11-09 2005-07-12 Change Tools, Inc. User definable interface system, method and computer program product
US7895530B2 (en) * 2000-11-09 2011-02-22 Change Tools, Inc. User definable interface system, method, support tools, and computer program product
US6891551B2 (en) * 2000-11-10 2005-05-10 Microsoft Corporation Selection handles in editing electronic documents
US8099669B2 (en) * 2000-12-14 2012-01-17 Nortel Networks Limited Enhanced unified messaging system with a quick view facility
US7002558B2 (en) * 2000-12-21 2006-02-21 Microsoft Corporation Mode hinting and switching
US6707473B2 (en) * 2001-08-01 2004-03-16 Microsoft Corporation Dynamic rendering of ink strokes with transparency
US20020099552A1 (en) * 2001-01-25 2002-07-25 Darryl Rubin Annotating electronic information with audio clips
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US20020135615A1 (en) * 2001-01-31 2002-09-26 Microsoft Corporation Overlaid display for electronic devices
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
WO2002071197A1 (en) * 2001-03-06 2002-09-12 Philips Electronics North America Corporation Dormant gui buttons reside unobtrusively in the background upon selection
US7272232B1 (en) * 2001-05-30 2007-09-18 Palmsource, Inc. System and method for prioritizing and balancing simultaneous audio outputs in a handheld device
US7343053B2 (en) * 2001-06-27 2008-03-11 Microsoft Corporation Transform table for ink sizing and compression
US6909430B2 (en) * 2001-08-01 2005-06-21 Microsoft Corporation Rendering ink strokes of variable width and angle
US7168038B2 (en) * 2001-08-01 2007-01-23 Microsoft Corporation System and method for scaling and repositioning drawings
US8095879B2 (en) * 2002-12-10 2012-01-10 Neonode Inc. User interface for mobile handheld computer unit
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7814439B2 (en) * 2002-10-18 2010-10-12 Autodesk, Inc. Pan-zoom tool
US6954197B2 (en) 2002-11-15 2005-10-11 Smart Technologies Inc. Size/scale and orientation determination of a pointer in a camera-based touch system
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) * 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
JP4378996B2 (ja) * 2003-05-14 2009-12-09 日本電気株式会社 携帯電話機、データ操作処理プログラム及び制御方法
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US20050101314A1 (en) * 2003-11-10 2005-05-12 Uri Levi Method and system for wireless group communications
US7106312B2 (en) * 2003-11-10 2006-09-12 Microsoft Corporation Text input window with auto-growth
US7355593B2 (en) 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20050223341A1 (en) * 2004-03-30 2005-10-06 Mikko Repka Method of indicating loading status of application views, electronic device and computer program product
US20050223340A1 (en) * 2004-03-30 2005-10-06 Mikko Repka Method of navigating in application views, electronic device, graphical user interface and computer program product
US20050219228A1 (en) * 2004-03-31 2005-10-06 Motorola, Inc. Intuitive user interface and method
US20050219223A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for determining the context of a device
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US7460110B2 (en) 2004-04-29 2008-12-02 Smart Technologies Ulc Dual mode touch system
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
CN100555200C (zh) 2004-08-16 2009-10-28 苹果公司 触敏器件和提高触敏器件的空间分辨率的方法
US20060109242A1 (en) * 2004-11-19 2006-05-25 Simpkins Daniel S User interface for impaired users
US8552984B2 (en) * 2005-01-13 2013-10-08 602531 British Columbia Ltd. Method, system, apparatus and computer-readable media for directing input associated with keyboard-type device
KR100703443B1 (ko) * 2005-01-26 2007-04-03 삼성전자주식회사 사용자 인터페이스 화면에서 네비게이션 방향을 사용자가정의할 수 있는 장치 및 방법
CN100339805C (zh) * 2005-07-15 2007-09-26 中国海洋大学 一种计算机互动输入装置
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
KR100746995B1 (ko) * 2005-09-22 2007-08-08 한국과학기술원 직관적인 실제 공간적 조준에 따른 시스템 및 그식별방법과 통신방법
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US7511702B2 (en) * 2006-03-30 2009-03-31 Apple Inc. Force and location sensitive display
US7538760B2 (en) 2006-03-30 2009-05-26 Apple Inc. Force imaging input device and system
US7978181B2 (en) 2006-04-25 2011-07-12 Apple Inc. Keystroke tactility arrangement on a smooth touch surface
US8279180B2 (en) * 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US7720552B1 (en) * 2006-06-05 2010-05-18 Rockwell Automation Technologies, Inc. Virtual knob lever arm as analog control element
CN104965621B (zh) 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
US8654083B2 (en) 2006-06-09 2014-02-18 Apple Inc. Touch screen liquid crystal display
US8552989B2 (en) 2006-06-09 2013-10-08 Apple Inc. Integrated display and touch screen
US7996792B2 (en) 2006-09-06 2011-08-09 Apple Inc. Voicemail manager for portable multifunction device
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
EP2067119A2 (de) * 2006-09-08 2009-06-10 Exbiblio B.V. Optische scanner, zum beispiel tragbare optische scanner
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
GB2453675B (en) * 2006-10-10 2009-09-23 Promethean Ltd Pointing device specific applications/areas for interactive surface
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US8493330B2 (en) 2007-01-03 2013-07-23 Apple Inc. Individual channel phase delay scheme
US9710095B2 (en) 2007-01-05 2017-07-18 Apple Inc. Touch screen stack-ups
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US8689132B2 (en) * 2007-01-07 2014-04-01 Apple Inc. Portable electronic device, method, and graphical user interface for displaying electronic documents and lists
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
CA2581824A1 (en) * 2007-03-14 2008-09-14 602531 British Columbia Ltd. System, apparatus and method for data entry using multi-function keys
US7954067B2 (en) * 2007-03-16 2011-05-31 Apple Inc. Parameter setting superimposed upon an image
US20080229232A1 (en) * 2007-03-16 2008-09-18 Apple Inc. Full screen editing of visual media
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
EP2135155B1 (de) 2007-04-11 2013-09-18 Next Holdings, Inc. Touchscreen-system mit gleit- und klick-eingabeverfahren
US7884805B2 (en) * 2007-04-17 2011-02-08 Sony Ericsson Mobile Communications Ab Using touches to transfer information between devices
NL2000621C2 (nl) * 2007-05-01 2008-11-04 Meeteren Albertus Petrus Georg Inrichting voor het bewerken van ingevoerde gegevens.
KR20080104858A (ko) * 2007-05-29 2008-12-03 삼성전자주식회사 터치 스크린 기반의 제스쳐 정보 제공 방법 및 장치, 그장치를 포함하는 정보 단말 기기
US9772751B2 (en) 2007-06-29 2017-09-26 Apple Inc. Using gestures to slide between user interfaces
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
WO2009029764A1 (en) * 2007-08-30 2009-03-05 Next Holdings, Inc. Low profile touch panel systems
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US8122384B2 (en) * 2007-09-18 2012-02-21 Palo Alto Research Center Incorporated Method and apparatus for selecting an object within a user interface by performing a gesture
US8171431B2 (en) * 2007-10-05 2012-05-01 Microsoft Corporation Handle flags
JP4904240B2 (ja) * 2007-10-09 2012-03-28 富士通株式会社 入力処理方法及び入力制御装置
JP4904239B2 (ja) * 2007-10-09 2012-03-28 富士通株式会社 入力処理方法及び入力制御装置
US8279039B2 (en) 2007-10-12 2012-10-02 Sony Mobile Communications Ab Using touches to transfer information to a device
US20090125824A1 (en) * 2007-11-12 2009-05-14 Microsoft Corporation User interface with physics engine for natural gestural control
US8922518B2 (en) * 2007-12-20 2014-12-30 Samsung Electronics Co., Ltd. Mobile terminal having touch screen and function controlling method of the same
US10503376B2 (en) * 2007-12-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting an image and control guides displayed on a display
KR20090066368A (ko) 2007-12-20 2009-06-24 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
KR20090077480A (ko) * 2008-01-11 2009-07-15 삼성전자주식회사 조작 가이드를 표시하는 ui 제공방법 및 이를 적용한멀티미디어 기기
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8416196B2 (en) * 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8717305B2 (en) * 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8205157B2 (en) 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
US20090237373A1 (en) * 2008-03-19 2009-09-24 Sony Ericsson Mobile Communications Ab Two way touch-sensitive display
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
KR101467293B1 (ko) * 2008-04-22 2014-12-02 삼성전자주식회사 촬영될 영상에 관련된 메뉴를 표시하는 ui 제공방법 및이를 적용한 촬영장치
US20090278816A1 (en) * 2008-05-06 2009-11-12 Next Holdings Limited Systems and Methods For Resolving Multitouch Scenarios Using Software Filters
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8296670B2 (en) * 2008-05-19 2012-10-23 Microsoft Corporation Accessing a menu utilizing a drag-operation
US8217908B2 (en) 2008-06-19 2012-07-10 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8115745B2 (en) 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8665228B2 (en) 2008-06-19 2014-03-04 Tactile Displays, Llc Energy efficient interactive display with energy regenerative keyboard
US9513705B2 (en) 2008-06-19 2016-12-06 Tactile Displays, Llc Interactive display with tactile feedback
KR101495559B1 (ko) * 2008-07-21 2015-02-27 삼성전자주식회사 사용자 명령 입력 방법 및 그 장치
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
JP4957750B2 (ja) * 2008-07-31 2012-06-20 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4636141B2 (ja) * 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100079385A1 (en) * 2008-09-29 2010-04-01 Smart Technologies Ulc Method for calibrating an interactive input system and interactive input system executing the calibration method
US8339378B2 (en) * 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20100185949A1 (en) * 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
WO2010096193A2 (en) 2009-02-18 2010-08-26 Exbiblio B.V. Identifying a document by performing spectral analysis on the contents of the document
US8314779B2 (en) * 2009-02-23 2012-11-20 Solomon Systech Limited Method and apparatus for operating a touch panel
EP2406767A4 (de) 2009-03-12 2016-03-16 Google Inc Automatische bereitstellung von mit erfassten informationen, z. b. in echtzeit erfassten informationen, assoziierten inhalten
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8566044B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8589374B2 (en) 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9311112B2 (en) * 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US20100289753A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Adjusting organization of media content on display
US8352884B2 (en) * 2009-05-21 2013-01-08 Sony Computer Entertainment Inc. Dynamic reconfiguration of GUI display decomposition based on predictive model
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
JP2011022842A (ja) * 2009-07-16 2011-02-03 Sony Corp 表示装置、表示方法及びプログラム
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8654524B2 (en) 2009-08-17 2014-02-18 Apple Inc. Housing as an I/O device
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US20110193969A1 (en) * 2010-02-09 2011-08-11 Qisda Corporation Object-detecting system and method by use of non-coincident fields of light
KR101684704B1 (ko) 2010-02-12 2016-12-20 삼성전자주식회사 휴대용 단말기에서 메뉴 실행 방법 및 이를 제공하는 장치
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10719131B2 (en) 2010-04-05 2020-07-21 Tactile Displays, Llc Interactive display with tactile feedback
US8881060B2 (en) 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US9092125B2 (en) 2010-04-08 2015-07-28 Avaya Inc. Multi-mode touchscreen user interface for a multi-state touchscreen device
US20200393907A1 (en) 2010-04-13 2020-12-17 Tactile Displays, Llc Interactive display with tactile feedback
US8635555B2 (en) * 2010-06-08 2014-01-21 Adobe Systems Incorporated Jump, checkmark, and strikethrough gestures
US8977987B1 (en) 2010-06-14 2015-03-10 Google Inc. Motion-based interface control on computing device
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US8799815B2 (en) 2010-07-30 2014-08-05 Apple Inc. Device, method, and graphical user interface for activating an item in a folder
US8826164B2 (en) 2010-08-03 2014-09-02 Apple Inc. Device, method, and graphical user interface for creating a new folder
US20120054667A1 (en) * 2010-08-31 2012-03-01 Blackboard Inc. Separate and simultaneous control of windows in windowing systems
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
TW201214237A (en) * 2010-09-16 2012-04-01 Asustek Comp Inc Touch display device and control method thereof
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682293S1 (en) * 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) * 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) * 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
US8804056B2 (en) 2010-12-22 2014-08-12 Apple Inc. Integrated touch screens
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US20120272144A1 (en) * 2011-04-20 2012-10-25 Microsoft Corporation Compact control menu for touch-enabled command execution
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9292310B2 (en) 2011-06-05 2016-03-22 Apple Inc. Systems and methods for displaying notifications received from multiple applications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US20130254689A1 (en) * 2011-08-31 2013-09-26 Creative Realities, Llc Wayfinding System and Method
CN103176595B (zh) * 2011-12-23 2016-01-27 联想(北京)有限公司 一种信息提示方法及系统
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9313290B2 (en) * 2012-05-17 2016-04-12 Ncr Corporation Data transfer between devices
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9557846B2 (en) 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US10228819B2 (en) 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
EP2954514B1 (de) 2013-02-07 2021-03-31 Apple Inc. Sprachtrigger für einen digitalen assistenten
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
JP6153007B2 (ja) * 2013-07-19 2017-06-28 株式会社コナミデジタルエンタテインメント 操作システム、操作制御方法、操作制御プログラム
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
KR102405189B1 (ko) 2013-10-30 2022-06-07 애플 인크. 관련 사용자 인터페이스 객체를 표시
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10216351B2 (en) 2015-03-08 2019-02-26 Apple Inc. Device configuration user interface
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
DK179361B1 (en) 2015-06-07 2018-05-22 Apple Inc Devices, methods and graphical user interfaces for providing and interacting with notifications
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
KR20170104819A (ko) * 2016-03-08 2017-09-18 삼성전자주식회사 제스처를 가이드하는 전자 장치 및 그의 제스처 가이드 방법
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
USD826246S1 (en) * 2016-07-28 2018-08-21 Beijing Kingsoft Internet Security Software Co., Ltd. Mobile communication terminal display screen with graphical user interface
US10283082B1 (en) 2016-10-29 2019-05-07 Dvir Gassner Differential opacity position indicator
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
USD848454S1 (en) * 2017-08-22 2019-05-14 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD857032S1 (en) 2017-09-10 2019-08-20 Apple Inc. Electronic device with graphical user interface
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4803747A (en) * 1986-03-07 1989-02-14 Brown Dennis N Orthotic and method of making of the same
US4803474A (en) * 1986-03-18 1989-02-07 Fischer & Porter Company Cursor control matrix for computer graphics
US5523775A (en) * 1992-05-26 1996-06-04 Apple Computer, Inc. Method for selecting objects on a computer display
US5386568A (en) * 1992-12-01 1995-01-31 Yamaha Corporation Apparatus and method for linking software modules
US5612719A (en) * 1992-12-03 1997-03-18 Apple Computer, Inc. Gesture sensitive buttons for graphical user interfaces
US5384910A (en) * 1992-12-31 1995-01-24 International Business Machines Corporation Method and apparatus for facilitating operator reconfiguration of a graphical user interface in a data processing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10324698A1 (de) * 2003-05-28 2004-12-23 Siemens Ag Computer und Verfahren zum Bearbeiten und/oder Auswerten eines digitalen Bildes
WO2007072118A1 (en) * 2005-12-20 2007-06-28 Sony Ericsson Mobile Communications Ab Navigation button surrounded by a display

Also Published As

Publication number Publication date
GB2317092A (en) 1998-03-11
CN1178958A (zh) 1998-04-15
JPH10105324A (ja) 1998-04-24
US5745116A (en) 1998-04-28
GB2317092B (en) 2001-04-18
KR19980024421A (ko) 1998-07-06
BR9704601A (pt) 1998-09-08
GB9716840D0 (en) 1997-10-15
BR9704601B1 (pt) 2013-11-05
CN1093951C (zh) 2002-11-06
KR100251662B1 (ko) 2000-04-15

Similar Documents

Publication Publication Date Title
DE19738425A1 (de) Auf intuitive Bewegungen gestützte graphische Benutzerschnittstelle
DE69937592T2 (de) Verfahren und Vorrichtung zur Zeicheneingabe mit virtueller Tastatur
DE60028421T2 (de) Verfahren und system zur auswahl eines gegenstandes aus einer auf einem bildschirm erscheinenden liste
DE69838998T2 (de) Verfahren zum Transfer von Daten zwischen Anwendungen in Datenverarbeitungsgeräte, vorzugsweise mobile Telephone
DE69735658T2 (de) Tragbares Kommunikationsgerät
DE102006017486B4 (de) Elektronische Vorrichtung und Verfahren zum Vereinfachen einer Texteingabe unter Verwendung einer Soft-Tastatur
DE69929655T2 (de) Kontextempfindliche Anzeige mit eingeblendeten Fenster für ein tragbares Telefongerät
DE60320393T2 (de) System und verfahren zur computerprogrammnavigation unter verwendung einer graphischen benutzeroberfläche
DE19510657B4 (de) Fernsteuerverfahren und Fernsteuereinrichtung für ein Bildgerät
DE69632971T2 (de) Kurzwahl-Verfahren
DE202006021126U1 (de) Vorrichtung zum Verarbeiten von Daten eines mobilen Endgeräts
WO2012080029A1 (de) System mit gestenerkennungseinheit
DE4121551A1 (de) Informationsverarbeitungsgeraet
DE102008000001A1 (de) Integrierte Hardware- und Softwarebenutzerschnittstelle
DE102007043140A1 (de) Scrollingverfahren und mobiles Kommunikationsendgerät, das dieses verwendet
DE3339794A1 (de) Sprachdatenaufbereitungssystem
DE202006021123U1 (de) Mobiles Kommunikationsgerät zur Nachrichtenanzeige
DE10127356A1 (de) Informationsverarbeitungsvorrichtung,Informationseingabevorrichtung und Informationsverarbeitungs-Haupteinheit
DE69938163T2 (de) Programmiertes Funkgerät zur automatischen Erfassung von Verzeichnisdaten
DE102012220062A1 (de) Einstellung mehrerer benutzereingabeparameter
DE4425939A1 (de) Verfahren und Vorrichtung zum alphanumerischen Registrieren in einem System mit alphanumerischen Eingabetasten
DE102007059695B4 (de) Endgerät und Verfahren zum Anzeigen von Inhalten darin
WO2000036496A1 (de) Verfahren und anordnung zur selektion eines datensatzes aus einer menge mehrerer datensätze
EP1194883B1 (de) Vorrichtung und verfahren zur eingabe von steuerinformationen in computersysteme
DE60033804T2 (de) Verfahren zum kopieren von daten in einer graphischen benutzeroberfläche

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8128 New person/name/address of the agent

Representative=s name: SCHUMACHER & WILLSAU, PATENTANWALTSSOZIETAET, 8033

8172 Supplementary division/partition in:

Ref document number: 19758982

Country of ref document: DE

Kind code of ref document: P

Q171 Divided out to:

Ref document number: 19758982

Country of ref document: DE

Kind code of ref document: P

8127 New person/name/address of the applicant

Owner name: MOTOROLA MOBILITY, INC. ( N.D. GES. D. STAATES, US

R081 Change of applicant/patentee

Owner name: MOTOROLA MOBILITY, INC. ( N.D. GES. D. STAATES, US

Free format text: FORMER OWNER: MOTOROLA, INC., SCHAUMBURG, ILL., US

Effective date: 20110324

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20111025