DE69727530T2

DE69727530T2 - Umgebung für Videobenutzer

Info

Publication number: DE69727530T2
Application number: DE69727530T
Authority: DE
Inventors: Daniel P. Lopresti; Yue Ma; Andrew Tomkins; Jian Zhou
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-10-25
Filing date: 1997-09-22
Publication date: 2004-12-23
Anticipated expiration: 2017-09-23
Also published as: EP0838945B1; JP2003032510A; EP0838945A2; EP0838945A3; DE69727530D1; US5889506A; JPH10191468A; JP3737447B2

Description

Die vorliegende Erfindung betrifft ein Audio-/Video-System mit einer verbesserten Videobenutzerumgebung, die aufweist: eine Audio/Video-Steuereinrichtung zum wahlweisen Durchführen vorbestimmter Audio/Video-Steuerfunktionen in Übereinstimmung mit einer Wahl eines Benutzers, wobei die Steuereinrichtung einen Port zum Koppeln an eine Videoanzeigeeinrichtung zum Anzeigen von Videomaterial umfasst; eine Fernsteuereinrichtung mit einer Digitalisierschreiboberfläche zur Eingabe von handgezeichneten Anweisungen durch einen Benutzer, wobei die Fernsteuereinrichtung mit der Audio/Video-Steuereinrichtung kommuniziert; und einen Prozessor, der zumindest mit der Audio/Video-Steuereinrichtung oder der Fernsteuereinrichtung zum Steuern einer Operation der Videoanzeigeeinrichtung gemäß den handgezeichneten Anweisungen kommuniziert.
Ein solches Audio-/Video-System ist aus der EP 0 633 661 bekannt.
Die EP 0 633 661 offenbart ein Fernsteuerungssystem. Das Fernsteuerungssystem dient zum Fernsteuern eines oder mehrerer Teile eines elektrischen Geräts, das einen berührungsempfindlichen Bildschirm zum Anzeigen eines oder mehrerer Sätze von Icons, die Steuervariablen des oder jedes jeweiligen Teils des Geräts angeben, und zum Empfangen einer Eingabe von einem Benutzer bei einer Verwendung; einen Mikrokontroller zum Erzeugen des jeweiligen Satzes von Icons und zum Interpretieren der Eingaben; Übertragungsmittel zum Übertragen eines Steuersignals an das Gerät in Reaktion auf Anweisungen von dem Mikrokontroller; und einen Speicher zum Speichern eines oder mehrerer der Sätze von Icons aufweist, auf die bei einer Verwendung durch den Mikrokontroller zugegriffen werden kann, um den benötigten Satz von Icons auf dem Bildschirm anzuzeigen.
Die vorliegende Erfindung betrifft allgemein die Steuerung eines Audio-, Video- und Multimedia-Geräts. Insbesondere betrifft die Erfindung eine On-Screen-Benutzerschnittstelle zum Interagieren mit Audio-, Video- und Multimediakomponenten unter Verwendung einer Fernsteuereinrichtung mit einer Digitalisierschreiboberfläche zum Eingeben handgezeichneter Anweisungen durch den Benutzer.
Das Fernsehen befindet sich kurz vor einer Revolution. Technologien, wie Computer, Kommunikation und Unterhaltungselektronik, die früher getrennt waren, nähern sich an. Diese Annäherung wird unzweifelhaft ein reiches Sortiment an Programminhalten und -diensten ergeben, obwohl es keinesfalls klar ist, dass ein Benutzer in der Lage sein wird, durch das Sortiment an Möglichkeiten zu navigieren, um das zu finden, woran er oder sie interessiert ist. Von zukünftigen Systemen wird beispielsweise erwartet, sowohl bis zu 500 Programmkanäle in digitaler Audio- und Videoqualität als auch eine Vielfalt von Abrufdiensten zu ermöglichen, einschließlich Teleshopping und Tele-Bank-Verfahren, interaktiven Spielen und interaktiver Unterhaltung, Multimediabibliotheken und vollem Zugriff auf das Internet.
Ein Vorsehen einer Benutzerschnittstelle für ein komplexes System, wie zum Beispiel diesem, ist keinesfalls eine einfache Aufgabe. Ein einfach zu verwendender Zugriff auf ein komplexes System – wie man erwartetet, dass es das Fernsehen werden wird – kann nicht einfach unter Verwendung des numerischen Tastaturblocks und von Vorwärts- und Rückwartstasten tragbarer Fernsteuerungen bzw. Fernbedienungen von heute erzielt werden. Aktuelle tragbare Fernbedienungen haben im Sinne von Nutzen und Nützlichkeit bereits den Punkt eines verminderten Zugewinns erreicht. Ein Hinzufügen weiterer Tasten macht es schwieriger und nicht einfacher, diese Systeme zu steuern. Einige Systeme von heute verwenden einen On-Screen-Bildschirm, um den aktuellen Betriebsparameter einer Fernbedienungs-Drucktaste zu reflektieren, wenn sie gedrückt wird. Während beispielsweise die Farbtontaste gedrückt wird, könnte das herkömmliche System einen Balkengrafen anzeigen, der die aktuelle Farbtoneinstellung zeigt. Während dieses einfache Benutzerrückkopplungssystem sicherlich besser als nichts ist, löst es auf keinen Fall das fundamentalere Problem, wie man Benutzern aller Altersgruppen und aller Nationalitäten eine intuitive Steuerung bereitstellt. Während die On-Screen-Anzeige von Parametern in einem abgedun kelten Raum sichtbar sein könnte, könnten auch die Drucktasten, die zum Steuern dieser Parameter verwendet werden, nicht sichtbar sein. Je größer die Anzahl von Drucktasten auf einer tragbaren Fernbedienung ist, desto schwieriger wird es deshalb, die korrekte Drucktaste zu finden, während man sich in einem Raum befindet, der für eine optimale Sicht abgedunkelt ist.
Neben diesen Unzulänglichkeiten einer Drucktastentechnologie für eine Benutzerschnittstelle ist die aktuelle Technologie auch beim Unterstützen von Benutzern, die nicht die Zeit oder die Neigung zum Erlernen komplexer Systemmerkmale haben, oder von Benutzern unzureichend, wie zum Beispiel Vorschulkindern, die nicht lesen können. Die Hinzufügung einer Tastatur im Computerstil, um die Funktionen zu steuern, unterstützt die Vereinfachung eines solchen Systems nicht. Des Weiteren erscheint die Platzierung einer Tastatur auf dem Kaffeetisch im Wohnzimmer weniger akzeptabel als eine kleine Fernbedienung oder eine Digitalisierschreibtafel.
Die vorliegende Erfindung schlägt einen neuen Weg ein, das Problem anzugehen. Obwohl die tragbare Fernbedienung mit Drucktasten weiterhin verwendet werden könnte, sieht die vorliegende Erfindung eine Digitalisierschreiboberfläche vor, durch die der Benutzer handgezeichnete Anweisungen eingeben könnte. Diese Anweisungen können handgeschriebener Text, Symbole oder selbst Bilder sein, die alle unter Verwendung eines Zeichenstifts oder Stifts auf die Digitalisierschreiboberfläche geschrieben werden. Solche Mittel zum Steuern des Systems und zum Ermöglichen einer Eingabe wenden sich an eine breitere Masse von Benutzern, als es eine herkömmliche Tastatur tut. Durch den Mechanismus eines Bereitstellens handgezeichneter Anweisungen können komplexe Systeme mit Leichtigkeit gesteuert werden. Der Benutzer kann seine oder ihre eigenen handgezeichneten Anweisungen (Wörter, Symbole, Bilder, etc.) schaffen, um jede gewünschte Steuerfunktion zu repräsentieren, selbst komplexe Steuerfunktionen, wie zum Beispiel Anweisen des Audio-/Video-Systems, damit es sich zu einer bestimmten Zeit einschaltet und das vom Benutzer ausgewählte favorisierte Programm anzeigt, oder um alle erhältlichen Programme zu durchsuchen, um solche zu finden, die den Interessenskriterien des Benutzers entsprechen. Diese handgezeichnete Eingabe kann auch Gesten beinhalten, die von dem System wiedererkannt und als Befehle verarbeitet werden, um verschiedene Funktionen des Audio-/Video-Systems zu steuern. Zum Beispiel könnte das Zeichnen eines „X" über die Digitalisierschreiboberfläche als Befehl interpretiert werden, den Fernseher und/oder das Audio-/Video-System auszuschalten. Zusätzlich können handgeschriebene Symbole oder eine Texteingabe auf die Digitalisierschreiboberfläche geschrieben werden und dann unter Verwendung einer bekannten Handschrift-Erkennungstechnologie verarbeitet werden, als ob die Symbole auf einer Tastatur getippt worden wären. Wenn die Handschrift erst einmal in Standardzeichen-Symbolcodes übersetzt ist, kann diese Eingabe weiterverarbeitet werden oder in einem Speicher des Systems zur späteren Verwendung gespeichert werden.
Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Audio-/Video-System zu schaffen.
Diese Aufgabe wird durch ein Audio-/Video-System der eingangs erwähnten Art gelöst, wobei der Prozessor eine zugeordnete Datenbank gespeicherter Anmerkungen aufweist, und der Pro zessor angeordnet ist, die gespeicherten Anmerkungen mit den handgezeichneten Anweisungen zu vergleichen, indem eine Editierabstandsanalyse durchgeführt wird, um Fehlanpassungen zwischen den gespeicherten Anmerkungen und den handgezeichneten Anweisungen zu klären bzw. zu berücksichtigen bzw. ihnen Rechnung zu tragen bzw. sie zu bewerten („account for").
Die verbesserte Videobenutzerumgebung weist eine Audio-/Video-Steuereinrichtung auf, die wahlweise vorbestimmte Audio-/Video-Steuerfunktionen gemäß einer Auswahl oder eines Befehls des Benutzers durchführt. Die Steuereinrichtung ist vorzugsweise mit einem Port zum Koppeln an eine Videoanzeigeeinrichtung, wie zum Beispiel an einen Fernseher, ein Projektionssystem oder einen Monitor konstruiert. Die Audio-/Video-Steuereinrichtung kann getrennt von dem existierenden Audio-/Video-Gerät verkauft werden, oder sie kann in existierende Komponenten integriert werden. Eine Fernsteuereinrichtung mit einer Digitalisierschreiboberfläche ist zum Eingeben von handgezeichneten Anweisungen durch den Benutzer versehen. Die Fernsteuereinrichtung kommuniziert mit der Audio-/Video-Steuereinrichtung. Alternativ könnte ein voll ausgestatteter Personal-Digital-Assistant (PDA), der eine TV-Fernsteuerung als eine seiner programmierbaren Funktionen implementiert, auch als die Fernsteuervorrichtung verwendet werden. Viele kommerziell erhältliche PDAs beinhalten zur Zeit Mittel zur drahtlosen Kommunikation, wie zum Beispiel eine Infrarotverbindung.
Das System umfasst des Weiteren einen Prozessor, der in Verbindung mit der Audio-/Video-Steuereinrichtung, der Fernsteuereinrichtung oder beiden steht. Der Prozessor steuert eine Operation der Videoanzeigeeinrichtung gemäß den handgezeichne ten Anweisungen, die über die Digitalisierschreiboberfläche bereitgestellt werden. Der Prozessor kann in die Schaltung der Audio-/Video-Steuereinrichtung integriert sein, oder er kann in die Schaltung der Fernsteuereinrichtung integriert sein. Es ist auch möglich, die Erfindung unter Verwendung mehrerer Prozessoren zu implementieren, wobei einer der Audio-/Video-Steuereinrichtung zugeordnet ist und ein anderer der Fernsteuerung zugeordnet ist. Die Mehrfachprozessoren arbeiten gemeinsam als verteilte Prozessoren zusammen, um die Verarbeitungsfunktionen zu implementieren, die von der Erfindung benötigt werden.
Für ein vollständigeres Verständnis der Erfindung beziehen sich ihre Aufgaben und Vorteile auf die folgende Beschreibung und die beigefügten Zeichnungen.
1 veranschaulicht eine erste Ausführungsform der Erfindung, bei der die Audio-/Video-Steuereinrichtung als Aufsatzbox angeboten wird, die zur Verwendung mit einem einfachen Fernsehgerät geeignet ist.
2 stellt eine weitere Ausführungsform der Erfindung dar, bei der die Audio-/Video-Steuereinrichtung als Teil eines Home-Entertainment-Systems angeboten wird.
3 stellt eine perspektivische Nahansicht einer exemplarischen Fernsteuereinheit mit einer Digitalisierschreiboberfläche dar.
4 stellt ein Systemblockdiagramm dar, das die Komponenten der Erfindung zusammen mit Beispielen weiterer Kompo nenten eines Audio-/Video-Geräts zeigt, wobei veranschaulicht wird, wie die Erfindung mit diesem Gerät verbunden ist.
5 stellt ein Blockdiagramm dar, das die Hardware-Komponenten der Audio-/Video-Steuereinrichtung und die Fernsteuereinrichtung zeigt.
6 stellt ein Blockdiagramm der vorliegenden bevorzugten Software-Architektur der Erfindung dar.
7 stellt ein Diagramm dar, das eine Bildschirmaufnahme repräsentiert, die die Befehlsleiste der vorliegenden bevorzugten Benutzerschnittstelle zeigt.
8 zeigt das Eintragungsfeld der vorliegenden bevorzugten Benutzerschnittstelle.
9 zeigt ein Beispiel einer Tintensuche („ink search") in dem Eintragungsfeld der bevorzugten Benutzerschnittstelle.
10 veranschaulicht Standard-Fernsehsteuerungen, die für eine Manipulation durch die Benutzerschnittstelle durch Auswählen der TV-Taste auf der Befehlsleiste zur Verfügung stehen.
11 veranschaulicht ein Beispiel einer TV-Kanalsuche unter Verwendung einer ungefähren Tintenanpassung („approximate ink matching").
12 zeigt einen TV-Programmzeitplan, wie er von der Benutzerschnittstelle dargestellt wird.
13 zeigt einen ähnlichen TV-Programmzeitplan, der begrenzt wurde, um lediglich gewisse Kategorien mittels Manipulation durch die Benutzerschnittstelle anzuzeigen.
14 zeigt eine VCR-Steuerfunktionsanzeige, die durch Auswählen der VCR-Taste auf der Befehlsleiste erzeugt ist.
15 zeigt ein Beispiel einer Videospielschnittstelle mit schnellem Zugriff.
16 zeigt ein Beispiel einer Zugriffsschnittstelle für Teleshopping.
17 zeigt ein Beispiel der Benutzerschnittstelle für Tintennachrichten („ink-mail").
18 stellt ein Flussdiagramm dar, das die Tintendateninterpretation beschreibt, die einen Teil des Erkennungssystems bildet.
19 stellt ein Entitäten-Verhältnisdiagramm dar, das die Schritte veranschaulicht, die das System bei einer Suche nach einem benutzergezeichneten Eintrag oder nach einer benutzergezeichneten Anmerkung durchführt.
20 stellt ein Funktionsdiagramm dar, das die grundlegende Editierabstandstechnik veranschaulicht, die von der bevorzugten Ausführungsform verwendet wird.
21 stellt ein weiteres Funktionsdiagramm dar, das veranschaulicht, wie eine ungefähre Übereinstimmung bzw. Anpassung mit der Editierabstandstechnik durchgeführt werden könnte.
Die vorliegende Erfindung könnte auch als Audio-/Video-System mit einer verbesserten Videobenutzer-Schnittstelle oder einer verbesserten Videobenutzerumgebung implementiert sein. Viele verschiedene Implementierungen sind möglich. Bevor mit einer detaillierten Beschreibung des Systems in seiner vorliegenden bevorzugten Form fortgefahren wird, wird ein Überblick über zwei verschiedene Implementierungen veranschaulicht und beschrieben werden. Diese sind einfache Beispiele, wie man die Erfindung in einem laufenden System implementieren könnte. Andere Systeme sind selbstverständlich möglich.
Bezug nehmend auf 1 ist das System der Erfindung in einer einfachen Ausführungsform veranschaulicht, die zur Verwendung mit Einzelfernsehgeräten oder weniger komplexen Home-Entertainment-Systemen geeignet ist. Wie in 1 veranschaulicht, umfasst die Erfindung eine Audio-/Video-Steuereinheit 20, die als Aufsatzbox angeboten wird und zur Platzierung oben auf einem Fernseher 22 konstruiert ist. Die tragbare Fernsteuerung bzw. -bedienung 24 umfasst eine Digitalisierschreiboberfläche 26, auf der der Benutzer handgezeichnete Anweisungen unter Verwendung eines geeigneten Zeichenstifts oder Stifts 28 eingeben könnte. Ein Personal-Digital-Assistant (PDA) könnte ebenfalls eingesetzt oder in Verbindung mit der Fernbedienung 24 verwendet werden und würde eine Digitalisierschreiboberfläche und einen Stift umfassen. Die Steuereinheit 20 und die Fernbedienung 24 stehen über eine Infrarotverbindung miteinander in Verbindung, wie diagrammhaft mit 30 dargestellt. Bei dieser Ausführungsform umfasst die Audio-/Video-Steuereinheit auf der Rückseite der Einheit einen Port (nicht dargestellt), um an den Videoeingangsport des Fernsehers 22 zu koppeln. Auf diese Weise dient der Fernseher 22 als Videoanzeigevorrichtung, auf die die Videobenutzer-Schnittstelle projiziert wird. In 1 wird die Videobenutzer-Schnittstelle mit wenigen Details gezeigt, einschließlich einer Befehlsleiste 32 und einem benutzerinteraktiven Feld 34. Die Befehlsleiste 32 und das Feld 34 werden (mittels eines Einschlusses geeigneter Signale) mit den existierenden NTSC-Videosignalen, die durch den Fernsehtuner erzeugt werden, auf den Fernsehbildschirm projiziert. Genauere Details der Videobenutzer-Schnittstelle werden nachfolgend gezeigt werden. Falls gewünscht, könnte die Steuereinheit 20 ein Fernsehtuner-Modul umfassen, das zum Empfangen und Dekodieren von Funkfrequenzfernsehsendungen über eine Antenne oder einen Kabeleingang geeignet ist. Das Tunermodul liefert NTSC-Videosignale an den Videoeingangsport des Fernsehers unter Umgehung des Bedürfnisses, den internen Tunerabschnitt des Fernsehers zu verwenden.
Ein komplexeres Home-Entertainment-System ist in 2 gezeigt. Bei dieser Ausführungsform ist die Fernbedienung 24 im Wesentlichen die gleiche, wie sie in Verbindung mit 1 beschrieben ist. Die Steuereinheit 20 könnte als eine Gestelleinbaueinheit konfiguriert sein, um in das Home-Entertainment-System zusammen mit weiteren Komponenten des Audiovideogerätsintegriert zu werden. Zu Veranschaulichungszwecken umfasst das hier dargestellte Home-Entertainment-System einen Großbildschirm-Projektionsfernseher 36, Surround-Sound-Lautsprecher 38, einen Subwoofer 40 und einen Multifunktions-Tuner/Verstärker 42. Der Tuner/Verstärker hat Video- und Audioeingänge, an die zusätzliche Komponenten eines Audio-Video-Geräts angeschlossen werden könnten. Hier ist ein digitaler Tonbandspieler 44, ein VCR 46, ein Laserplattenspieler 48 und ein Camcorder 50 veranschaulicht. Diese sind einfache Beispiele des Typs von Geräten, die mit der vorliegenden Erfindung verwendet werden könnten. In dem veranschaulichten System ist auch ein Personalcomputer 52 umfasst. Der Personalcomputer könnte mit einem Internet-Service-Provider verbunden sein. Die Steuereinheit 20 ist in 2 zu Veranschaulichungszwecken als separate Komponente gezeigt. Jedoch ist es nicht nötig, die Steuereinheit 20 als getrennte Komponente anzubieten bzw. zu verpacken, wie hier veranschaulicht. Die Steuereinheit könnte vielmehr in irgendeine Audio-/Videokomponente integriert sein, einschließlich dem Fernseher selbst.
Eine vergrößerte Ansicht der Fernbedienung 24 ist in 3 gezeigt. Die vorliegende bevorzugte Fernbedienung 24 ist in einem tragbaren Gehäuse 54 untergebracht, das im Allgemeinen den gleichen Formfaktor und die gleichen Abmessungen wie eine herkömmliche tragbare Fernbedienungseinheit aufweist. Die Fernbedienung umfasst einen numerischen Tastaturblock 56, VCR- und Laserplattenbewegungssteuerungstasten 58 sowie ausgewählte andere Tasten, um eine bequeme Steuerung gemeinsam verwendeter Merkmale vorzusehen. Ein daumenbetriebenes Jog-Shuttle-Rad 60 könnte auch umfasst sein, um verschiedene andere systembetriebene Funktionen auszuwählen. Alternativ könnte ein Jog-Shuttle-Dreher („jog shuttle dial") anstatt des daumenbetriebenen Jog-Shuttles verwendet werden.
Die Fernsteuerung 24 umfasst eine Digitalisierschreiboberfläche 26, die konstruiert ist, um eine handgezeichnete Eingabe durch einen Zeichenstift oder Stift 28 zu empfangen. Falls gewünscht, kann die Digitalisierschreiboberfläche drehbar an dem Gehäuse 54 angebracht sein, wodurch es ermöglicht wird, die Schreiboberfläche aufzuklappen, um darunter befindliche zusätzliche Drucktasten zu enthüllen. Die Digitalisierschreiboberfläche 26 der bevorzugten Ausführungsform ist ein passiver Bildschirm, der eine mit dem Zeichenstift erzeugte Eingabe (gemäß dem nachfolgend beschriebenen Tintendatentyp) akzeptiert, ohne eine visuelle Rückkopplung auf der Schreiboberfläche selbst vorzusehen. Gemäß dieser Ausführungsform erscheint die visuelle Rückkopplung auf dem Videobildschirm. Einem Fachmann ist klar, dass eine Digitalisierschreiboberfläche 26 in einer separaten Tafeleinheit verkörpert sein könnte, die auf einer fixierten Oberfläche platziert sein kann, wie zum Beispiel einem Tisch, wodurch es ermöglicht wird, die Tafel bequemer zu beschreiben. Alternativ könnte die Digitalisierschreiboberfläche als aktiver Bildschirm implementiert sein, der nicht nur eine mit dem Zeichenstift gezogene Eingabe akzeptiert, sondern auch eine beschreibbare Anzeige umfasst. Der aktive Bildschirm könnte hintergrundbeleuchtet sein, so dass er im Dunkeln gesehen werden könnte.
Ein Überblick über das vorliegende bevorzugte System ist in 4 gezeigt. Insbesondere veranschaulicht 4 die zuvor beschriebene Steuereinheit 20 und Fernbedienung 24. Die Steuereinheit 20 umfasst einen Port 62 zum Koppeln an eine Videoanzeigeeinrichtung 64. Wie zuvor erläutert, könnte die Anzeigeeinrichtung ein Fernsehgerät oder ein Fernsehmonitor sein, oder sie könnte ein flaches Anzeigefeld, ein Projektionssystem oder ein Computermonitor sein. Bei den meisten Home- Entertainment-Systemen wird die Anzeigefunktion durch den Fernseher ermöglicht.
Die Audio-/Video-Steuerung 20 könnte ebenfalls an ein weiteres Gerät gekoppelt sein, wie zum Beispiel einen VCR 46, einen Laserplatten-Spieler 48 und einen Multimedia-Computer 52. Dies stellt jedoch keine erschöpfende Liste dar, da es eine Fülle von Entertainment- und Informationstechnologien gibt, die an die Audio-/Video-Steuerung 20 gekoppelt werden können. In 4 ist dieses andere Gerät diagrammhaft als weitere Medien 66 gezeigt. Diese Medien sind vorzugsweise mittels einer herkömmlichen Verkabelung 68 mit der Audio-/Video-Steuerung 20 verbunden. Die Audio-/Video-Steuerung arbeitet somit als das Schalt- und Verarbeitungszentrum für Audio-/Video-Signale des Systems. Falls der Benutzer zum Beispiel den VCR 46 als Quelle von Programminhalten ausgewählt hat, werden die Audio- und Videosignale von dem VCR durch die Audio-/Video-Steuerung 20 geschaltet und über den Port 62 an die Anzeige 64 kommuniziert. In dieser Hinsicht ist die Audio-/Video-Steuerung 20 vorzugsweise dazu in der Lage, mehrere Aufgaben gleichzeitig zu handhaben. Somit könnte der Laserplatten-Spieler 48 als die momentane Quelle für Programmmaterial zur Präsentation auf dem Bildschirm 64 ausgewählt werden, während der VCR 46 eine Fernsehsendung zur späteren Betrachtung aufzeichnet. Die Audio-/Video-Steuerung könnte einen Fernsehtuner umfassen, um die notwendigen Audio- und Videosignale an den VCR zu liefern.
Während ein Audio- und Videosignalfluss unter Verwendung der Verkabelung 68 zwischen Komponenten geleitet wird, können die Kontrollfunktionen über eine alternative Verbindung bereitgestellt werden, wie zum Beispiel über eine Infrarotverbindung.
In 4 ermöglicht ein Infrarottransponder 70 diese Funktion. Die Audio-/Video-Steuerung 20 sendet einen Befehl an den Transponder 70, und der Transponder sendet diesen Befehl an jede der Komponenten in dem System. Der Infrarotbefehl umfasst einen Geräteanfangsblock („device header"), der angibt, welche der Komponenten auf den Befehl antworten soll. Bei einer Ausführungsform ist die Infrarotverbindung bidirektional, wodurch es Komponenten, wie zum Beispiel dem VCR 46 oder dem Multimedia-Computer 52, ermöglicht wird, Infrarotantworten zurück zu der Audio-/Video-Steuerung 20 zurückzusenden. Jedoch könnte die Infrarotverbindung auch einseitig sein, wie bei gängigen Fernbedienungen. Natürlich gibt es andere Möglichkeiten, Steuersignale zwischen verschiedenen Komponenten und der Audio-/Video-Steuerung 20 zu übertragen. Infrarot hat den Vorteil, mit einem existierenden Home-Entertainment-Gerät kompatibel zu sein. Unter Verwendung einer Infrarotsteuerung kann die Audio-/Video-Steuerung 20 die Operation von Home-Entertainment-Komponenten steuern, die vor dem Aufkommen der vorliegenden Technologie konstruiert wurden. Alternativ könnte die individuelle Komponente infrarot-netzwerkfähig sein, so dass die Fernbedienung 24 direkt mit den Komponenten kommunizieren kann, ohne durch die Audio-/Video-Steuerung 20 gehen zu müssen. Somit kann die Videobenutzerumgebung der Erfindung in existierende Systeme integriert werden, die mit den meisten existierenden Geräten des Benutzers funktionieren bzw. zusammenzuarbeiten.
Die Fernsteuerung 24 und die Kontrolleinheit 20 verwenden vorzugsweise eine Form eines verteilten Verarbeitens, bei der jede Einheit einen Prozessor umfasst, der gemeinsam mit dem anderen arbeitet. In 4 ist diese verteilte Architektur diagrammhaft durch einen Prozessor 72 dargestellt, der sowohl mit der Fernsteuerung 24 als auch der Kontrolleinheit 20 verbunden bzw. als durch diese geteilt gezeigt ist. Obwohl ein verteiltes Verarbeiten die bevorzugte Implementierung repräsentiert, kann die Videobenutzerumgebung durch ein System implementiert sein, bei dem die gesamte Verarbeitungsleistung entweder in der Fernsteuerung allein oder in den Steuereinheitgeräten konzentriert ist. Die Fernsteuerung 24 kann zum Beispiel mit einer minimalen Verarbeitungsleistung konstruiert und konfiguriert sein, um alle handgezeichneten Anweisungen des Benutzers einfach an die Steuereinheit 20 zur Interpretation zu übertragen. Eine solche Konfiguration würde eine höhere Datentransferrate zwischen der Fernsteuerung 24 und der Steuereinheit 20 erfordern. Eine alternative Ausführungsform sieht Verarbeitungsleistung in der Fernsteuerung 24 vor, so dass benutzereingegebene handgezeichnete Anweisungen in der Fernsteuereinheit interpretiert werden, wobei anweisende Daten höheren Niveaus an die Steuereinheit 20 zur weiteren Verarbeitung gesendet werden.
5 zeigt die Hardware-Architektur der bevorzugten Implementierung. Die Komponenten der Fernsteuereinheit 24 und die Audio-/Video-Steuereinheit 20 sind in Kästchen aus gestrichelten Linien gezeigt, die mit 24 bzw. 20 nummeriert sind. Die Fernsteuereinheit umfasst einen Prozessor 72a mit einem lokalen Direktzugriffsspeicher oder RAM 74 sowie einem Festwertspeicher oder ROM 76. Während diese Funktionen getrennt in dem Blockdiagramm gezeigt sind, könnten ein Prozessor 72a, ein RAM 74, ein ROM 76 und verschiedene andere Funktionen in einem einzigen hochintegrierten Schaltkreis unter Verwendung einer aktuellen Herstellungstechnik implementiert werden. An den Prozessor 72a ist eine Infrarotschnittstelle 78 gekoppelt. Die Fernsteue rungseinheit 24 kann optional eine Drucktastenanzeige 77, die eine visuelle Rückkopplung über verschiedene Lichtfunktionen vorsieht, und ein Drucktasten-Tastaturfeld 79 umfassen zum Vorsehen einer Eingabe in die Steuereinheit 20. Das Drucktasten-Tastaturfeld 79 kann vorprogrammierte Funktionen aufweisen oder kann durch den Benutzer programmiert werden, einschließlich einer Lernfunktion, die es dem Tastaturfeld 79 ermöglicht, Universalfunktionen anzunehmen. Die Fernsteuerung 24 kann auch mit einer Mikrofon-Schnittstelle 81 zum Empfangen von von dem Benutzer gesprochenen Befehle versehen sein. Einem Fachmann ist es klar, dass ein Prozessor 72a oder 72b eine bekannte Stimmverarbeitungstechnologie zum Interpretieren gesprochener Befehle als Computeranweisungen implementieren kann. Die Fernsteuerung 24 umfasst auch eine Digitalisierschreiboberfläche, die eine Tafel-Schnittstelle 80 und eine Tafel 82 aufweist. Die Tafel-Schnittstelle 80 dekodiert die benutzereingegebenen handgezeichneten Anweisungen, wodurch sie in Positions- oder räumliche Daten (X,Y -Daten) umgewandelt werden. Der Prozessor 72a umfasst einen internen Taktgeber bzw. eine interne Uhr, so dass jedem X,Y -Datenwert ein Zeitwert zugeordnet ist, wobei ein Eintrag der Position des Zeichenstifts oder Stifts erzeugt wird, wenn er über die Tafel 82 gezogen wird. Diese Raum-Zeit-Daten repräsentieren die handgezeichneten Anweisungen in Form des „Tinten"-Datentyps („ink data type"). Der Tintendatentyp ist ein definierter Datentyp, der sowohl räumliche als auch zeitliche Komponenten (x, y, t) aufweist. Der Tintendatentyp wird nachfolgend ausführlicher beschrieben.
Die Audio-/Video-Steuereinheit 20 umfasst auch einen Prozessor 72b mit zugeordnetem RAM 86 und ROM 88. Der Prozessor 72b ist auch mit einer Infrarot-Schnittstelle 90 versehen. Die Infrarot-Schnittstelle 90 steht einseitig oder bidirektional (abhängig von der Ausführungsform) mit der Infrarot-Schnittstelle 78 der Fernsteuerung 24 in Verbindung. Zusätzlich zu der Infrarot-Schnittstelle umfasst der Prozessor 72b auch eine Video-Schnittstellenschaltung 92, die ein geeignetes Videosignal an den Videoausgang 62 liefert.
Große Teile der Videobenutzerumgebung sind vorzugsweise als Software implementiert, die von der verteilten Prozessorarchitektur 72 (zum Beispiel 72a und 72b) ausgeführt wird. Die Architektur dieser Software ist in 6 dargestellt. Die Software kann in den Festwertspeichern ROM 76 und ROM 88 der Fernsteuereinheit 24 bzw. der Steuereinheit 20 gespeichert werden. Alternativ kann die Software auch in die Direktzugriffspeicher RAM 74 und RAM 86 über verschiedene Übertragungsmedien heruntergeladen werden, einschließlich aber nicht beschränkt auf Standardtelefonleitungen, ein faseroptisches Kabel oder das Fernsehkabel, das auch die Videosignale liefert.
Bezug nehmend auf 6 ist die Softwarekomponente der Erfindung diagrammartig bei 100 dargestellt. Wie veranschaulicht, ist die Softwarekomponente zwischen dem Benutzer 102 und der Hardware 104 gelegen. Die Software stellt jede der allgemein bei 106 dargestellten Funktionen bereit.
Die Softwarekomponente 100 wurde hier als eine Zusammenfassung mehrerer Schichten veranschaulicht. Bei der niedrigsten Schicht, die am nächsten zu der Hardware 104 angeordnet ist, befindet sich die Hardware-Abstraktionsschicht 108. Diese Schicht sieht die Verbindung zu der eigentlichen Hardware 104 vor. Die Hardware-Abstraktionsschicht handhabt hardwarebezogene Angelegenheiten, wie zum Beispiel Implementieren von Zeitgebern, Einstellen von Fernsehtunern, Unterstützen von Video- und Grafikadapterhardware, Vorsehen von Sicherheitsfunktionen und Betreiben von Peripheriegeräten. Die Hardwareabstraktionsschicht würde zum Beispiel die notwendigen Gerätetreiber für die Tafel-Schnittstelle 80 umfassen.
Eine Schicht oberhalb der Hardware-Abstraktionsschicht befindet sich die Mikrokern-Schicht 110. Die Mikrokern-Schicht dient als Echtzeitbetriebssystem für die Videobenutzerumgebung. Das Echtzeitbetriebssystem wendet Treiber und Bibliotheken an, die in Schicht 112 veranschaulicht sind, um die Eingabe höheren Niveaus, Video- und Netzverwaltungsfunktionen zu erzeugen. Die Benutzer-Schnittstellenschicht 114 wird von den darunter liegenden Schichten 108, 110 und 112 unterstützt. Anwendungen wie zum Beispiel elektronische Programmführer, Videospiele und Multiuser-Spiele laufen innerhalb der Benutzer-Schnittstellenschicht 114. Eine exemplarische Anwendung ist bei 116 veranschaulicht.
BEVORZUGTE VIDEOBENUTZER-SCHNITTSTELLE
Die bevorzugte Videobenutzer-Schnittstelle, die durch eine Benutzer-Schnittstellenschicht 114 erzeugt ist, ist in 7–14 gezeigt.
Bezug nehmend auf 7 zeigt die bevorzugte Videobenutzer-Schnittstelle vorzugsweise bei einer vorbestimmten Stelle eine Befehlsleiste 32, wie zum Beispiel am unteren Rand des Bildschirms. Die Befehlsleiste ermöglicht einen Zugriff auf verschiedene Funktionen; die bevorzugte Befehlsleiste sieht acht Tasten zum Zugreifen auf diese Funktionen vor, deren Namen auf den Tasten erscheinen. Normalerweise gibt es keine Angabe, dass die Videobenutzerumgebung auf einer besonderen Videoanzeigevorrichtung oder einem Fernseher läuft. Während eines normalen Sichtbetriebs füllt das Videobild den gesamten Bildschirm und die Befehlsleiste 32 ist nicht vorhanden. Wenn der Benutzer einen Zugriff auf eine Funktionalität der Videobenutzerumgebung wünscht, fordert der Benutzer die Befehlsleiste 32 durch einmaliges Tippen des Stifts irgendwo auf der Digitalisiertafel oder durch Drücken einer Taste auf der Fernsteuereinheit 24 an, um die Befehlsleiste 32 auf dem Bildschirm erscheinen zu lassen. Ein weiteres Tippen des Stifts oder Drücken der Taste lässt die Befehlsleiste verschwinden.
Jeder kann zu einem Fernseher laufen, der mit der vorliegenden Erfindung ausgerüstet ist, und kann sofort beginnen, sie zu nutzen. Jedoch rührt ein Großteil der Leistung der Videobenutzerumgebung aus der Fähigkeit, persönliche Anmerkungen zu erzeugen. Ein Benutzer könnte zum Beispiel ein kurzes beschreibendes Piktogramm zeichnen, um einen Lieblingskanal zu kennzeichnen.
Bevor solche personifizierten Daten zugänglich gemacht werden können, muss der Benutzer sich selbst gegenüber dem System identifizieren. Dies wird durch Auswählen der „Eintragen"-Taste auf der Befehlsleiste durch einmaliges darauf tippen erzielt. Dies lässt ein Feld erscheinen, das in 8 gezeigt ist und mittels dem sich der Benutzer eintragen bzw. -schreiben kann. Das Feld weist eine Benutzerliste 120 auf, in der zwei Informationstypen angezeigt werden: eine Textkette 122 und ein zugeordneter Tintenbereich 124. Die Identität jedes Benutzers wird durch die Textkette und ihren zugeordneten Tintenbereich symbolisiert. Wie veranschaulicht, müsste der Tintenbereich nicht notwendigerweise den Text duplizieren. In 8 identifiziert die Textkette JZ den Benutzer, der seinen Namen als „Sophie" in den Tintenbereich geschrieben hat. Der Tintenbereich ist vollständig unbeschränkt: er kann ein Bild, Gekritzel, eine Unterschrift, ein in einer beliebigen Sprache geschriebenes Wort usw. sein. Es gibt eine explizite Verbindung zwischen dem Tintenbereich und der Textkette, so dass das verbundene Paar sowohl von dem System als auch durch den Benutzer als ein einzelnes Individuum identifizierend verstanden wird. Das Verbinden des Tintenbereichs und der Textkette bildet eine Datenstruktur, die oft als ein Tupel bezeichnet wird. Das gleiche Paradigma führt eine Anzahl der Videobenutzerumgebungs-Anwendungen durch, die erläutert werden.
Sobald sich das Eintragungs-Feld auf dem Bildschirm befindet, könnte der Benutzer eine ID durch Darauftippen auswählen. Ein Antippen der „Mach es!"-Taste beendet die Aktion, wobei der Benutzer als die angegebene ID eingeloggt wird. Alternativ könnte der Benutzer eine spezifische ID unter Verwendung eines Suchmerkmals der Erfindung suchen, das nachfolgend erläutert wird. Das Suchmerkmal verwendet eine ungefähre Tintenübereinstimmungstechnik („approximate ink matching technique"), so dass sich der Benutzer nicht jedes Mal auf exakt die gleiche Weise eintragen muss. Das System ist flexibel genug, sich normalen handgeschriebenen Abweichungen anzupassen.
Das Eintragungs-Feld bietet auch die Möglichkeit eines Hinzufügens, Löschens oder Editierens einer Benutzer-ID an. Diese Operationen sind modal, was bedeutet, dass sie auf eine spezifische ID-Instanz zutreffen. Somit ist die „Editier"-Taste nur aktiv, wenn eine ID ausgewählt ist.
Das System kann die ungefähre Tintenübereinstimmungssuche an einer handgezeichneten Anmerkung durchführen, die von einem Benutzer eingegeben ist. Durch Antippen der Such-Taste 126 wird eine Such-Dialogbox 128 präsentiert, wie es in 9 veranschaulicht ist. Der Benutzer gibt einen handgezeichneten Eintrag oder eine Anmerkung in den Tintenbereich 130 ein, und dieser Eintrag wird mit den Tintendaten verglichen, die zuvor als User-IDs gespeichert sind. Das ungefähre Tintenübereinstimmungssystem der Erfindung identifiziert die beste Übereinstimmung und markiert sie in der Benutzerliste 120, wie gezeigt. Falls der Benutzer bestimmt, dass der markierte Eintrag nicht korrekt ist, könnte der Benutzer zur nächstbesten Übereinstimmung durch erneutes Tippen der „Finden"-Taste 132 fortfahren. Der Vorgang kann wiederholt werden, bis die gewünschte ID gefunden ist.
Als alternative Suchtechnik kann der Benutzer die ID basierend auf dem Eintrag in dem Textkettenbereich 122 suchen. Dies wird durch Antippen der gewünschten Textkette unter Verwendung einer weichen Tastatur durchgeführt, die durch Tippen auf das Tastatur-Icon 134 aufgerufen wird. Das Tastatur-Icon erscheint vorzugsweise als eine Standard-QWERTY-Tastatur, die ähnlich einer herkömmlichen Tastatur ist, wie sie bei einem Personalcomputer vorgefunden wird. Wenn die Tastatur verwendet wird, um eine Kette einzugeben, findet das System eine exakte Übereinstimmung in der Liste der IDs durch Suchen nach der Zeichenkette, die von dem Benutzer eingegeben ist. Wie die Tintensuche kann die Textübereinstimmungssuche ebenfalls eine ungefähre sein. Falls der Benutzer die Abfrage „ddl" eingibt, würde die Textkette „dpl" als bessere Übereinstimmung angesehen werden, als die Textkette „jeff".
Nachdem sich der Benutzer mit dem Benutzerlistenbildschirm eingetragen hat, wird ein kurz angezeigter Bestätigungsbildschirm projiziert, der die Text- und Tintendaten zeigt, die die ID repräsentieren, mit der sich der Benutzer eingetragen hat. Falls gewünscht, könnte zusätzlich auch die Tageszeit vorübergehend angezeigt werden. Nachdem der Bestätigungsbildschirm für eine geeignete Zeitdauer angezeigt wurde (z. B. fünf Sekunden), verschwindet er, wobei lediglich der aktuelle Videobildschirm sichtbar zurückbleibt. Für den Fall, dass der Benutzer wählt, sich nicht einzutragen, nimmt das System durch Voreinstellung an, dass die zuletzt eingetragene Benutzer-ID anwendbar ist.
Die Videobenutzerumgebung der Erfindung ermöglicht ein volles Komplement einer normalen Fernsehsteuerung, wie zum Beispiel Lautstärke, Balance, Helligkeit, Farbe usw. Zusätzlich ist eine Onscreen-Tastatur zum Ändern von Kanälen durch direkte Eingabe der numerischen Kanalnummer oder durch hoch- und runter-„Surfen" der Tastatur durch Anklicken geeigneter Hoch- und Runter-Tasten möglich. Die normalen Fernsehsteuerungen werden durch Antippen der TV-Taste 136 auf der Befehlsleiste 32 präsentiert.
Die vorliegende bevorzugte Implementierung verwendet die traditionellen Fernbedienungs-Drucktasten weiterhin, um normale Fernsehsteuerfunktionen durchzuführen, wie zum Beispiel die oben aufgezählten. Für eine Kontinuität und maximale Flexibili tät werden diese gleichen Funktionen durch die Videobenutzer-Schnittstelle auf dem Bildschirm dupliziert.
Obwohl die Videobenutzer-Schnittstelle die gleiche Fähigkeit wie die traditionelle Fernbedienung vorsieht, nämlich normale Fernsehsteuerfunktionen zu steuern, geht die Videobenutzer-Schnittstelle der Erfindung viel weiter als die traditionelle Fernbedienung. Die Erfindung ermöglicht komplizierte Werkzeuge, um dem Benutzer zu helfen, seine oder ihre Videoprogrammierung zu verwalten. 10 zeigt das Fernsehsteuer-Feld 138, das angezeigt wird, wenn die TV-Steuertaste 136 angetippt wird. Die numerische Tastatur 140 wird verwendet, um direkt Fernsehkanäle einzugeben, und die Hoch- und Runter-Tasten 142 surfen aufeinanderfolgend durch die Kanäle in Vorwärts- und Rückwärtsrichtungen. Durch Antippen der Kanalliste-Taste 144 wird eine skrollbare Liste von Kanälen mit handgeschriebenen Anmerkungen aufgerufen, wie in 11 veranschaulicht. Wie bei dem Eintragungs-Feld ist es dem Benutzer möglich, ein Item manuell auszusuchen oder nach einem Item unter Verwendung der ungefähren Tinten- oder Textübereinstimmungs-Techniken zu suchen. In diesem Fall beschränkt das numerische Tastaturfeld 140 (auf das durch Antippen auf die geeigneten Nummer-Icons zugegriffen wird) den Benutzer auf eine numerische Eingabe (d. h. TV-Kanäle). Antippen der „Zeitplan"-Taste 146 zeigt einen herkömmlichen Fernsehzeitplan, der in 12 veranschaulicht ist. Die bevorzugte Implementierung porträtiert den TV-Zeitplan in Form einer traditionellen auf Papier basierenden Fernsehzeitschrift. Dies hat jedoch den eindeutigen Vorteil, zu wissen, wie viel Uhr es ist. So markiert der TV-Zeitplan-Bildschirm (12) Programme, die aktuell laufen, um den Benutzer beim Auswählen zu unterstützen. Somit ist der TV-Zeitplan der 12 ein aktiver Zeitplan, der fähig ist, zu markieren, was aktuelle Programme sind, wobei die Anzeige in Echtzeit aktualisiert wird. In 12 sind die aktiven Programme mit gepunkteten Linien bei 148 gezeichnet, um die Markierung anzugeben. Die vorliegende Erfindung führt das Konzept eines aktiven Planens jedoch einen Schritt weiter. Jedes Programm in der Anzeige ist mit einem vordefinierten Icon markiert, das sein Genre angibt. So können Nachrichten, Sport, Dramen, Comedy, Kinder und Verschiedenes bezeichnet werden. Der Benutzer könnte den TV-Zeitplan beschränken, um lediglich solche Programme bestimmter Genren durch Anklicken der „Alle Löschen"-Taste 150 und durch anschließendes Aktivieren einer oder mehrerer der Überprüfungskästen in der Kategoriepalette 152 anzeigen. In dem in 13 gezeigten Beispiel hat der Benutzer gewählt, die Anzeige der Programme auf die Kategorien Sport, Comedy und Kinder zu beschränken. Dieses Merkmal macht es für den Benutzer in der Videobenutzerumgebung viel einfacher, zu identifizieren, welche Programme er oder sie zu sehen wünscht.
Schließlich ermöglicht es der TV-Zeitplan dem Benutzer, den Fernseher zu programmieren, um Kanäle zu spezifischen Zeiten automatisch zu wechseln. Somit verpasst der Benutzer keine wichtige Show. Ungleich einem Programmieren gängiger VCRs, was kompliziert und frustrierend sein kann, wird ein Programmieren in der Videobenutzerumgebung auf eine höchst intuitive Weise gehandhabt. Der Benutzer tippt einfach auf eine in dem Zeitplan angezeigte Show (wie zum Beispiel „Weltserie" in 13), wodurch sie markiert wird. Die Videobenutzerumgebung schaltet dann zu der geeigneten Zeit auf den geeigneten Kanal (in diesem Fall Kanal 2) um. Wie bei allen Videobenutzerumgebungs-Anwendungen ist der Schlüssel eine Leichtigkeit der Nutzung.
Im Vorhergehenden wurde beschrieben, wie die Videobenutzerumgebung verwendet werden könnte, um einen Fernseher zu steuern und auf ihn zuzugreifen. Eine ähnliche Fähigkeit wird für andere Audio- und Videokomponenten bereitgestellt, wie zum Beispiel für den VCR. 14 stellt das VCR-Steuerfeld 154 dar, das angezeigt wird, wenn die VCR-Taste 156 angetippt wird. Das VCR-Steuerfeld ermöglicht das traditionelle Abspielen, Stoppen, Pausieren, rückwärts und schnell vorwärts Spulen. Zusätzlich kann, sollte das VCR-Gerät zu einer solchen Funktionalität fähig sein, das VCR-Band vorwärts oder rückwärts auf einer bildweisen Basis indiziert werden. Ähnliche Fähigkeiten werden bereitgestellt, um zum Beispiel Laserplatten-Spieler zu steuern.
Wie am besten in 14 veranschaulicht, ruft ein Antippen der „Programm"-Taste 158 eine Anzeige auf, die visuell identisch zu der TV-Zeitplananzeige der 12 ist. Jedoch werden der TV-Zeitplan und der VCR-Zeitplan als separate Datenstrukturen gehalten, so dass der Benutzer den Fernseher und den VCR unabhängig programmieren könnte. Ein Verwenden der gleichen visuellen Anzeigen für verschiedene, aber vergleichbare Funktionen ist ein Weg, wie die vorliegende bevorzugte Implementierung es schafft, das System leichter zu verwenden. Ein Wiederverwenden der gleichen Icons und Werkzeuge (einschließlich der gleichen Fenster-Layouts, -orte und -funktion der Tasten) beschleunigt den Lernvorgang, da der Benutzer lediglich Erfahrungen mit einer Instanz der Werkzeuge haben muss, um zu wissen, wie sie in ihrer anderen Einstellung zu verwenden sind. Dies macht die Videobenutzerumgebungs-Anwendung kleiner, da sich mehrere Funktionen Code teilen können.
Ein Antippen der „Bibliothek"-Taste 160 (14) lässt noch eine weitere Betrachtersoftware („browser") erscheinen, die Text- und Tintenanmerkungen paarweise anzeigt. Ähnlich dem Aussehen der Kanalliste der 11 zeigt die Videobibliothek Einträge an, die spezifischen Videoprogrammen entsprechen, die ein Benutzer nach Belieben ansehen kann. Somit kann die Videobibliothek als Schnittstelle zu einem System mit einem Videoabrufdienst oder zu Aufnahmen der eigenen persönlichen Sammlung des Benutzers dienen. Der Benutzer könnte zum Beispiel „Nachtnachrichten" in die Videobibliothek eingeben, womit er es in eine bestimmte Videoabrufdienst-Wahl eingibt. Alternativ könnte der Benutzer ein denkwürdiges Sportereignis aufrufen, wie zum Beispiel „Bob's beliebtestes Yankee-Spiel". Somit könnte der Benutzer später die Einträge in der Videobibliothek durchsuchen und ein archiviertes Ereignis wählen, indem er es antippt. Dies würde wiederum das System für Videoabrufdienste dazu veranlassen, mit einer Lieferung der Nachrichten oder eines anderen Unterhaltungsprogramms an den Benutzer zu beginnen. Da Systeme für Videoabrufdienste immer komplizierter werden, kann diese Fähigkeit sehr wertvoll sein. Der Benutzer könnte zum Beispiel wünschen, die Videobibliothek zu benutzen, um nächtliche Nachrichtenprogramme der Woche erneut anzuschauen, in der er oder sie in Urlaub war und nicht in der Lage war, die Nachrichten zu sehen. Oder der Benutzer könnte wünschen, diese Videobibliothek zu benutzen, um vergangene Sportereignisse von dem System für Videoabrufdienste aufzurufen.
Ein Antippen der „Play"-Taste 162 (14) lässt ein Fenster (15) erscheinen, das eine schnelle und einfache Schnittstelle für einen Benutzer (selbst für ein Kind) vorsieht, um auf eine Vielfalt von Online-Spielen zuzugreifen.
Einige dieser Spiele könnten weitere Spieler in einem Netzwerk einschließen. Die vorliegende bevorzugte Ausführungsform der Videobenutzerumgebung implementiert nicht direkt jedes dieser Spiele, da daran gedacht wird, dass solche Spiele von kommerziellen Softwareentwicklern geliefert würden. Die bevorzugte Schnittstelle für interaktive Spiele zeigt einfach eine Vielzahl von Icons an, um jedes der auf dem System des Benutzers verfügbaren Spiele zu repräsentieren.
Ein Antippen der „Shopping"-Taste 164 lässt eine Anzeige von Teleshopping-Optionen (16) erscheinen. Vorzugsweise wird jede Option als separates Icon angezeigt, das der Benutzer antippen könnte, um auf diese Shopping-Dienste zuzugreifen. Falls gewünscht, könnte die Einkaufstaste eine Website im Internet aufrufen, die als Ausgangspunkt verwendet werden könnte, um Hypertext-Links zu anderen Einkaufsorten zu liefern.
Ein Antippen der „I-Mail"-Taste 166 („ink-mail") sieht für den Benutzer ein elektronisches Mail-Kommunikationssystem vor. Im Gegensatz zu herkömmlichen E-Mail-Systemen, die auf tastatureingegebenen Text vertrauen, ermöglicht es die Videobenutzerumgebung dem Benutzer, handgezeichnete oder handgeschriebene Nachrichten zu senden. Die I-Mail-Schnittstelle (17) sieht vorzugsweise einen Notizblock-Bereich vor, in den der Benutzer handgeschriebene Nachrichten schreiben kann, die anschließend über das Internet oder ein anderes geeignetes Kommunikationsnetzwerk zu einem Empfänger gesendet werden könnten. Diese handgeschriebenen Nachrichten ermöglichen eine persönliche Korrespondenz und lassen besser auf sich zugreifen, als eine getippte elektronische Mail. Zusätzlich ist ein Schreiben mit einem Stift leistungkräftiger. Ein Benutzer kann zum Bei spiel anfangen, eine Textnachricht einer E-Mail zu schreiben, und dann auf ein Zeichnen einer Karte umschalten, ohne Werkzeuge zu wechseln, wie es bei aktuellen elektronischen Mailsystemen erforderlich ist, die auf einer Tastatur bzw. Maus basieren.
Wie oben erläutert, greift die Videobenutzerumgebung auf eine Systemuhr zu, wodurch der TV-Zeitplan und der VCR-Zeitplan aktiviert werden. Die Uhrtaste 168 (14) könnte angetippt werden, um einen Bildschirm aufzurufen, in dem der Benutzer das korrekte Datum und die korrekte Tageszeit des Systems einstellen kann.
BEVORZUGTE TINTENSUCH- UND RECHERCHETECHNOLOGIE
Die bevorzugte Ausführungsform verwendet eine geeignete Übereinstimmungsprozedur, um mögliche handgezeichnete „Tinten"-Einträge zu identifizieren und zu ordnen, die von dem Benutzer unter Verwendung der Digitalisiertafel und des Stifts erzeugt sind. Die geeignete Übereinstimmungsprozedur ist eine unscharfe Suchprozedur („fuzzy search procedure"), die mögliche Unterketten-Übereinstimmungskandidaten basierend auf einer Treffer- und Rangordnungsdistanz („scoring and ranking distance") zwischen der Abfrage und dem Kandidaten identifiziert und ordnet. Die Prozedur erzeugt einen Treffer für jeden Kandidaten, wodurch es ermöglicht wird, die Kandidaten in Reihenfolge ihrer „Güte" („goodness") zu ordnen.
Ein Vorteil der ungefähren Übereinstimmungsprozedur ist, dass jeder Zeilenumbruch in dem benutzergezeichneten Eintrag oder der Abfrage keinen Einfluss auf die Tintensuche hat. Ge schriebene Zeilenumbrüche werden ignoriert, so dass der Benutzer sich nicht erinnern muss, wo die Zeilenumbrüche in dem Originaleintrag aufgetreten sein könnten.
Die unscharfe Suchtechnik der bevorzugten Ausführungsform verwendet eine vektor-quantisierte („vector quantized") (VQ-)Repräsentation des benutzergezeichneten Eintrags, um Stiftstriche des Tintendatentyps einzufangen und zu vergleichen. Der Tintendatentyp ist ein systemdefinierter Datentyp, der die präzise (X/Y)-Position der Stiftspitze über die Zeit einfängt, wenn der Benutzer eine Anmerkung oder einen Eintrag schreibt oder zeichnet. Somit fängt der Tintendatentyp nicht nur die räumliche Position der Tinte ein, sondern auch die zeitliche Sequenz, über die die Tinte „angewendet" wird, wenn der Benutzer den Eintrag auf die Digitalisierschreiboberfläche zeichnet. 18 gibt einen Überblick über die Art und Weise, in der eine Stiftstrichklassifizierung unter Verwendung einer Vektorquantisierung durchgeführt wird. Der Tintendatentyp speichert die Bewegung der Stiftspitze über die Oberfläche der Digitalisiertafel als eine Kette von (X/Y)-Tintenpunkten. Die individuellen (X/Y)-Tintenpunkte werden nacheinander eingefangen, wodurch die zeitliche oder zeitbasierte Komponente der Daten erhalten wird. Somit könnte der Tintendatentyp als (X/Y/T)-Vektoren umfassend angesehen werden.
Wie in 18 veranschaulicht, werden hereinkommende Tintendaten 200 wie bei 202 in Striche getrennt. Ein Segmentieren der Tintendaten in Striche ermöglicht es, jeden Strich getrennt zu analysieren. Im Wege der Veranschaulichung zeigt 18, dass das Pluszeichen (+) in den hereinkommenden Daten 200 von dem Benutzer gezeichnet wurde, wobei zuerst ein hori zontaler Strich und anschließend ein vertikaler Strich gebildet wurde. Dies ist bei 202 durch Lesen der segmentierten Daten bei 202 von links nach rechts veranschaulicht.
Nach einer Strichsegmentierung werden die individuellen Striche anschließend analysiert, um Kennzeichenvektoren zu extrahieren. Dies ist diagrammhaft bei 204 gezeigt. In 18 sind die extrahierten Kennzeichenvektoren grafisch dargestellt, um die Darstellung zu vereinfachen. Bei der eigentlichen Ausführungsform werden die extrahierten Kennzeichenvektoren als numerische Daten repräsentiert, die in dem Computer gespeichert sind. Wie bei 206 angegeben, wird jeder extrahierte Kennzeichenvektor gemäß einem vorbestimmten Codebuch 210 klassifiziert. Die vorliegende bevorzugte Ausführungsform speichert 64 Cluster von Strichtypen, wobei jedes Cluster durch seinen Schwerpunkt oder gemittelten Strich dieses Typs repräsentiert wird. Wie in dem Fall der extrahierten Kennzeichenvektoren (Block 204) werden Kennzeichenvektor-Cluster als numerische Computerdaten gespeichert. In 18 werden die ein Codebuch 210 umfassenden Daten grafisch gezeigt (anstatt numerisch), um die Darstellung zu vereinfachen. Festzustellen ist, dass das horizontale Strichsegment des Blocks 206 am nächsten mit dem Schwerpunkt 212 des Typ-2-Strichclusters 214 übereinstimmt. Somit wird in der Ausgabekette (Block 216) der VQ-Code 2 verwendet, um die horizontale Linie in Block 206 zu repräsentieren. Im Block 216 entspricht die am weitesten links gelegene Ziffer 2 den am weitesten links gelegenen horizontalen Linienstrich. Der restliche Code repräsentiert die restlichen Tintenstriche, die die original hereinkommenden Tintendaten aufweisen.
Mit der oben beschriebenen Prozedur werden die hereinkommenden Tintendaten, und zwar Stiftstrich um Stiftstrich, in einen Kennzeichenvektor konvertiert, der jedem individuellen Stiftstrich entspricht. Der Satz aus Kennzeichenvektoren, der kollektiv eine Reihe von Stiftstrichen repräsentiert, wird in der Computerdatenbank als die benutzergezeichnete Anmerkung gespeichert. Dies ist bei 218 dargestellt.
Zur weiteren Veranschaulichung ist in 19 ein Software-Blockdiagramm der vorliegenden bevorzugten Ausführungsform gezeigt. Das Anmerkungssystem arbeitet mit digitalisierten Stiftstrich-Daten, die ultimativ als „Tinten"-Datentyp repräsentiert werden. Wie veranschaulicht werden wird, ist es nicht notwendig, den Tintendatentyp in einen ASCII-Zeichen-Datentyp umzuwandeln, um die Such- und Rechercheprozeduren durchzuführen. Tatsächlich würde im Falle von grafischen (keinen Text darstellenden) Anmerkungen eine Umwandlung in ASCII keine Bedeutung haben. Somit liegt ein bedeutender Vorteil darin, dass das Anmerkungssystem auf eine Weise arbeitet, die es den „Tinten"-daten ermöglicht, sprachunabhängig zu sein.
Wie in 19 veranschaulicht, wird eine benutzergezeichnete Abfrage 300 als eine Kette aus (X/Y)-Tintenpunkten eingefangen, entsprechend der Bewegung der Stiftspitze über die Oberfläche der Digitalisiertafel oder -pads, wenn der Benutzer eine Abfrage 300 zeichnet. Die vorliegende bevorzugte Ausführungsform digitalisiert diese Information durch Abtasten („sampling") der Ausgabe des Digitalisierpads mit einer vorbestimmten Abtastrate. Obwohl vorliegend eine feste Abtastrate bevorzugt ist, kann die Erfindung genauso gut unter Verwendung einer variablen Abtastrate implementiert sein. Aufgrund des digitalisierten Einfangens der (X/Y)-Positionsdaten werden sowohl räumliche als auch zeitliche Komponenten der benutzergeschriebenen Stiftstriche eingefangen. Die zeitliche Komponente könnte eine implizite Information sein – die Ordnung abgetasteter Punkte relativ zueinander transportiert eine zeitliche Information. Alternativ könnte die zeitliche Komponente explizit sein – die exakte Zeit, bei der jeder Punkt abgetastet wurde, wird von einer externen Uhr bzw. einem internen Takt eingefangen.
Bei der vorliegenden bevorzugten Ausführungsform wird unter Anwendung einer festen Abtastrate jeder (X/Y)-Datenpunkt mit einer anderen Abtastzeit verknüpft. Da die Abtastrate fest ist, ist es nicht notwendig, die Abtastzeit zu speichern, um die zeitlichen Daten zu speichern, die mit dem Stiftstrich verknüpft sind. Ein einfaches Aufzeichnen der (X/Y)-Positionsdaten als Sequenz speichert automatisch die zeitlichen Daten, da man von jedem Punkt in der Sequenz weiß, dass er bei der nächsten nachfolgenden Abtastzeit erscheint.
Bei der Alternative werden (X, Y, T)-Daten eingefangen und gespeichert, falls ein System mit variabler Abtastrate implementiert ist. Diese Daten sind die (X, Y)-Tintenpunkte und die entsprechende Zeit T, bei der jeder Tintenpunkt eingefangen ist.
Die rohen Tintenpunktdaten werden in einem Datenspeicher 302 gespeichert. Als nächstes wird ein Segmentierungsvorgang 304 an den gespeicherten Tintenpunktdaten 302 durchgeführt. Der vorliegende bevorzugte Sementierungsvorgang durchsucht die Tintenpunktdaten 302 nach Y-Minima. Das bedeutet, der Segmen tierungsvorgang 304 erfasst die lokalen Punkte, bei denen sich der Y-Koordinatenwert bei einem lokalen Minimum befindet. Beim Schreiben des Buchstabens „V" per Hand in Form eines einzelnen kontinuierlichen Strichs, würde der niedrigste Punkt des Buchstabens „V" einen Y-Minimum-Wert repräsentieren.
Eine Segmentierung wird durchgeführt, um die rohen Tintenpunktdaten in besser verwaltbare Teilmengen zu unterteilen. Eine Segmentierung ist auch wichtig zum Minimieren der Änderung der Art und Weise, in der der Benutzer Ligaturen erzeugt; die Verbindung von Buchstaben oder selbst Worten. Diese Segmentteilmengen könnten unter Verwendung geeigneter Zeiger bezeichnet sein, um die Speicherstellen anzugeben, bei denen die Y-Minima auftreten. In diesem Fall könnten diese Segmentierungszeiger bei 306 gespeichert werden, um mit den zuvor gespeicherten Tintenpunktdaten 302 verknüpft zu werden. Bei der Alternative könnten die segmentierten Daten getrennt in einem oder mehreren Speicherpuffern gespeichert werden, anstatt Zeiger zu verwenden.
Wenn die Rohdaten erst einmal segmentiert sind, werden die individuellen Segmente oder Stiftstriche mit einem Satz von Extrahierungsfunktionen 308 weiterbearbeitet. Die vorliegende bevorzugte Ausführungsform bearbeitet die Stiftstrich(Segment-)Daten unter Verwendung von 13 verschiedenen Extrahierungsfunktionen. Diese Extrahierungsfunktionen extrahieren jeweils ein anderes Merkmal bzw. Kennzeichen der Stiftstrichdaten, die anschließend verwendet werden, um einen Kennzeichenvektor zu konstruieren. Tabelle I listet die vorliegenden bevorzugten Kennzeichen auf, die durch die Extrahierungsfunktionen 308 extrahiert werden. Für weitere Hintergrundinformationen bezüglich dieser Extrahierungsfunktionen vergleiche Rubine, Dean, „Specifying Gestures by Example", Computer Graphics, Vol. 25, Nr. 4, Juli 1991. Die Kennzeichenvektoren eines gegebenen Strichs sind diagrammhaft in 19 bei 310 repräsentiert.
Tabelle I
Sei Δx_P = x_P+1 – x_P und Δy_P = y_P+1 – y_P und Δt_P = t_P+1 – t_P
f13 = tP–1 – t0 wobei P die gesamte Punktanzahl repräsentiert.
Die extrahierten Kennzeichenvektoren, die bei 310 repräsentiert sind, werden dann durch einen Vergleich mit einem vorbestimmten Clustersatz von Strichdatentypen kodiert oder quantisiert. Die Kennzeichenvektordaten 310 werden durch einen Vektorquantisierungsvorgang 312 quantisiert, um jedem Cluster den nächsten vorbestimmten Strichtyp zuzuordnen. In dieser Hinsicht definiert die vorliegende bevorzugte Ausführungsform 64 verschiedene Strichtypen, die jeweils durch einen anderen Namen oder eine andere Nummer repräsentiert werden. Obwohl das vorliegende bevorzugte System 64 verschiedene Strichtypen verwendet, können die Prinzipien der Erfindung mit einer größeren oder kleineren Anzahl von Strichtypen angewendet werden.
Die vorbestimmten Strichtypen erhält man während einer Trainingsprozedur 313. Die Trainingsprozedur könnte verwendet werden, um ein Vektorquantisierungs-(VQ-)Codebuch 314 vorzube stimmen, das dann für mehrere Benutzer verwendet wird. Bei vielen kommerziellen Implementierungen ist es wünschenswert, das System in der Fabrik zu trainieren, wobei ein Satz benutzerunabhängiger Trainingsdaten verwendet wird. Alternativ kann vor einer Benutzung die Trainingsprozedur von einem individuellen Benutzer verwendet werden. Beide Anwendungen arbeiten gut. In jedem Fall ist das System dennoch benutzerabhängig, da es eine große Vielzahl von Abweichungen hinsichtlich der Weise geben kann, wie zwei verschiedene Personen, die gleiche Anmerkung schreiben. Somit ist die bevorzugte Ausführungsform bestens geeignet, eigene Anmerkungen von jemandem zu suchen.
Es wird zugestimmt werden, dass der Benutzer meistens die gleiche Anmerkung nicht präzise auf die gleiche Art und Weise und jederzeit gleich schreiben wird. Dies bedeutet, dass die (X, Y, T)-Koordinaten und zeitliche Eigenschaften einer gegebenen Anmerkung ein wenig variieren könnten, jedes Mal wenn der Benutzer diese Anmerkung zeichnet. Das vorliegende bevorzugte System passt diese Abweichung zuerst auf die Weise an, auf die die Vektorquantisierung durchgeführt ist. Insbesondere ordnet der Vektorquantisierungsvorgang 312 jedem Eingangsstrich den vorbestimmten Vektor 315 aus den benutzerabhängigen Strichtypen 314 zu, der die beste Übereinstimmung repräsentiert.
Nachdem jeder der Striche, die die Abfrage repräsentieren, auf diese Weise verarbeitet wurde, wird ein Vergleich zwischen diesen Strichen und den benutzergezeichneten Anmerkungen gezogen, die zusammen mit den Dokumenten in der Datenbank 320 gespeichert wurden. Somit könnte zum Beispiel die Abfrage „wichtig" mit der gespeicherten Anmerkung „dies ist sehr wichtig!" verglichen werden. Es wird eine Editierabstandsanalyse durchgeführt, um diesen Vergleich zu ziehen.
Als Editierabstandsanalysevorgang 318 wird gezeigt, dass die Strichtyp-Abfragekette mit jeder der gespeicherten Strichtyp-Anmerkungsketten 321 der Datenbank 320 verglichen wird. Die Editierabstandsanalyse vergleicht jeden Strichtyp-Wert in der Abfragekette mit jedem Strichtyp-Wert in jeder der Anmerkungsketten. Eine Editierabstandsberechnung wird durch diesen Vergleich durchgeführt, wobei die „Kosten" bzw. „Kostenwerte" („costs") eines Transformierens (oder Editierens) einer Kette in die andere geliefert wird. Die individuellen Ketten/Ketten-Vergleiche werden dann gemäß Kostenwerten geordnet, wobei das letzte Kostenergebnis zuerst präsentiert wird. Auf diese Weise wird eine geordnete Liste, die alle oder die n-besten Übereinstimmungen aufweist, in den Thumbnail-Skizzen des Hauptbrowser-Bildschirms angezeigt. Anstatt eine geordnete Liste zu zeigen, könnte dem Benutzer alternativ die beste Übereinstimmung auf dem Hauptbrowser-Bildschirm gezeigt werden. Falls der Benutzer bestimmt, dass diese Übereinstimmung nicht korrekt ist, könnte der Benutzer die „Nächste"-Taste (nicht gezeigt) antippen, um die nächstbeste Übereinstimmung zu sehen.
20 zeigt die grundlegende Editierabstandstechnik. In diesem Fall wird die gespeicherte Anmerkung „compress" mit der Abfragekette „compass" verglichen. Es ist klar, dass 20 den Vergleich von zwei Ketten als einen Vergleich individueller Buchstaben in zwei unterschiedlich geschriebenen Worten darstellt. Diese Darstellung ist primär gedacht, ein Verständnis der Editierabstands-Berechnungstechnik zu erleichtern und nicht notwendigerweise als eine Darstellung dessen, wie zwei Strich typenketten eigentlich aussehen könnten. In dieser Hinsicht könnte jeder der 64 verschiedenen Strichtypen verschiedenen numerischen Kennzeichnungen beliebig zugeordnet werden. Somit würde die Editierabstandsberechnung die jeweilige numerische Kennzeichnung der gespeicherten Anmerkung direkt mit der Eingangsabfrage vergleichen. Deshalb müssen die individuellen Ketten nicht in ASCII-Zeichen konvertiert werden, und 20 ist nicht dazu gedacht, zu implizieren, dass eine solche Konvertierung notwendig ist.
Bezug nehmend auf 20 werden jedes Mal, wenn der Anmerkungsketten-Strichwert mit dem Abfrageketten-Strichwert übereinstimmt, Kosten von Null zugeordnet. Somit werden in 20 Kosten von Null für den Vergleich der ersten vier Kettenwerte „comp" eingetragen. Um die Möglichkeit unterzubringen, dass ein Ketten/Ketten-Vergleich eine Einfügung, Löschung oder Ersetzung von Werten mit sich bringen könnte, werden jedes Mal Kostenwerte zugeordnet, wenn eine Einfügung, Löschung oder Substitution während der Vergleichssequenz durchgeführt werden muss. Im Beispiel der 20 erfordert die Abfragekette „compass" eine Einfügung eines zusätzlichen Wertes „r" nach dem Wert „p". Kosten in Höhe von Eins werden zugeordnet (wie bei dem Eintrag angegeben, der mit 422 bezeichnet ist). Fortfahrend mit dem Vergleich tritt eine Substitution zwischen dem Wert „e" der gespeicherten Anmerkungskette und dem Wert „a" der Abfragekette auf. Dies resultiert in einer zusätzlichen Kostenzuweisung in der Höhe von Eins, die zu der früheren Kostenzuweisung addiert wird, was in Gesamtkosten in der Höhe von Zwei resultiert, wie in 20 bei 424 repräsentiert. Abgesehen von diesen Einfügungs- und Substituierungsoperationen stimmt der Rest der Vergleiche Wert für Wert überein.
Somit betragen die End-„Kosten" beim Vergleichen der Anmerkungskette mit der Abfragekette Zwei, was in 20 bei 426 repräsentiert ist.
Bei der vorhergehenden Diskussion wurde ein erster minimaler Kostenweg beschrieben, bei dem „compass" zu „compress" durch Einfügen eines „r" und Substituieren eines „e" für ein „a" editiert ist. Eine alternative Editierung wäre es, ein „r" für ein „a" zu substituieren und ein „e" einzusetzen. Diese beiden Wege haben dieselben Kosten, nämlich Zwei.
21 gibt ein weiteres Beispiel der Editierabstands-Berechnungstechnik. Wie zuvor werden Ketten alphabetischer Zeichen zu Demonstrationszwecken verglichen. Wie zuvor festgestellt, wird dies zur Vereinfachung gemacht, um die Veranschaulichung zu vereinfachen, und sollte nicht so interpretiert werden, dass die ersten Ketten zuerst in alphanumerischen Text konvertiert werden müssen, bevor die Vergleiche durchgeführt werden. Die in den 20 und 21 veranschaulichten Prozeduren werden vielmehr anhand der jeweiligen Strichdaten (vektorquantisierte Symbole) der jeweiligen gespeicherten Anmerkungs- und Eingangsabfrageketten durchgeführt.
21 veranschaulicht insbesondere die Technik, die verwendet werden könnte, um eine ungefähre Übereinstimmung (Wort-Spotting) durchzuführen. In 21 wird die gespeicherte Anmerkung „This is compression" mit der Abfragekette „compass" verglichen. Man beachte, wie der übereinstimmende Bereich 430 aus der vollständigen Kette der gespeicherten Anmerkung durch Scannen der letzten Zeile der Tabelle extrahiert wird, um die Indizes zu finden, die den niedrigsten Wert repräsentieren.
Man beachte, dass die erste (initialisierende) Zeile in 21 vollständig aus Nullen besteht – dies ermöglicht es der ungefähren Übereinstimmungsprozedur, irgendwo entlang der Datenbankkette zu beginnen.
Die vorliegende bevorzugte Editierabstandsprozedur ist verbessert gegenüber herkömmlichen Prozeduren, die in der Literatur beschrieben sind. Zusätzlich zu den drei grundlegenden Editieroperationen (Löschen eines Buchstabens, Einfügen eines Buchstabens, Substituieren eines Buchstabens gegen einen anderen) ist es nützlich, zwei neue Operationen hinzuzufügen, wenn man Stiftstrichsequenzen vergleicht. Diese neuen Operationen sind „Teilen" („split") (ersetzen von zwei Strichen gegen einen Strich) und Zusammenfügen (substituieren eines Strichs gegen zwei Striche). Diese zusätzlichen Operationen lassen Fehler zu, die bei einer Strichsegmentierung gemacht werden, und führen im Allgemeinen zu genaueren Ergebnissen.
Die Verwendung unserer verbesserten Editierabstandsprozedur ist in 21 veranschaulicht. In 21 wird die Teilen-Operation verwendet, um die Buchstaben „re" in „compress" gegen den Buchstaben „a" in „compass" zu substituieren. Man beachte, dass sich der Zurückverfolgungspfeil in 21 über eine Zeile, aber zwei Spalten erstreckt, wodurch die Mehrfachzeichen-(Zusammenfügungs-)Substituierung angedeutet wird. Somit beträgt der Editierabstand in diesem Fall Eins und nicht Zwei. Im Wege eines Vergleichs veranschaulicht 20 den grundlegenden Editierabstandalgorithmus, ohne die zwei neuen Mehrfachzeichen-Operationen zu verwenden. Somit betragen die Kosten (wie in 20 veranschaulicht) eines Editierens vom „compass" zu „compress" Zwei.
Die oben beschriebene Prozedur arbeitet in den meisten benutzergezeichneten Anmerkungsanwendungen gut. Die kombinierte Verwendung von Vektorquantisierung und Editierabstandsberechnung ergibt ein System, das bemerkenswert robust hinsichtlich seiner Fähigkeit ist, übereinstimmende Ketten und Teilketten zu finden, selbst wenn sie nicht präzise auf die gleiche Art von dem Benutzer gezeichnet wurden. Obwohl die vorliegende bevorzugte Ausführungsform hier veranschaulicht wurde, ist eine Vielzahl von Änderungen möglich, ohne von der Erfindung abzuweichen. Falls zum Beispiel eine schnellere Übereinstimmung gewünscht wird, könnte das System eine „Erster-Durchgang"-Übereinstimmung durch einfaches Finden aller Striche initiieren, die eine ähnliche Anzahl von Datenpunkten aufweisen. Dies könnte getan werden, indem die Anzahl von Datenpunkten als Teil der Kennzeichendaten gespeichert wird und anschließend einfach solche Striche ausgewählt oder ausgeschlossen werden, die sich nicht innerhalb eines vorbestimmten Datenpunktzählers befinden. Dieser Typ einer Erster-Durchgang-Suche kann sehr schnell durchgeführt werden, da einfache numerische Übereinstimmungslogarithmen alles sind, was benötigt wird. Die Erster-Durchgang-Technik basierend auf einem Datenpunktzähler würde es jedoch nicht zulassen, übereinstimmende Teilketten zu extrahieren, wie es die Editierabstandsberechnung zulässt. Wo eine höhere Übereinstimmungsgenauigkeit gefordert ist, könnte eine rechnerisch kostspieligere Übereinstimmungstechnik, wie zum Beispiel eine Hidden-Markov-Modelltechnik als ein endgültiger Durchgang auf die n-besten Hypothesen angewendet werden, die durch die Editierabstandsberechnung bestimmt sind. Ein Hinzufügen einer höchst genauen, aber rechnerisch kostspieligen Verarbeitungsstufe zu der Endausgabe könnte in Systemen verwendet werden, in denen es notwendig ist, zwischen einer großen Anzahl höchst ähnlicher Ketten zu unterscheiden.
Zusammenfassend kann gesagt werden, dass ein System offenbart wird, in dem der Benutzer 102 über eine Digitalisierschreiboberfäche 26 mit der Audio/Video-Steuervorrichtung 20 kommuniziert. Eine Onscreen-Anzeige 32, 34 wird erzeugt, die dem Benutzer 102 eine Benutzerumgebung bereitstellt, in der ein weiter Bereich verschiedener Aufgaben und Funktionen durchgeführt werden kann. Die Digitalisierschreiboberfläche 26 kann in eine tragbare Fernsteuereinheit 24 integriert werden, und die Audio/Video-Steuervorrichtung 20 könnte ähnlich in ein existierendes Homeentertainment- oder Computergerät integriert werden. Durch Antippen der Schreiboberfläche 26 einer Befehlsleiste 32, die auf dem Bildschirm präsentiert ist, wird es dem Benutzer 102 ermöglicht, aus verschiedenen Funktionen zu wählen. In diesen Funktionen ist ein Onscreen-Programmiermerkmal 158, 148 enthalten, das es dem Benutzer ermöglicht, Programme zum Betrachten oder Aufnehmen durch Eingabe von benutzergezeichneten Anmerkungen oder Befehlen über die Schreiboberfläche 26 zu wählen.
Die vorhergehende Erläuterung offenbart und beschreibt exemplarische Ausführungsformen der vorliegenden Erfindung. Ein Fachmann wird aus dieser Diskussion und den beigefügten Zeichnungen und Ansprüchen leicht feststellen, dass verschiedene Änderungen, Modifikationen und Abweichungen durchgeführt werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den nachfolgenden Ansprüchen definiert ist.

Claims

Audio/Video-System mit einer verbesserten Videobenutzerumgebung, das aufweist: eine Audio/Video-Steuereinrichtung (20) zum wahlweisen Durchführen vorbestimmter Audio/Video-Steuerfunktionen (106) in Übereinstimmung mit einer Wahl eines Benutzers (102), wobei die Steuereinrichtung (20) einen Port (62) zum Koppeln an eine Videoanzeigeeinrichtung (64; 36; 22) zum Anzeigen von Videomaterial umfasst; eine Fernsteuereinrichtung (24) mit einer Digitalisierschreiboberfläche (26) zur Eingabe von handgezeichneten Anweisungen durch einen Benutzer (102), wobei die Fernsteuereinrichtung (24) mit der Audio/Video-Steuereinrichtung (20) kommuniziert; und einen Prozessor (72), der zumindest mit der Audio/Video-Steuereinrichtung (20) oder der Fernsteuereinrichtung (24) zum Steuern einer Operation der Videoanzeigeeinrichtung (64; 36; 22) gemäß den handgezeichneten Anweisungen kommuniziert, dadurch gekennzeichnet, dass der Prozessor (72) eine zugeordnete Datenbank (320) gespeicherter Anmerkungen aufweist, und der Prozessor (72) angeordnet ist, um die gespeicherten Anmerkungen mit den handgezeichneten Anweisungen zu vergleichen, indem eine Editierabstandsanalyse durchgeführt wird, um Fehlanpassungen zwischen den gespeicherten Anmerkungen und den handgezeichneten Anweisungen zu bewerten.
System gemäß Anspruch 1, dadurch gekennzeichnet, dass die Fernsteuereinrichtung (24) eine tragbare Drucktasten-Fernsteuerstruktur (54–58) aufweist, wobei die Digitalisierschreiboberfläche (26) in der Struktur (54–58) enthalten ist.
System gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Fernsteuereinrichtung (24) mit der Audio/Video-Steuereinrichtung (20) durch Infrarotsignale (30) kommuniziert.
System gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Fernsteuereinrichtung (24) bidirektional mit der Audio/Video-Steuereinrichtung (20) kommuniziert.
System gemäß einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Fernsteuereinrichtung (24) ein Mikrofon zur Eingabe von Sprachanweisungen umfasst.
System gemäß einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Digitalisierschreiboberfläche (26) auf einen tragbaren Stift (28) reagiert.
System gemäß einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Digitalisierschreiboberfläche (26) auf eine Fingerspitze des Benutzers reagiert.
System gemäß einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Audio/Video-Steuereinrichtung (20) zumindest einen Steuerport zum Koppeln an zumindest eine Komponente (36–52, 66) eines Audio/Video-Geräts umfasst, und wobei die Audio/Video-Steuereinrichtung (20) ein Steuermodul zum Aus geben (68; 70) von Steuersignalen durch den Steuerport an die Komponente (36–52; 66) des Audio/Video-Geräts umfasst.
System gemäß Anspruch 8, dadurch gekennzeichnet, dass die Komponente (36–52; 66) des Audio/Video-Geräts eine Komponente ist, die aus der Gruppe ausgewählt ist, die aus einem Fernseher (36; 22), einem Videokassettenrekorder (VCR) (46), einem Tonbandgerät (44), einem Audio-CD-Spieler (48), einem Bildplattenspieler (48), einem Audioverstärker (42), einem Prozessor für Surround Sound (38, 40), einem Videosignalprozessor, einem Camcorder (50), einem Videotelefon, einem Kabelfernseh-Signalwähler, einem Satellitenantennen-Controller, einem Computer (52), einem CD-ROM-Spieler, einem Photo-CD-Spieler, einem Videospielgerät und einem Gerät zum Zugreifen auf Netzwerkinformation besteht.
System gemäß einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Prozessor (72b) in der Audio/Video-Steuereinrichtung (20) angeordnet ist.
System gemäß einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Prozessor an die Audio/Video-Steuereinrichtung (20) angebracht ist.
System gemäß einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Prozessor (72a) in der Fernsteuereinrichtung (24) angeordnet ist.
System gemäß einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass der Prozessor (72) ein Multiprozessorsystem (72a, 72b) aufweist, das einen ersten Teil (72b) aufweist, der in der Audio/Video-Steuereinrichtung (20) angeordnet ist, und einen zweiten Teil (72a) aufweist, der in der Fernsteuerung (24) angeordnet ist.
System gemäß einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass die Audio/Video-Steuereinrichtung (20) einen integrierten Fernseh-Tuner zum Abstimmen einer vom Benutzer ausgewählten, Kanal-tragenden Programminformation und zum Vorsehen eines Videosignals aufweist, das der Videoanzeigeeinrichtung (64; 36; 22) die Programminformation repräsentiert.
System gemäß einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Videoanzeigeeinrichtung (64; 36; 22) ein Fernseher (36; 22) ist, und wobei die Audio/Video-Steuereinrichtung (20) ein Videosignal durch den Port, vorzugsweise ein NTSC- oder PAL- oder ein HDTV-Signal, ausgibt.
System gemäß einem der Ansprüche 1 bis 15, dadurch gekennzeichnet, dass die Audio/Video-Steuereinrichtung (20) in einer Komponente des Audio/Video-Geräts enthalten ist.
System gemäß Anspruch 16, dadurch gekennzeichnet, dass die Komponente (36–52; 66) des Audio/Video-Geräts eine Komponente ist, die aus der Gruppe ausgewählt ist, die aus einem Fernseher (36; 22), einem Videokassettenrekorder (VCR) (46), einem Tonbandgerät (44), einem Audio-CD-Spieler (48), einem Bildplattenspieler (48), einem Audioverstärker (42), einem Prozessor für Surround Sound (38, 40), einem Videosignalprozessor, einem Camcorder (50), einem Videotelefon, einem Kabelfernseh-Signalwähler, einem Satellitenantennen-Controller, einem Computer (52), einem CD-ROM-Spieler, einem Photo-CD- Spieler, einem Videospielgerät und einem Gerät zum Zugreifen auf Netzwerkinformation besteht.
System gemäß einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass der Prozessor (72) ein Spracherkennungsmodul umfasst.
System gemäß einem der Ansprüche 1 bis 18, dadurch gekennzeichnet, dass der Prozessor (72) zumindest ein Menü (32, 34) benutzerauswählbarer Systemsteueroptionen (136, 156, 160 bis 168) erzeugt und die Audio/Video-Steuereinrichtung (20) ein Signal durch den Port (62) ausgibt, um das Menü (32, 34) auf der Videoanzeigeeinrichtung (64; 36; 22) anzuzeigen, die an den Port (62) gekoppelt ist, wobei für den Fall, dass der Prozessor (72) ein Multiprozessorsystem (72a, 72b) ist, zumindest ein Prozessor des Multiprozessorsystems (72a, 72b) zumindest das eine Menü (32, 34) erzeugt.
System gemäß einem der Ansprüche 1 bis 19, dadurch gekennzeichnet, dass der Prozessor (72) an Speichermittel (74, 76, 86, 88) zum Speichern einer Benutzereingabe gekoppelt ist.
System gemäß Anspruch 20, dadurch gekennzeichnet, dass die Benutzereingabe handgeschriebene Anmerkungen aufweist, die auf die Digitalisierschreiboberfläche (26) gezeichnet sind.
System gemäß Anspruch 21, gekennzeichnet durch eine Schnittstelle (158, 148) für einen Videoabrufdienst, wobei die handgeschriebenen Anmerkungen verwendet werden, um ein voraufgezeichnetes Unterhaltungsprogramm zur Präsentation auf der Videoanzeigeeinrichtung (64; 36; 22) aufzurufen.
System gemäß Anspruch 21 oder 22, dadurch gekennzeichnet, dass die handgeschriebenen Anmerkungen für eine nachfolgende Verarbeitung in einen bekannten Computerzeichensatz übersetzt sind.
System gemäß einem der Ansprüche 1 bis 23, dadurch gekennzeichnet, dass die Digitalisierschreiboberfläche (26) eine Digitalisierschreibanzeigeoberfläche ist, um die handgezeichneten Anweisungen durch den Benutzer einzugeben und um dem Benutzer eine Information anzuzeigen, und der Prozessor (72) ein Multiprozessorsystem (72a, 72b) ist, das einen ersten Teil (72b) aufweist, der in der Audio/Video-Steuereinrichtung (20) angeordnet ist, und einen zweiten Teil (72a) aufweist, der in der Fernsteuereinrichtung (24) angeordnet ist, wobei das Multiprozessorsystem (72a, 72b) zwischen der Audio/Video-Steuereinrichtung (20) und der Fernsteuereinrichtung (24) zum Steuern einer Operation der Videoanzeigeeinrichtung (64; 36; 22) gemäß der handgezeichneten Anweisungen kommuniziert.
System gemäß Anspruch 1, dadurch gekennzeichnet, dass die Editierabstandsanalyse einen Kostenwert zum Bewerten der Fehlanpassung zwischen den gespeicherten Anmerkungen und den handgezeichneten Anweisungen ausgibt.
System gemäß Anspruch 25, dadurch gekennzeichnet, dass die Editierabstandsanalyse die Vergleichsergebnisse gemäß den Kostenwerten ordnet.
System gemäß Anspruch 26, dadurch gekennzeichnet, dass die Audio/Video-Steuereinrichtung eine geordnete Liste anzeigt, die eine Vielzahl n-bester Übereinstimmungen basierend auf einer Rangordnung der Vergleichsergebnisse aufweist, wobei der Benutzer eine Übereinstimmung aus der Vielzahl der n-besten Übereinstimmungen auswählt.
System gemäß Anspruch 26, dadurch gekennzeichnet, dass die Audio/Video-Steuereinrichtung eine Übereinstimmung basierend auf einer Rangordnung der Vergleichsergebnisse gemäß den Kostenwerten anzeigt.