DE69820343T2

DE69820343T2 - Linguistisches Suchsystem

Info

Publication number: DE69820343T2
Application number: DE69820343T
Authority: DE
Inventors: Laurent Julliard
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1997-06-20
Filing date: 1998-06-19
Publication date: 2004-06-03
Anticipated expiration: 2018-06-20
Also published as: GB9713019D0; US6202064B1; DE69820343D1; JPH1125129A; EP0886226B1; EP0886226A1

Description

Die vorliegende Erfindung bezieht sich auf die Datenverarbeitung und insbesondere auf Techniken zum Suche nach Information in einer Textdatenbank oder einem Textkörper.
Die meisten verwendeten Techniken zum Auffinden eines Informationsstücks in einem Textkörper basieren auf einer Unterstrang-Suche (auch als Volltextsuche bekannt). Weil dieser grundlegende Strangsuchmechanismus schwach ist, wenn der Benutzer wünscht, mehr eine einfache Zeichenfolge zu erfassen, sind zahlreiche Techniken von Datenanbietern entwickelt worden, um das Abgleichen des Unterstrangs zu verbessern. Solche Beispiele sind Wildcards, regelmäßige Ausdrücke, Boole'sche Operatoren, Nähe-Faktoren (z. B. müssen Wörter im gleichen Satz sein oder nicht mehr als n Wörter zwischen zwei Wörtern) und Anstauung.
Vorhandene Techniken versuchen häufig, die gleichen Ziele zu erreichen: es dem Benutzer zu ermöglichen, die Variabilität der natürlichen Sprache besser auszudrücken, in der der Strangausdruck zu suchen ist, um keinen Platz auszulassen, wo dieser Ausdruck erscheint.
"A French Text Recognition Model for Information Retrieval System" von Antoniadis et al. (Proceedings of the International Conference on Research and Development in Information Retrieval (SIGIR), Grenoble, 13. bis 15. Juni 1988, Nr. Conf. 11, 13. Juni 1988, Seiten 67 bis 84) beschreibt ein Lehrbucherkennungsmodell, das die Dokumente einer Sammlung mit Anforderungen eines Benutzers abgleicht. Hauptwortphrasenstrukturen werden aus ihrer Anforderung in der gleichen Weise extrahiert, wie die Hauptwortphrasen aus den Dokumenten extrahiert werden. Insbesondere bringt die ermittelte Phrase ad hoc Umschreibungen ins Spiel, die mit der Anwendung verbunden sind und somit mit dem Gebiet, das durch die Dokumentensammlung erfasst ist. Diese Umschreibungen sind mit den linguistischen Umschreibungen verwandt. Das Umschreiben kann auch das Zuordnen der gleichen Art Komplemente zu präpositionalen Phrasen enthalten, denen verschiedene Präpositionen vorangehen, des Übergangs von der morphologischen Basis eines Worts zu seiner Wurzel oder des Übergangs von einer adjektivischen Phrase zu einer Präpositionsphrase.
Es ist die Aufgabe dieser Erfindung, ein benutzerfreundliches Verfahren und eine programmierbare Datenverarbeitungsvorrichtung zum Suchen von Information in einer Textdatenbank anzugeben.
Diese Aufgabe wird durch die Gegenstände der Ansprüche 1 und 5 gelöst.
Bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Ausführungsformen der Erfindung werden nun beispielhaft unter Bezugnahme auf die begleitenden Zeichnungen erläutert. In diesen ist:
1 ein schematisches Blockschaltbild eines Rechners, der dazu verwendet werden kann, die Techniken gemäß einer Ausführungsform der vorliegenden Erfindung auszuführen; und
2 ein schematisches Flussdiagramm der Schritte zur Ausführung einer linguistischen Suche gemäß einer Ausführungsform der vorliegenden Erfindung.
Man wird erkennen, dass die vorliegende Erfindung unter Verwendung üblicher Rechnertechnologie ausgeführt werden kann. Die Erfindung ist in einer Workstation vom Typ Perl & C++ on a Sun, die mit SunOS läuft, ausgeführt worden. Man erkennt, dass die Erfindung unter Verwendung eines PC ausgeführt werden kann, die mit Windows^® läuft, einem Mac, der mit MacOS läuft, oder einem Mikrocomputer, der mit UNIX läuft, die sämtlich im Stand der Technik bekannt sind. Beispielsweise ist die PC-Hardwarekonfiguration im Detail in The Art of Electronics, 2. Ausgabe, Kapitel 10, P. Horowitz und W. Hill, Cambridge University Press, 1989, im Detail diskutiert und in 1 dargestellt. Kurz gesagt, das System enthält, angeschlossen an einen gemeinsamen Bus 30, eine zentrale Prozessoreinheit 32, Speichervorrichtungen einschließlich eines Arbeitsspeichers (RAM) 34, eines Festspeichers (ROM) 36 und eines Disketten-, Bandoder CD-ROM-Laufwerks 38, eine Tastatur 12 (nicht gezeigt), Maus 14 (nicht gezeigt), DruckerPlotter- oder Scannervorrichtungen 40 und A/D-, D/A-Vorrichtungen 42 und digitale Eingabe/Ausgabe-Vorrichtungen 44, die eine Schnittstelle zu äußeren Vorrichtungen 46 bieten, wie beispielsweise dem Rest eines LAN (nicht gezeigt).
2 ist ein schematisches Flussdiagramm der Schritte, die bei einer linguistischen Suche gemäß einer Ausführungsform der vorliegenden Erfindung durchgeführt werden.
Der Fachmann erkennt, dass wo hier auf Schritte, Vorgänge oder Manipulationen Bezug genommen wird, die Zeichen, Wörter, Textpassagen usw. betreffen, diese, wo geeignet, mittels Software-gesteuerten Rechneroperationen an maschinenlesbaren (z. B. ASCII-Code) Darstellungen solcher Zeichen, Wörter und Textes ausgeführt werden.
Zum Zecke der Darstellung der Techniken gemäß der Erfindung ist der Fall betrachtet, bei dem der französische Ausdruck "systeme distribue" (äquivalent zu "distributed system" in englisch) in einem französischen Textkörper vom Benutzer gesucht werden soll.
Zu Anfang (Schritt S1) gibt der Benutzer den Mehrwortausdruck an, nach dem er sucht, beispielsweise indem er den Typ graphischer Benutzerschnittstelle verwendet, die in der einschlägigen Technik bekannt ist. Man braucht dabei nicht auf die Formulierung dieses Ausdrucks Acht zu geben: Hauptwörter und/oder Adjektive können im Plural oder Singular sein, Verben können konjugiert sein, usw..
Als nächstes wird im Schritt S2 der Ausdruck in den Etikettierer (oder Eindeutigmacher) gesandt, wie er beispielsweise von Xerox Corp. erhältlich ist. Etikettierer sind detaillierter in McEnery T. und Wilson A., Corpus Linguistics, Kapitel 5, Abschnitt 3 und Anhang B diskutiert. Der Etikettierer (oder Eindeutigmacher) tut zwei Dinge

(1) jedes Wort auf seine Wurzelform reduzieren (z. B. distribue wird distribuer- Infinitiv des Verbs), und
(2) den Sprachteil jedes Worts bestimmen (z. B. systeme ist ein Hauptwort im Singular-NOUN_SG- und distribue ist ein Adjektiv im Singular – ADJ_SG. NOUN_SG und ADJ_SG sind sog. Etiketten. Jedes Etikett besteht aus zwei Teilen: der syntaktischen Kategorie (oder Sprachteil wie NOUN, ADJ, VERB usw.) und dem morphologischen Merkmal (wie SG, PL, usw.), das die Beugung des Wortes reflektiert.

Sobald die etikettierte Form 50 erhalten worden ist, wird sie dann im Schritt S3 vereinfacht: weil es erwünscht ist, dass der linguistische Suchvorgang alle möglichen Flexionen eines Worts findet, wird jedes Etikett zunächst auf seine syntaktische Kategorie reduziert. Das Geschlecht, Zahl oder Person eines Wortes ist für die linguistische Suche nutzlos und wird entfernt. Vorzugsweise umfasst dies den Ersatz jedes "SG", "PL" usw. durch ein neutrales Symbol (*), um alle Möglichkeiten des morphologischen Merkmals zu umfassen.
Der Vorgang geht zu dem Schritt S4 über, bei dem die vereinfachte, etikettierte Form 51 bearbeitet wird. Bei gegebener Grammatik einer Sprache ist es möglich zu ermitteln, welche Art Variationen ein Mehrwortausdruck erfahren kann, ohne seine ursprüngliche Bedeutung zu ändern. Die folgende Diskussion gibt einige der Regeln an, die für Französisch verwendet worden sind, um Variationen um nominale Phrasen zu erzeugen:

(1) Man kann zwischen ein Hauptwort und ein Adjektiv Adjektive, Adverbien oder Partizipe einfügen, die möglicherweise mit einer koordinierenden Konjunktion wie et (und), ou (oder) usw. verbunden sind. 2 zeigt die Anwendung dieser Regel auf dem Ausdruck systémes distribués und zeigt eine vereinfachte Version des sich ergebenden regulären Ausdrucks (das Symbol ☸ stellt das im Etikett vorangehende Wort dar). Als ein Beispiel folgenden einige linguistische Variationen, die von diesem regulären Ausdruck erfasst sind:
– systémes distribués (verteilte Systeme – Pluralform)
– systémes relationnels distribués (verteilte relationale Systeme – eingefügtes Adjektiv)
– systeme redondant et totalement distribue (voll reduntantes und verteiltes System – eingefügtes Adjektiv und Adverb, die durch eine koordinierende Konjuktion verbunden sind)
(2) Zwischen ein Hauptwort und eine Präposition oder zwischen eines Präposition und ein Hauptwort können zusätzliche Adjektive eingefügt werden.
(3) Zwischen zwei Hauptwörtern können zusätzliche Adjektive eingefügt werden.

Die oben aufgeführten Regeln gelten für französische Hauptwortphrasen. Sie können auf jede andere Art Phrasen einschließlich solcher, die Verben enthalten, und auch auf jede andere Sprache ausgedehnt werden.
Es ist anzumerken, dass diese Regeln fast so komplex wie gewünscht sein können, wenn daran gedacht ist, dass eine gute Chance besteht, dass der gewählte Teil des Textes sich noch immer auf die ursprüngliche Abfrage bezieht. Beispielsweise könnte man die Einfügung einer neuen Hauptwortphrase zwischen das Hauptwort und das Adjektiv erlauben, wie beispielsweise in "systéme á tolerance de Panne distrubué" (verteiltes fehlertolerantes System), oder noch komplexer ist die Einfügung einer Relativklausel, wie in "un systeme qui, par nature, est totalement distribue" (ein System, das von Hause aus vollständig verteilt ist).
Die im Schritt S4 ausgedrückten Grammatikregeln werden in einem regulären Ausdruck kodiert und mit der vereinfachten etikettierten Form 51 der Benutzerabfrage abgeglichen. Wenn eine jener Regeln passt, dann setzt sich die vereinfachte etikettierte Form 51 der Benutzerabfrage in einen komplexen regulären Ausdruck um, der die grammatischen Variationen darstellt.
Jede Regel wird in Folge und nur einmal angewendet, um die rekursive Anwendung einer Grammatikregel auf sich selbst oder auf andere zu vermeiden.
Der passende reguläre Ausdruck 52 wird dann weiter im Schritt S5 verarbeitet. Sobald der endgültige reguläre Ausdruck 52 erzeugt worden ist, wird er mit der etikettierten Version des Körpers abgeglichen. Bezüglich dieses Schrittes ist es wichtig, das Folgende zu berücksichtigen.

(1) Wie oben angegeben, muss der Abgleichprozess an einer etikettierten Version des Textkörpers ausgeführt werden. Dies kann unter Verwendung eines Etiketts geschehen, wie beispielsweise jenes, das von Xerox Corp. erhältlich ist, wie oben erwähnt. Die Etikettierphase kann entweder im Flge, wenn sich der Text häufig ändert, oder einmal für alle, wenn er stabil ist, ausgeführt erden.
(2) Wenn der Körper groß ist, braucht eine einfache sequentielle Suche an Hand des etikettierten Textes zu viel Zeit. Um diese Phase zu beschleunigen, kann eine Volltext-Indexiermaschine verwendet werden. Anstatt einer Indexierung des ursprünglichen Textes, wie es die meisten Volltext-Suchmaschinen tun, wird der Indexiermechanismus an der etikettierten Version des Textkörpers angewendet.
(3) Die meisten vorhandenen Volltext-Indexiermaschinen können keine Suchabfragen handhaben, die durch komplexe reguläre Ausdrücke ausgedrückt sind. Als Folge kann der durch das linguistische Suchsystem gemäß der vorliegenden Erfindung erzeugte Ausdruck nicht so, wie er ist, in die Suchmaschine eingegeben werden. Tatsächlich wird eine Voraussuche anhand der Einzelwörter des vereinfachten etikettierten Ausdrucks ausgeführt (siehe Schritt S2). In Abhängigkeit davon, wie kompliziert die Indexiermaschine ist, kann sie den Benutzer mit einer wahren Basisinformation, wie dem Namen der Dateien, in denen solche Wörter gefunden worden sind, versorgen (wie die flüchtige Suchmaschine tut), oder mit genauerer Information versorgen, wie die Position des Satzes, in dem jene Wörter gefunden wurden (wie die Xerox Textdatenbank (TDB) PARC tut). Dieser Vorausschritt reduziert den Umfang an relevanten (Teil von) Dokumenten und vermindert die Zeit, die für den Abgleichprozess mit regulären Ausdrücken erforderlich ist.
(4) Die gegenwärtige Realisierung einer Ausführungsform des linguistischen Suchsystems nach dieser Erfindung basiert auf den regulären Ausdruckskonventionen von Perl (oder jedem Beigeschmack von awk). Der Fachmann erkennt, dass sie leicht auf reguläre Ausdrucksformalismen übertragen werden könnten, die von den Finite State Transducers verwendet werden, die von Xerox Corp. entwickelt worden (siehe EP-A-583 083). Der Abgleichmechanismus basiert auf den regulären Ausdrücken von Perl anstelle den Finite State Transducers, die von Xerox entwickelt wurden, weil Perl (und awk) dem Benutzer nicht nur mitteilt, welcher Teil des Textes stimmt, sondern auch, wo er im Körper liegt. Diese Information ist speziell nützlich, um die Stellen zu beleuchten, wo eine Übereinstimmung auftrat. Dieses Merkmal hat zwei Vorteile:
(1) das Blättern durch lange Dokumente zum Auffinden von Stellen, wo Übereinstimmungen auftraten, entfällt (siehe Schritt S6, der unten erläutert wird);
(2) der gesamte passende Mehrwortausdruck, der sich von jenem, der vom Benutzer eingetippt wurde, wird gezeigt, wenn die durch die Grammatikregeln zulässigen linguistischen Variationen komplex sind.

Schritt S6 wird ausgeführt, nachdem der reguläre Ausdruck mit der etikettierten Version des Körpers abgeglichen worden ist. Wie oben erwähnt, kann der reguläre Ausdrücke-Mechanismus von Perl (oder awk) dem Benutzer mitteilen, welcher Strang übereinstimmt, aber auch wo dieser Strang im Text liegt. Weil jedoch gemäß dieser Erfindung der Abgleich des regulären Ausdrucks anhand der etikettierten Version des Körpers gemacht wird, ist die Positionsinformation nicht für den ursprünglichen Text geeignet. Wenn es gewünscht wird, die Übereinstimmungen hervorzuheben, muss daher ein Weg angegeben werden, wie man von dem Versatz im etikettierten Text in den wirklichen Versatz im ursprünglichen Text gelangt. Gegenwärtig erfolgt dieses über eine einfache Versatztabelle, die während der Etikettierung des Körpers aufgebaut wird.
Man erkennt, dass zahlreiche Modifikationen bei der Realisierung der Techniken nach der Erfindung vorgenommen werden können.
Die linguistische Suche könnte an WEB-Suchmaschinen angewendet werden. Obgleich ihre Abfragesprachen die Tendenz haben, mehr und mehr kompliziert zu werden, liegt eine linguistische Suche noch nicht nahe.
Der oben erläuterte Prozess nimmt an, dass der zu suchende Körper zunächst eineindeutig gemacht (oder etikettiert) wird. Es ist jedoch anzumerken, dass es möglich wäre, die Techniken nach dieser Erfindung als vorderes Ende beispielsweise der WEB-Suchmaschine zu verwenden. Hier ist es erforderlich, alle möglichen Formen eines Wortes zu erzeugen und nach allen von ihnen mit einer konventionellen Suchmaschine zu suchen (oder wenigstens den Unterstrang, der allen von einem Wort abgeleiteten Formen gemeinsam ist). Die ausgewählten Dokumente müssen dann für die weitere Verarbeitung (Etikettierung) ermittelt werden, bevor die linguistische Suche angewendet werden kann.

Claims

Verfahren zum Suchen nach Information in einer Textdatenbank, enthaltend: a) Aufnehmen wenigstens einer Benutzereingabe, die einen Ausdruck in natürlicher Sprache (49) einschließlich eines oder mehrerer Wörter bestimmt, gekennzeichnet durch die Schritte: b) Umwandeln des Ausdrucks natürlicher Sprache in eine etikettierte Form (50, 51) des Ausdrucks natürlicher Sprache, wobei die etikettierte Form des Ausdrucks natürlicher Sprache einen oder mehrere Wörter und ein Teilredeetikett enthält, das jedem Wort des Ausdrucks natürlicher Sprache zugeordnet ist; c) Anwenden an der etikettierten Form (51) des Ausdrucks natürlicher Sprache einer oder mehrerer Grammatikregeln der Sprache des Ausdrucks natürlicher Sprache (49), um einen regulären Ausdruck (52) abzuleiten auf der Grundlage des einen oder der mehreren Wörter und des Teilredeetiketts; und (d) Analysieren der etikettierten Form der Textdatenbank, um zu ermitteln, ob eine Übereinstimmung zwischen dem regulären Ausdruck (52) und einem Teil der Textdatenbank besteht.
Verfahren nach Anspruch 1, bei dem der Schritt b) weiterhin die folgenden Schritte umfasst: Etikettieren des Ausdrucks natürlicher Sprache, umfassend für jedes Wort in dem Ausdruck natürliche Sprache b1), das Umwandeln dieses Worts in seine Stammform und b2) das Anwenden des Teilredeetiketts an der Stammform jenes Worts, um eine komplexe etikettierte Form (50) zu erzeugen.
Verfahren nach Anspruch 2, bei dem das Teilredeetikett einen Syntaxkategoriemarkierer und einen Morphologikmerkmalmarkierer enthält und der Schritt b) weiterhin b3) der Vereinfachung der komplexen markierten Form (50) durch Entfernen jedes Morphologikmerkmalmarkierers zur Erzeugung einer vereinfachten markierten Form (51) enthält.
Verfahren nach Anspruch 1, 2 oder 3, weiterhin enthaltend den Schritt e): Bestimmen des Orts der Übereinstimmung mit dem regulären Ausdruck (52) in der Textdatenbank.
Programmierbares Datenverarbeitungsgerät, enthaltend eine Programmspeichervorrichtung, die mit einer Benutzerschnittstelle wirkungsmäßig verbunden ist, um ein Vertahren zum Suchen auszuführen, wobei das Vertahren enthält: a) Aufnehmen wenigstens einer Benutzereingabe, die ein Ausdruck in natürlicher Sprache ist, der wenigstens ein Wort enthält; gekennzeichnet durch die Schritte: b) Umwandeln des Ausdrucks natürlicher Sprache in eine etikettierte Form des Ausdrucks natürlicher Sprache, wobei die etikettierte Form des Ausdrucks natürlicher Sprache einen oder mehrere Wörter und ein Teilredeetikett enthält, das jedem Wort des Ausdrucks natürlicher Sprache zugeordnet ist; c) Anwenden an der etikettierten Form des Ausdrucks natürlicher Sprache einer oder mehrerer Grammatikregeln der Sprache des Ausdrucks natürlicher Sprache, um einen regulären Ausdruck (52) abzuleiten, auf der Grundlage des einen oder der mehreren Wörter und des Teilredekennzeichens; und (d) Analysieren der etikettierten Form der Textdatenbank, um zu ermitteln, ob eine Übereinstimmung zwischen dem regulären Ausdruck und einem Teil der Textdatenbank besteht.