CN1790326B - 同步自然语言输入元素和图形用户界面的系统和方法 - Google Patents

同步自然语言输入元素和图形用户界面的系统和方法 Download PDF

Info

Publication number
CN1790326B
CN1790326B CN2005101250344A CN200510125034A CN1790326B CN 1790326 B CN1790326 B CN 1790326B CN 2005101250344 A CN2005101250344 A CN 2005101250344A CN 200510125034 A CN200510125034 A CN 200510125034A CN 1790326 B CN1790326 B CN 1790326B
Authority
CN
China
Prior art keywords
natural language
user interface
language input
graphic user
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005101250344A
Other languages
English (en)
Other versions
CN1790326A (zh
Inventor
C·C·麦克康奈尔
D·当森
J·巴克鲁德
S·W·艾科曼
T·M·莱瑞德-麦克康奈尔
W·D·拉姆瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1790326A publication Critical patent/CN1790326A/zh
Application granted granted Critical
Publication of CN1790326B publication Critical patent/CN1790326B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99934—Query formulation, input preparation, or translation

Abstract

一种用于同步自然语言输入元素和图形用户界面的系统含有同步引擎。该同步引擎适用于监视用户与自然语言输入和图形用户界面的交互，并响应于用户交互来同步自然语言输入元素和图形用户界面。

Description

同步自然语言输入元素和图形用户界面的系统和方法
技术领域
本发明涉及自然语言处理，尤其涉及图形用户界面中的自然语言输入和图形用户输入的同步。
背景技术
图形用户界面(GUI)应用程序在大多数任务中表现良好，这部分是因为GUI提供直接与应用程序中可用的功能相关的选项，且用户从中可以选择他/她想要做的事。然而，GUI应用程序有时是难以使用的。例如，在某些实例中，功能要求打开众多子对话框，这对用户可能不是直观的。另外，需要多个步骤来使用合适的信息填写GUI元素。GUI元素可以包括下拉式或者弹出式菜单、复选框、单选按钮、文本或其它类型的数据输入字段等。而且，用户可能不知道在GUI内的何处可找到可用的选项。使用小型设备(诸如，手持式设备、个人数字助理、具有连网功能的无线电话等)向GUI输入信息可能是困难的。最后，残疾人难以例如导航并完成GUI表单。
为了克服与GUI相关联的某些限制，开发了自然语言应用程序，它能够允许用户容易地表达在GUI中可能相当复杂的概念。例如，在自然语言中，用户可以请求“找到我上周发给Bill的所有电子邮件”、“将屏幕分辨率改为1280×1024”、“哪里有关于微软公司的网页”、“请删除所有未读电子邮件”等。每一这样的话语是可容易理解的，但是在完成GUI表单时增加了复杂性的多个层次。
然而，存在关于NL应用程序的某些问题，诸如可发现性、混淆、僵局以及训练问题。可发现性指的是其中用户不知道他/她在程序中能够做的事的情形。混淆指的是当用户不明白应用程序如何解释特定的文本输入时产生的问题。僵局指的是软件程序不向用户提供选项或机制以改变他/她想要的东西。最后，不存在训练用户如何利用NL输入的机制。
对改进的用户-程序交互的直观的用户界面存在迫切的需求。本发明的实施例提供了对这些或其它问题的解决方案，并提供了超过现有语义创作工具的优点。
发明内容
一种用于同步自然语言输入元素和图形用户界面的系统含有同步引擎。该同步引擎适用于监视用户与自然语言输入和图形用户界面的交互，并响应于用户交互来同步自然语言输入元素和图形用户界面。
本发明提供了一种用于同步自然语言输入元素和图形用户界面的系统，包括：同步引擎，适用于监视用户与自然语言输入元素和图形用户界面的交互，并响应于所述用户交互同步所述自然语言输入元素和所述图形用户界面；以及重述引擎，适用于组成表示所述图形用户界面的变化对象的自然语言输入，其中，所述同步引擎响应于每一变化，使用所组成的自然语言输入更新所述自然语言输入元素。
如上所述的系统，所述系统还包括：语义引擎，适用于将所述自然语言输入映射至所述图形用户界面，其中，所述同步引擎响应于所述自然语言输入元素中的变化使用所映射的对象更新图形用户界面.
如上所述的系统，所述系统还包括：执行引擎，适用于基于对所述自然语言输入元素或对所述图形用户界面中的所选对象的变化，在数据存储上执行操作。
如上所述的系统，所述操作包括查询，且其中，所述执行引擎适用于基于所述用户交互检索存储的数据，以及根据检索到的数据在所述系统的显示区域中显示结果列表。
如上所述的系统，所述同步引擎适用于根据所述用户交互，基本上同时地同步所述自然语言输入元素和所述图形用户界面内的对应对象。
本发明还提供一种用于同步自然语言输入和系统的图形用户界面内的GUI对象的方法，所述方法包括：监视输入元素和所述图形用户界面的用户交互；以及自动同步所述输入元素和所述图形用户界面，使得所述输入元素的自然语言输入和所述图形用户界面的GUI对象对应，其中，如果用户与所述图形用户界面交互，那么所述同步步骤包括：向自然语言文本重述所述图形用户界面的GUI对象；以及修改所述输入元素的自然语言输入以反映重述的自然语言文本。
如上所述的方法，所述GUI对象包括与系统特征相关联的图形元素。
如上所述的方法，所述监视步骤包括：检测用户与所述图形用户界面或所述输入元素的交互。
如上所述的方法，所述同步步骤包括：响应于检测到的用户交互，编程地修改所述图形用户界面或所述输入元素。
如上所述的方法，如果用户与所述输入元素交互，那么所述同步步骤包括：将所述输入元素的自然语言输入映射至一个或多个GUI对象；以及修改所述图形用户界面以包括被映射至所述自然语言输入的所述一个或多个GUI元素。
如上所述的方法，还包括：基于所述自然语言输入或者所述图形用户界面的GUI对象，在数据上执行操作；以及将一个或多个结果返回给系统用于向用户显示。
如上所述的方法，所述系统包括用于在计算系统上执行的计算机可读指令。
如上所述的方法，所述同步步骤包括：如果所述自然语言输入根据所述用户交互变化，那么将所述自然语言输入映射至与系统相关联的GUI对象；以及更改所述图形用户界面以包括所映射的GUI对象。
如上所述的方法，所述同步步骤包括：如果所述GUI对象基于所述用户交互变化，那么组成基于GUI对象的自然语言输入；以及更改所述自然语言输入以包括所组成的自然语言输入。
本发明还一种用户界面系统，包括：自然语言输入组件，适用于接收自然语言输入；其中所述用户界面系统提供具有适用于对应用程序域建模并响应用户交互的一个或多个对象的图形用户界面；同步引擎，适用于同步所述自然语言输入组件的自然语言输入和所述图形用户界面的所述一个或多个对象；以及重述引擎，适用于组成表示所述图形用户界面的所述一个或多个对象的自然语言输入，其中，所述同步引擎适用于使用所组成的自然语言输入来更新所述自然语言输入组件。
如上所述的用户界面系统，所述同步引擎包括：语义引擎，适用于将来自所述自然语言输入组件的自然语言输入映射至所述图形用户界面的所述一个或多个对象，其中，所述同步引擎适用于使用一个或多个映射的对象来更新所述图形用户界面。
如上所述的用户界面系统，所述自然语言输入包含语音输入。
如上所述的用户界面系统，还包括：执行引擎，它耦合至所述自然语言输入组件和所述图形用户界面，并适用于响应于所述用户交互与一个或多个文件交互。
如上所述的用户界面系统，所述同步引擎适用于监视所述自然语言输入组件和所述图形用户界面的用户交互。
附图说明
图1是可在其中实现本发明的实施例的计算系统环境的图示。
图2是根据本发明的实施例用于同步自然语言和GUI输入的系统的简化框图。
图3是根据本发明的实施例用于同步自然语言和GUI输入的系统的一部分的展开的简化框图。
图4是示出根据本发明的实施例用于同步GUI和自然语言输入的方法的简化流程图。
图5是根据本发明的实施例使用自然语言输入和GUI输入元素的Find应用程序的屏幕截图，其中某些GUI元素是从自然语言输入中自动构造的。
图6是根据本发明的实施例使用自然语言输入和GUI输入元素的Find应用程序的屏幕截图，其中输入行是基于所选择的GUI元素更新的。
图7是根据本发明的实施例在通过所选择的GUI元素添加了“From(来自)”条件后的图6的Find应用程序的屏幕截图。
图8是根据本发明的实施例在通过所选择的GUI元素添加了日期条件后的图7的Find应用程序的屏幕截图。
图9是根据本发明的实施例在通过所选择的GUI元素添加了“carbon copy(抄送)”条件后，并在执行查询后的图7的Find应用程序的屏幕截图。
具体实施方式
根据本发明的实施例，一种同步引擎将用户界面的GUI元素(诸如复选框、下拉式菜单、单选按钮、文本字段等)与用户界面的自然语言文本输入同步。具体地，该同步引擎监视用户与自然语言文本输入字段的交互，并且如果检测到用户界面的改变，作为响应使用对应的GUI元素来更新用户界面。类似地，如果检测到对GUI元素的改变，该同步更新自然语言文本。
通过将GUI元素与自然语言文本输入同步，或者反之，用户接收到关于所选择的输入的即时反馈。GUI元素和自然语言输入之间的关系提供了一种直观的训练机制，借此用户通过视觉反馈能够知道应用程序如何操作。
图1示出了可在其上实现本发明的合适的计算系统环境100的示例。计算系统环境100只是合适的计算环境的一个示例，并不旨在对本发明的使用范围或功能提出任何限制。也不应该把计算环境100解释为对示例性操作环境100中示出的任一组件或其组合有任何依赖性或要求。
本发明可用众多其它通用或专用计算系统环境或配置来操作.适合在本发明中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络PC、小型机、大型机、电话系统、包含上述系统或设备中的任一个的分布式计算机环境等.
本发明可在诸如由计算机执行的程序模块等的计算机可执行指令的通用语境下描述。一般而言，程序模块包括例程、程序、对象、组件、数据结构等，它们执行特定任务或实现特定抽象数据类型。本发明也可以在分布式计算环境中实现，其中任务由通过通信网络连接的远程处理设备执行。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。
参考图1，用于实现本发明的一个示例性系统包括计算机110形式的通用计算设备。计算机110的组件可以包括，但不限于，处理单元120、系统存储器130和将包括系统存储器在内的各种系统组件耦合至处理单元120的系统总线121。系统总线121可以是若干类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线和使用各种总线体系结构中的任一种的局部总线。作为示例，而非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、扩展的ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线和外围部件互连(PCI)总线(也被称为Mezzanine总线)。
计算机110通常包括各种计算机可读介质。计算机可读介质可以是能够被计算机110访问的任何可用介质，且包括易失性和非易失性介质、可移动和不可移动介质。作为示例，而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现的用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算机110访问的任何其它介质。通信介质通常具体化为诸如载波或其它传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据，且包含任何信息传递介质。术语“已调制数据信号”指的是这样一种信号，其一个或多个特征以在信号中编码信息的方式被设定或更改。作为示例，而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外线和其它无线介质。上述中任一个的组合也应包括在计算机可读介质的范围之内。
系统存储器130包括易失性或非易失性存储器形式的计算机存储介质，诸如只读存储器(ROM)131和随机存取存储器(RAM)132。基本输入/输出系统133(BIOS)包含有助于诸如启动时在计算机110中元件之间传递信息的基本例程，它通常存储在ROM 131中。RAM 132通常包含处理单元120可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例，而非限制，图1示出了操作系统134、应用程序135、其它程序模块136和程序数据137。
计算机110也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图1示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器141，从可移动、非易失性磁盘152中读取或向其写入的磁盘驱动器151，以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘156中读取或向其写入的光盘驱动器155.可以在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括，但不限于，盒式磁带、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等.硬盘驱动器141通常由不可移动存储器接口，诸如接口140连接至系统总线121，磁盘驱动器151和光盘驱动器155通常由可移动存储器接口，诸如接口150连接至系统总线121.
以上描述和在图1中示出的驱动器及其相关联的计算机存储介质为计算机110提供了对计算机可读指令、数据结构、程序模块和其它数据的存储。例如，在图1中，硬盘驱动器141被示为存储操作系统144、应用程序145、其它程序模块146和程序数据147。注意，这些组件可以与操作系统134、应用程序135、其它程序模块136和程序数据137相同或不同。操作系统144、应用程序145、其它程序模块146和程序数据147在这里被标注了不同的标号是为了说明至少它们是不同的副本。
用户可以通过输入设备，诸如键盘162、麦克风163和定点设备161(诸如鼠标、跟踪球或触摸垫)向计算机110输入命令和信息。其它输入设备(未示出)可以包括操纵杆、游戏垫、圆盘式卫星天线、扫描仪等。这些和其它输入设备通常由耦合至系统总线的用户输入接口160连接至处理单元120，但也可以由其它接口或总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。监视器191或其它类型的显示设备也经由接口，诸如视频接口190连接至系统总线121。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器197和打印机196，它们可以通过输出外围接口195连接。
计算机110可使用至一个或多个远程计算机，诸如远程计算机180的逻辑连接在网络化环境下操作。远程计算机180可以是个人计算机、手持式设备、服务器、路由器、网络PC、对等设备或其它常见网络节点，且通常包括上文相对于计算机110描述的许多或所有元件，尽管在图1中只示出存储器存储设备181。图1中所示逻辑连接包括局域网(LAN)171和广域网(WAN)173，但也可以包括其它网络。这样的网络环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN网络环境中使用时，计算机110通过网络接口或适配器170连接至局域网171。当在WAN网络环境中使用时，计算机110通常包括调制解调器172或用于通过诸如因特网等WAN 173建立通信的其它装置。调制解调器172可以是内置或外置的，它可以通过用户输入接口160或其它合适的机制连接至系统总线121。在网络化环境中，相对于计算机110所描述的程序模块或其部分可以存储在远程存储器存储设备中。作为示例，而非限制，图1示出了远程应用程序185驻留在存储器设备181上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其它手段。
图2是根据本发明的一个实施例的同步(语义画布(semantic canvas))系统200的简化框图。同步系统200含有在自然语言(NL)输入元素204和图形用户界面(GUI)206之间通信地耦合的同步引擎202。一般而言，NL输入元素204是适用于接收文本串或语音输入的元素。NL输入元素204允许用户键入或输入(诸如通过说话)完整或部分句子或意图中的数据，诸如“找出我上周发给Joe的所有电子邮件(find all emails that I sent to Joe last week)”。NL输入元素204可以是用于接受这样的用户输入的任何机制。NL输入元素204可以包括语音-文本功能(未示出)，且可以适用于接收语音输入并将这样的输入数字化为文本。GUI 206包括一个或多个功能性元素(诸如下拉式菜单、文本字段、复选框、应用程序域内的字段等)。GUI 206允许用户从GUI内部的对象来明确地建立他或她的意图。例如，对于找出上周Bill发给Joe的所有电子邮件的意图，用户可以利用GUI 206在寻找的项下面选择“电子邮件(email)”。用户然后可以使用GUI 206来添加一个条件，诸如“发给(sent to)”，并添加“Joe”作为该条件值。最后，用户可以添加另一个条件，诸如“发送日期(date sent)”等。一般而言，GUI 206和NL输入元素204适用于执行相同的功能，诸如寻找功能。用户可以通过选择GUI 206的一个或多个功能性元素并输入适当的条件信息，或者通过向NL输入元素204输入查询来找出例如位于计算机硬盘上的对象或实体。
同步引擎202是适用于响应NL输入行204中的变化并相应地更新GUI 206的模块。同步引擎202也适用于响应GUI中的变化并更新NL输入行以反映用户键入的内容。同步引擎202利用NL重述引擎208将所选择的GUI 206的功能性元素转换成NL输入元素204中的自然语言文本输入。同步元素202利用语义引擎210将来自NL输入元素204的自然语言输入转化为GUI 206中的功能性元素。同步引擎202适用于监视NL输入元素204中的数据的变化或者GUI 206的所选功能性元素的变化，并且使用适当的变化更新另一个元素，使得NL输入元素204和GUI 206被同步。
语义画布系统200的功能性元素可以在单个应用程序内实现(如由虚线212所指示)。或者，语义画布系统200的功能性元素可以在一个以上应用程序中实现并适用于通信以提供同步。
一般而言，对NL输入元素204的NL输入可以是任何可辨识的形式。在一实施例中，NL输入元素204适用于接收文本或语音输入。如此处所使用的，术语“NL输入”指的是自然语言格式的任何数据输入。如此处所使用的，术语“自然语言”指的是与人正常说话的方式并行的输入，这与计算机语言、人工语言或者受约束或受控词汇相反。如此处所使用的，术语“文本输入”、“NL输入”和“语音输入”可以被理解为关于对NL输入元素204的输入是可互换的。
图3是根据本发明的实施例的同步系统300的一部分的展开的框图。在该实现中，同步引擎的基础语义被转化为查询句法，诸如SQL，命中数据库并返回结果。然而，应用程序可能以任何数量的方式，或者直接从GUI，直接从NL输入，或者从某些中间表示来执行任务或搜索。
同步系统300含有在NL输入304和GUI 306之间通信地耦合的同步引擎302。另外，同步引擎302被通信地耦合至执行引擎308和数据存储310。执行引擎308基于NL输入304的文本输入或者GUI 306的功能性元素选择对数据存储310中的数据执行操作，并将结果返回至用户界面的结果区域312。
NL输入304允许用户键入他/她的意图(诸如“找出来自Bob的所有电子邮件(Find all email from Bob)”)。NL输入304在发生变化时通知同步引擎302。GUI 306允许用户通过诸如下拉式菜单等功能性元素手动地建立或改变他/她的意图。GUI 306在发生变化时通知同步引擎。同步引擎302适用于当用户在NL输入304中输入文本时自动建立GUI 306中的功能性元素。同步引擎302也适用于响应于GUI 306中的变化自动更新NL输入304中的文本。在任一情况下，同步引擎302向相应的元素(NL输入304或GUI 306)通知变化。
这样，同步引擎302充分利用GUI 306和NL输入304的力量，同时克服了两者的限制。在NL输入304和GUI 306之间，在用户界面中实现的同步系统300提供了机制以容易地允许用户表达他或她想要做的内容、显示他/她已经在GUI 306或NL输入304中完成的内容、以及改变两者中的任一位置的表达。系统300提供了用于内建训练和可发现性的装置。
在一实施例中，执行引擎308由同步引擎302通知变化。执行引擎308构造例如类似于SQL的查询，并从存储310中取回结果。执行引擎308然后将结果传送给结果区域312(或者应用程序)用于显示。
该方法的一种实现将同步引擎302中的基础语义转化为诸如SQL等查询句法、命中数据库310、并将结果返回至显示区域312。
可以使用语义引擎以及创作的方案和注解集来有效地实现同步引擎。或者，应用程序可以实现用于在NL和GUI以及反向之间转换的所有逻辑。
图4是根据本发明的实施例同步GUI和用户界面的自然语言文本输入的方法的简化框图。同步引擎监视GUI和自然语言文本输入的变化(框400)。如果不存在变化(框402)，那么同步引擎继续监视GUI和自然语言文本输入，直到检测到变化。如果检测到的变化不是对于NL输入的(框404)，那么同步引擎将变化从GUI传送给重述引擎(框406)。重述引擎公式化NL输入短语(框408)。同步引擎然后使用公式化的NL输入短语更新自然语言输入(框410)。同步引擎然后继续监视NL输入和GUI的变化(框400)。
如果检测到的变化是针对NL输入的(框404)，那么同步引擎将变化从NL输入传送给语义引擎(框412)。语义引擎将语义解答转化为GUI的对象(框414)。同步引擎使用转化的NL输入短语更新GUI(框416)。同步引擎然后继续监视NL输入和GUI的变化(框400)。
图5是使用自然语言输入元素502和含有诸如下拉式菜单506、文本字段508、复选框510以及按键512等输入元素或GUI对象的GUI 504的Find应用程序500的屏幕截图。根据本发明的实施例，某些GUI对象(506-512)是根据对于自然语言输入元素502的自然语言输入来自动构造的。在该实例中，用户已经在NL输入502键入“find all emails from Joe sent lastweek(找出上周由Joe发送的所有电子邮件)”，且同步引擎使用反映用户键入内容的多个GUI对象506-512来更新GUI。同步引擎(结合语义引擎)将对象的类型(type of object)设为“email(电子邮件)”。另外，同步引擎建立了两个条件：“from(来自)”被设为“Joe”，以及“receiveddate(接收日期)”被设为与正确的日期范围相等。这样，同步引擎允许用户精确地看到NL输入是如何被处理的，以及应用程序是如何解释输入的。
图6-8描绘了一种替换方法，其中仅使用GUI建立用户的意图，且同步系统包括对应于GUI的NL输入。图6中，Find应用程序600包括NL输入字段602和GUI 604。用户从下拉式列表606中选择“email(电子邮件)”。在选择“email”之后，同步引擎自动使用词“email”更新NL输入字段602，因为用户已经键入“email”来创建相同的意图。或者，在选择“email”之后，用户可以点击按键612，从而使同步引擎更新NL输入字段602。一旦用户作出了选择，应用程序600添加附加的GUI对象610(在此实例中，为下拉式菜单)以供用户另外选择。
图7是图6的Find应用程序添加了第一条件之后的屏幕截图。应用程序700包括NL输入字段702和GUI 704。用户从对象类型(type of object)下拉式列表706中选择“email”.基于该选择，GUI 704可以显示一个或多个条件选项，诸如“To(到)”、“from(来自)”“Received Date(接收日期)”等。或者，用户可以使用下拉式菜单712来选择条件选项或其它输入元素。在此实例中，用户使用下拉式菜单712选择“from”，且应用程序700自动地或者基于用户与按键714的交互向GUI 704添加复选框708和相关联的文本字段710。用户在文本字段710中输入词“Joe”。从而，同步引擎使用所选择的GUI对象的NL表示更新NL输入字段702，得到GUI 704的NL解释为“email from Joe(来自Joe的电子邮件)”。
图8是图7的Find应用程序添加了日期条件之后的屏幕截图。应用程序800包括NL输入字段802和GUI 804。用户从对象类型(type of object)下拉式列表806中选择“email”。基于该选择，GUI 804显示一个或多个条件选项，诸如“To”、“from”“Received Date”等，或者用户从下拉式菜单812中选择条件选项。应用程序800或者是自动的，或者基于用户与按键814的交互。应用程序向GUI 804添加复选框808和相关联的输入字段810。在该实例中，用户使用下拉式菜单812选择了第二个条件选项，得到日期复选框816和相关联的数据字段818。用户选择一个或多个选项，并填写相关联的字段。在替换实施例中，相关联字段818可以是具有诸如“yesterday(昨天)”、“last week(上周)”、“last month(上个月)”等的各种数据选项的下拉式菜单。同步引擎使用GUI 804的所选元素806和808的自然语言解释来更新NL输入字段802，得到“email from Joe received in the lastweek(上周从Joe接收的电子邮件)”。
重要的是注意，存在使用自然语言表示相同的概念的众多方式。在任何自然语言输入中存在固有的二义性，这必须由语义引擎(在此实例中，为同步引擎)用合理的确定性来解决。
图9是示出通过GUI元素添加了“carbon copy(抄送)”条件之后使用Find应用程序900的不同的搜索的屏幕截图。应用程序900包括NL输入902和GUI 904。用户从GUI对象下拉式列表906中选择“email”。用户然后可以使用下拉式菜单916选择一个或多个条件选项，下拉式菜单916基于上下文提供选择选项。例如，因为用户选择了“email”，因此条件选项包括与电子邮件相关联的应用程序元素，诸如“To”、“from”“Received Date”等。用户选择选项中的一个或多个(在此实例中，使用下拉式菜单916选择“from”和“CC(抄送)”)，使应用程序分别添加所选择的GUI 908和912及其相关联的输入字段910和914。用户填写相关联的字段910和914。同步引擎使用所选GUI元素908和912及其相关联的输入字段910和914的自然语言解释来更新NL输入字段902。在此实例中，应用程序900可以例如与执行引擎(诸如图3的执行引擎308)交互，执行引擎基于用户的输入执行搜索。执行引擎搜索数据库并返回一结果列表，用于在应用程序900的显示区域920中显示。显示区域920可以使用一找到的项的列表922来填充。在“找出由Jonas抄送给Tom的所有电子邮件(find all emails from Jonas CC Tom)”的情况下，应用程序应该显示Jonas发送的Tom通过“抄送(cc)”复制的所有电子邮件。在该实例中，仅存在符合这些标准的三封电子邮件。
尽管上述讨论主要集中在独立类型的应用程序，但应该理解，可以在更大的应用程序中结合该同步特征.GUI对象与自然语言输入的同步向用户提供了对应用程序如何解释自然语言的理解.另外，同步特征用作用于训练用户关于应用程序内的可用选项的装置.最后，同步用作检错特征，以允许用户纠正查询中的差错，这些差错由应用程序对用户选择的解释而变得显而易见.该即时反馈不仅向用户更直观地呈现了应用程序，而且通过纠正用户可能否则没有意识到的错误解释来允许用户变得更有效率.
尽管本发明是相对于特定实施例来描述的，但是本领域的技术人员应该认识到，可以在形式和细节上进行修改而不背离本发明的精神和范围。

Claims (19)

1.一种用于同步自然语言输入元素和图形用户界面的系统，包括：
同步引擎，适用于监视用户与自然语言输入元素和图形用户界面的交互，并响应于所述用户交互同步所述自然语言输入元素和所述图形用户界面；以及
重述引擎，适用于组成表示所述图形用户界面的变化对象的自然语言输入，其中，所述同步引擎响应于每一变化，使用所组成的自然语言输入更新所述自然语言输入元素。
2.如权利要求1所述的系统，其特征在于，所述系统还包括：
语义引擎，适用于将所述自然语言输入映射至所述图形用户界面，其中，所述同步引擎响应于所述自然语言输入元素中的变化使用所映射的对象更新图形用户界面。
3.如权利要求1所述的系统，其特征在于，所述系统还包括：
执行引擎，适用于基于对所述自然语言输入元素或对所述图形用户界面中的所选对象的变化，在数据存储上执行操作。
4.如权利要求3所述的系统，其特征在于，所述操作包括查询，且其中，所述执行引擎适用于基于所述用户交互检索存储的数据，以及根据检索到的数据在所述系统的显示区域中显示结果列表。
5.如权利要求1所述的系统，其特征在于，所述同步引擎适用于根据所述用户交互，基本上同时地同步所述自然语言输入元素和所述图形用户界面内的对应对象。
6.一种用于同步自然语言输入和系统的图形用户界面内的GUI对象的方法，所述方法包括：
监视输入元素和所述图形用户界面的用户交互；以及
自动同步所述输入元素和所述图形用户界面，使得所述输入元素的自然语言输入和所述图形用户界面的GUI对象对应，
其中，如果用户与所述图形用户界面交互，那么所述同步步骤包括：
向自然语言文本重述所述图形用户界面的GUI对象；以及
修改所述输入元素的自然语言输入以反映重述的自然语言文本。
7.如权利要求6所述的方法，其特征在于，所述GUI对象包括与系统特征相关联的图形元素。
8.如权利要求6所述的方法，其特征在于，所述监视步骤包括：
检测用户与所述图形用户界面或所述输入元素的交互。
9.如权利要求8所述的方法，其特征在于，所述同步步骤包括：
响应于检测到的用户交互，编程地修改所述图形用户界面或所述输入元素。
10.如权利要求6所述的方法，其特征在于，如果用户与所述输入元素交互，那么所述同步步骤包括：
将所述输入元素的自然语言输入映射至一个或多个GUI对象；以及
修改所述图形用户界面以包括被映射至所述自然语言输入的所述一个或多个GUI元素。
11.如权利要求6所述的方法，其特征在于，还包括：
基于所述自然语言输入或者所述图形用户界面的GUI对象，在数据上执行操作；以及
将一个或多个结果返回给系统用于向用户显示。
12.如权利要求6所述的方法，其特征在于，所述系统包括用于在计算系统上执行的计算机可读指令.
13.如权利要求6所述的方法，其特征在于，所述同步步骤包括：
如果所述自然语言输入根据所述用户交互变化，那么将所述自然语言输入映射至与系统相关联的GUI对象；以及
更改所述图形用户界面以包括所映射的GUI对象。
14.如权和要求6所述的方法，其特征在于，所述同步步骤包括：
如果所述GUI对象基于所述用户交互变化，那么组成基于GUI对象的自然语言输入；以及
更改所述自然语言输入以包括所组成的自然语言输入。
15.一种用户界面系统，包括：
自然语言输入组件，适用于接收自然语言输入，其中所述用户界面系统提供具有适用于对应用程序域建模并响应用户交互的一个或多个对象的图形用户界面；
同步引擎，适用于同步所述自然语言输入组件的自然语言输入和所述图形用户界面的所述一个或多个对象；以及
重述引擎，适用于组成表示所述图形用户界面的所述一个或多个对象的自然语言输入，其中，所述同步引擎适用于使用所组成的自然语言输入来更新所述自然语言输入组件。
16.如权利要求15所述的用户界面系统，其特征在于，所述同步引擎包括：
语义引擎，适用于将来自所述自然语言输入组件的自然语言输入映射至所述图形用户界面的所述一个或多个对象，其中，所述同步引擎适用于使用一个或多个映射的对象来更新所述图形用户界面。
17.如权利要求15所述的用户界面系统，其特征在于，所述自然语言输入包含语音输入。
18.如权利要求15所述的用户界面系统，其特征在于，还包括：
执行引擎，它耦合至所述自然语言输入组件和所述图形用户界面，并适用于响应所述用户交互与一个或多个文件交互。
19.如权利要求15所述的用户界面系统，其特征在于，所述同步引擎适用于监视所述自然语言输入组件和所述图形用户界面的用户交互。
CN2005101250344A 2004-12-14 2005-11-15 同步自然语言输入元素和图形用户界面的系统和方法 Expired - Fee Related CN1790326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/011,811 US7640162B2 (en) 2004-12-14 2004-12-14 Semantic canvas
US11/011,811 2004-12-14

Publications (2)

Publication Number Publication Date
CN1790326A CN1790326A (zh) 2006-06-21
CN1790326B true CN1790326B (zh) 2010-05-05

Family

ID=35945327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101250344A Expired - Fee Related CN1790326B (zh) 2004-12-14 2005-11-15 同步自然语言输入元素和图形用户界面的系统和方法

Country Status (5)

Country Link
US (2) US7640162B2 (zh)
EP (1) EP1672539B1 (zh)
JP (1) JP4837980B2 (zh)
KR (1) KR101130502B1 (zh)
CN (1) CN1790326B (zh)

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US9715678B2 (en) 2003-06-26 2017-07-25 Microsoft Technology Licensing, Llc Side-by-side shared calendars
US7707255B2 (en) 2003-07-01 2010-04-27 Microsoft Corporation Automatic grouping of electronic mail
US8255828B2 (en) 2004-08-16 2012-08-28 Microsoft Corporation Command user interface for displaying selectable software functionality controls
US8146016B2 (en) 2004-08-16 2012-03-27 Microsoft Corporation User interface for displaying a gallery of formatting options applicable to a selected object
US9015621B2 (en) 2004-08-16 2015-04-21 Microsoft Technology Licensing, Llc Command user interface for displaying multiple sections of software functionality controls
US7703036B2 (en) 2004-08-16 2010-04-20 Microsoft Corporation User interface for displaying selectable software functionality controls that are relevant to a selected object
US7640162B2 (en) * 2004-12-14 2009-12-29 Microsoft Corporation Semantic canvas
US7788594B1 (en) * 2005-01-19 2010-08-31 Apple Inc. Methods and apparatuses for inputting information
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9542667B2 (en) 2005-09-09 2017-01-10 Microsoft Technology Licensing, Llc Navigating messages within a thread
US8627222B2 (en) * 2005-09-12 2014-01-07 Microsoft Corporation Expanded search and find user interface
US20070179775A1 (en) * 2006-01-30 2007-08-02 Bauman Brian D Method and system for translating a software application into an alternative language
US9727989B2 (en) 2006-06-01 2017-08-08 Microsoft Technology Licensing, Llc Modifying and formatting a chart using pictorially provided chart elements
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8429626B2 (en) * 2007-02-15 2013-04-23 Microsoft Corporation Packaging content updates
US8589874B2 (en) * 2007-06-11 2013-11-19 Microsoft Corporation Visual interface to represent scripted behaviors
US8484578B2 (en) 2007-06-29 2013-07-09 Microsoft Corporation Communication between a document editor in-space user interface and a document editor out-space user interface
US8762880B2 (en) 2007-06-29 2014-06-24 Microsoft Corporation Exposing non-authoring features through document status information in an out-space user interface
US8126863B2 (en) * 2007-10-25 2012-02-28 Apple Inc. Search control combining classification and text-based searching techniques
US8370372B2 (en) * 2007-11-05 2013-02-05 Jones Scott A Method and system of promoting human-assisted search
US8150869B2 (en) * 2008-03-17 2012-04-03 Microsoft Corporation Combined web browsing and searching
US9588781B2 (en) 2008-03-31 2017-03-07 Microsoft Technology Licensing, Llc Associating command surfaces with multiple active components
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US8375014B1 (en) * 2008-06-19 2013-02-12 BioFortis, Inc. Database query builder
US9665850B2 (en) 2008-06-20 2017-05-30 Microsoft Technology Licensing, Llc Synchronized conversation-centric message list and message reading pane
WO2010097319A1 (en) * 2009-02-27 2010-09-02 Amadeus S.A.S. Graphical user interface for search request management
EP2224358A1 (en) 2009-02-27 2010-09-01 AMADEUS sas Graphical user interface for search request management
US9046983B2 (en) 2009-05-12 2015-06-02 Microsoft Technology Licensing, Llc Hierarchically-organized control galleries
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
JP4965623B2 (ja) * 2009-09-30 2012-07-04 インターナショナル・ビジネス・マシーンズ・コーポレーション 所定のソフトウェアの実行パラメータを入力フィールドへ入力することを支援するための方法、システム、およびプログラム
US20110154376A1 (en) * 2009-12-17 2011-06-23 Microsoft Corporation Use of Web Services API to Identify Responsive Content Items
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8473507B2 (en) * 2011-01-14 2013-06-25 Apple Inc. Tokenized search suggestions
US9659099B2 (en) 2011-03-14 2017-05-23 Amgine Technologies (Us), Inc. Translation of user requests into itinerary solutions
US11763212B2 (en) 2011-03-14 2023-09-19 Amgine Technologies (Us), Inc. Artificially intelligent computing engine for travel itinerary resolutions
CA2830224C (en) 2011-03-14 2017-12-05 Amgine Technologies Limited Methods and systems for transacting travel-related goods and services
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8918468B1 (en) * 2011-07-19 2014-12-23 West Corporation Processing social networking-based user input information to identify potential topics of interest
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US11392601B2 (en) 2012-01-18 2022-07-19 Google Llc Search-based document user interfaces
US11514230B2 (en) * 2012-01-18 2022-11-29 Google Llc Methods and systems for searching document operation labels
KR20130120793A (ko) * 2012-04-26 2013-11-05 케이티하이텔 주식회사 버전 제어 시스템에서 그래픽 유저 인터페이스 버전을 제어하는 장치 및 방법
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140236986A1 (en) * 2013-02-21 2014-08-21 Apple Inc. Natural language document search
US9842584B1 (en) * 2013-03-14 2017-12-12 Amazon Technologies, Inc. Providing content on multiple devices
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US20150242474A1 (en) * 2014-02-27 2015-08-27 Microsoft Corporation Inline and context aware query box
CA2944652A1 (en) 2014-04-01 2015-10-08 Amgine Technologies (Us), Inc. Inference model for traveler classification
US9424344B2 (en) 2014-05-07 2016-08-23 Bank Of America Corporation Method and apparatus for natural language search for variables
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104199861B (zh) * 2014-08-15 2018-02-02 小米科技有限责任公司 事项标记方法及装置
US10515151B2 (en) * 2014-08-18 2019-12-24 Nuance Communications, Inc. Concept identification and capture
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9846723B1 (en) * 2014-10-27 2017-12-19 Amdocs Software Systems Limited System, method, and computer program for automatically accessing data in a database based on query information
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US11049047B2 (en) 2015-06-25 2021-06-29 Amgine Technologies (Us), Inc. Multiattribute travel booking platform
CA2988975C (en) 2015-06-18 2022-09-27 Amgine Technologies (Us), Inc. Scoring system for travel planning
US11941552B2 (en) 2015-06-25 2024-03-26 Amgine Technologies (Us), Inc. Travel booking platform with multiattribute portfolio evaluation
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US20170235799A1 (en) * 2016-02-11 2017-08-17 Lexisnexis, A Division Of Reed Elsevier Inc. Systems and methods for searching databases using graphical user interfaces that include concept stacks
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10795902B1 (en) * 2016-04-12 2020-10-06 Tableau Software, Inc. Applying natural language pragmatics in a data visualization user interface
US11010396B1 (en) * 2016-04-12 2021-05-18 Tableau Software, Inc. Data visualization user interface using cohesion of sequential natural language commands
US10817527B1 (en) * 2016-04-12 2020-10-27 Tableau Software, Inc. Systems and methods of using natural language processing for visual analysis of a data set
US10515121B1 (en) 2016-04-12 2019-12-24 Tableau Software, Inc. Systems and methods of using natural language processing for visual analysis of a data set
US11030207B1 (en) * 2016-04-12 2021-06-08 Tableau Software, Inc. Updating displayed data visualizations according to identified conversation centers in natural language commands
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
EP3497584A4 (en) 2016-08-09 2020-03-11 Ripcord, Inc. SYSTEMS AND METHODS FOR THE CONTEXTUAL RETRIEVING OF ELECTRONIC DATA RECORDS
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
GB201616990D0 (en) * 2016-10-06 2016-11-23 Microsoft Technology Licensing Llc User interface
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10169336B2 (en) 2017-01-23 2019-01-01 International Business Machines Corporation Translating structured languages to natural language using domain-specific ontology
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US11144810B2 (en) * 2017-06-27 2021-10-12 International Business Machines Corporation Enhanced visual dialog system for intelligent tutors
EP3704689A4 (en) * 2017-11-05 2021-08-11 Walkme Ltd. CHAT-BASED APPLICATION INTERFACE FOR AUTOMATION
US11714955B2 (en) 2018-08-22 2023-08-01 Microstrategy Incorporated Dynamic document annotations
US11238210B2 (en) 2018-08-22 2022-02-01 Microstrategy Incorporated Generating and presenting customized information cards
US11815936B2 (en) 2018-08-22 2023-11-14 Microstrategy Incorporated Providing contextually-relevant database content based on calendar data
WO2020040780A1 (en) * 2018-08-24 2020-02-27 Hewlett-Packard Development Company, L.P. Identifying digital elements
US11048871B2 (en) * 2018-09-18 2021-06-29 Tableau Software, Inc. Analyzing natural language expressions in a data visualization user interface
US11397770B2 (en) * 2018-11-26 2022-07-26 Sap Se Query discovery and interpretation
US11682390B2 (en) 2019-02-06 2023-06-20 Microstrategy Incorporated Interactive interface for analytics
US11086861B2 (en) * 2019-06-20 2021-08-10 International Business Machines Corporation Translating a natural language query into a formal data query
US11455339B1 (en) 2019-09-06 2022-09-27 Tableau Software, LLC Incremental updates to natural language expressions in a data visualization user interface
US11769509B2 (en) 2019-12-31 2023-09-26 Microstrategy Incorporated Speech-based contextual delivery of content
US11698933B1 (en) 2020-09-18 2023-07-11 Tableau Software, LLC Using dynamic entity search during entry of natural language commands for visual data analysis
US11301631B1 (en) 2020-10-05 2022-04-12 Tableau Software, LLC Visually correlating individual terms in natural language input to respective structured phrases representing the natural language input
US11790107B1 (en) 2022-11-03 2023-10-17 Vignet Incorporated Data sharing platform for researchers conducting clinical trials

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884249A (en) * 1995-03-23 1999-03-16 Hitachi, Ltd. Input device, inputting method, information processing system, and input information managing method
EP1100013A2 (en) * 1999-10-12 2001-05-16 International Business Machines Corporation Methods and systems for multi-modal browsing and implementation of a conversational markup language

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404506A (en) * 1985-03-27 1995-04-04 Hitachi, Ltd. Knowledge based information retrieval system
JPH02270067A (ja) 1987-04-16 1990-11-05 Westinghouse Electric Corp <We> インテリジェント問合せシステム
JPH04260913A (ja) * 1991-01-23 1992-09-16 Murao & Co Ltd キーボード入力機に於ける音声モニター装置
JPH096586A (ja) * 1995-06-26 1997-01-10 Nec Corp グラフィカル・ユーザインタフェース操作装置
IL142363A0 (en) * 1998-10-02 2002-03-10 Ibm System and method for providing network coordinated conversational services
US7216351B1 (en) * 1999-04-07 2007-05-08 International Business Machines Corporation Systems and methods for synchronizing multi-modal interactions
US6665640B1 (en) * 1999-11-12 2003-12-16 Phoenix Solutions, Inc. Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries
US7415537B1 (en) * 2000-04-07 2008-08-19 International Business Machines Corporation Conversational portal for providing conversational browsing and multimedia broadcast on demand
US6578022B1 (en) * 2000-04-18 2003-06-10 Icplanet Corporation Interactive intelligent searching with executable suggestions
US6993475B1 (en) * 2000-05-03 2006-01-31 Microsoft Corporation Methods, apparatus, and data structures for facilitating a natural language interface to stored information
US7027975B1 (en) * 2000-08-08 2006-04-11 Object Services And Consulting, Inc. Guided natural language interface system and method
US6678679B1 (en) * 2000-10-10 2004-01-13 Science Applications International Corporation Method and system for facilitating the refinement of data queries
US6999932B1 (en) * 2000-10-10 2006-02-14 Intel Corporation Language independent voice-based search system
US20030046316A1 (en) 2001-04-18 2003-03-06 Jaroslav Gergic Systems and methods for providing conversational computing via javaserver pages and javabeans
JP2003029891A (ja) * 2001-07-19 2003-01-31 Hitachi Ltd コンピュータ操作支援装置及びその処理プログラム
US7752326B2 (en) * 2001-08-20 2010-07-06 Masterobjects, Inc. System and method for utilizing asynchronous client server communication objects
US7209876B2 (en) * 2001-11-13 2007-04-24 Groove Unlimited, Llc System and method for automated answering of natural language questions and queries
US7315810B2 (en) * 2002-01-07 2008-01-01 Microsoft Corporation Named entity (NE) interface for multiple client application programs
US7177799B2 (en) * 2002-01-14 2007-02-13 Microsoft Corporation Semantic analysis system for interpreting linguistic structures output by a natural language linguistic analysis system
US7100123B1 (en) * 2002-01-25 2006-08-29 Microsoft Corporation Electronic content search and delivery based on cursor location
JP2003233465A (ja) * 2002-02-08 2003-08-22 Nec Soft Ltd 入力装置およびボタン操作検出処理プログラム
US7225131B1 (en) * 2002-06-14 2007-05-29 At&T Corp. System and method for accessing and annotating electronic medical records using multi-modal interface
JP4015495B2 (ja) * 2002-07-24 2007-11-28 日本電信電話株式会社 入力表示方法、入力表示装置、入力表示プログラム及び入力表示プログラムを記録した記録媒体
JP2004062517A (ja) * 2002-07-29 2004-02-26 Nec Corp 音声制御装置、音声制御方法、およびプログラム
US7421433B2 (en) * 2002-10-31 2008-09-02 Hewlett-Packard Development Company, L.P. Semantic-based system including semantic vectors
US20040148170A1 (en) * 2003-01-23 2004-07-29 Alejandro Acero Statistical classifiers for spoken language understanding and command/control scenarios
JP4027269B2 (ja) * 2003-06-02 2007-12-26 キヤノン株式会社 情報処理方法及び装置
US20060200827A1 (en) * 2005-02-18 2006-09-07 Sidlosky Jeffrey A J Methods and systems providing desktop search capability to software application
WO2006014454A1 (en) * 2004-07-06 2006-02-09 Icosystem Corporation Methods and apparatus for query refinement using genetic algorithms
US7685118B2 (en) * 2004-08-12 2010-03-23 Iwint International Holdings Inc. Method using ontology and user query processing to solve inventor problems and user problems
US7593846B2 (en) * 2004-09-02 2009-09-22 Microsoft Corporation Method and apparatus for building semantic structures using self-describing fragments
US7720867B2 (en) * 2004-09-08 2010-05-18 Oracle International Corporation Natural language query construction using purpose-driven template
US7640162B2 (en) * 2004-12-14 2009-12-29 Microsoft Corporation Semantic canvas
US20060195435A1 (en) * 2005-02-28 2006-08-31 Microsoft Corporation System and method for providing query assistance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5884249A (en) * 1995-03-23 1999-03-16 Hitachi, Ltd. Input device, inputting method, information processing system, and input information managing method
EP1100013A2 (en) * 1999-10-12 2001-05-16 International Business Machines Corporation Methods and systems for multi-modal browsing and implementation of a conversational markup language

Also Published As

Publication number Publication date
US20060129379A1 (en) 2006-06-15
JP2006172435A (ja) 2006-06-29
CN1790326A (zh) 2006-06-21
JP4837980B2 (ja) 2011-12-14
US20070174350A1 (en) 2007-07-26
US7685116B2 (en) 2010-03-23
EP1672539A3 (en) 2008-04-23
US7640162B2 (en) 2009-12-29
KR20060067136A (ko) 2006-06-19
EP1672539A2 (en) 2006-06-21
KR101130502B1 (ko) 2012-03-27
EP1672539B1 (en) 2018-05-16

Similar Documents

Publication Publication Date Title
CN1790326B (zh) 同步自然语言输入元素和图形用户界面的系统和方法
KR102563314B1 (ko) 전자 장치 및 단축 명령어의 바로가기 생성 방법
JP6952184B2 (ja) ビューに基づく音声インタラクション方法、装置、サーバ、端末及び媒体
US10217462B2 (en) Automating natural language task/dialog authoring by leveraging existing content
US9171539B2 (en) Transforming components of a web page to voice prompts
CN100573503C (zh) 自动生成内容的方法和系统
US7216266B2 (en) Change request form annotation
CN100451968C (zh) 语法创建系统
WO2020108257A1 (zh) 表格内容的自动分列方法、装置、计算机设备及存储介质
CN100587658C (zh) 可搜索控制模板功能的基于任务的界面
CN101495965B (zh) 语义富对象的动态用户体验
CN106104528A (zh) 用于屏幕上项目选择和消歧的基于模型的方法
CN107210033A (zh) 基于众包来更新用于数字个人助理的语言理解分类器模型
JP2019046468A (ja) インターフェイススマートインタラクティブ制御方法、装置、システム及びプログラム
CN101395600A (zh) 自适应语义平台体系结构
KR20180120427A (ko) 지능형 에이전트 관리 방법 및 장치
US20220276067A1 (en) Method and apparatus for guiding voice-packet recording function, device and computer storage medium
CN102323858A (zh) 识别输入时修改项的输入方法、终端及系统
CN111539217A (zh) 一种用于自然语言内容标题消歧的方法、设备和系统
CN116956825A (zh) 表单转换方法及服务器
JP6944920B2 (ja) スマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体
CN101014996A (zh) 语音合成
CN112102820A (zh) 交互方法、交互装置、电子设备和介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150513

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150513

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100505

Termination date: 20191115