CN1916828A

CN1916828A - 事件指挥所

Info

Publication number: CN1916828A
Application number: CNA2006100714562A
Authority: CN
Inventors: 罗伯特·派; 蒂姆·卡尔德韦; 萨米尔·雷亚尼
Original assignee: SAP SE
Current assignee: SAP SE
Priority date: 2005-03-28
Filing date: 2006-03-28
Publication date: 2007-02-21
Anticipated expiration: 2026-03-28
Also published as: US7881862B2; CN100432913C; US20060217881A1; US8352172B2; EP1708152A3; US20110066947A1; EP1708152A2

Abstract

本发明提供了一种用于跟踪现场资源和使用多种输入和输出模态来启动与被跟踪资源的音频和视频通信的系统和方法。该系统包括具有定位引擎和呈现引擎的位置跟踪系统、环境跟踪系统、或是永久性地安装的或是临时布置的位置和环境传感器、以及诸如由被跟踪的资源和用户携带的移动电话或个人数字助理的便携式设备。该方法包括跟踪在现场的这种资源，使用可视地图显示器在便携式设备上显示他们的位置，并提供启动与一个或多个被跟踪资源的双向音频和视频通信的能力。

Description

事件指挥所

相关申请参考

本发明涉及下列共同待审专利申请(i)2002年4月25日提交的申请号为10/131,216，名称为“多模态同步”(Multi-Modal Synchronization)的美国专利申请；(ii)2002年5月30日提交的申请号为10/157,030，名称为“用于数据访问和输入的用户接口”(User interface for Data Access and Entry)的美国专利申请；(iii)2002年6月28日提交的申请号为10/184,069,名称为“用于数据访问和输入的用户接口”(User interface for Data Access and Entry)的美国专利申请；(iv)2002年11月27日提交的申请号为10/305,267，名称为“用于语音使能的应用的动态语法”(Dynamic Grammar for Voice-Enabled Applications)的美国专利申请。所有包括上述专利、专利申请和所提及的文件，全部结合于此作为参考。

技术领域

本发明涉及用于信息收集和在物理现场(physical site)的用户之间的通信的方法和装置。

背景技术

近些年来，开发了很多诸如移动电话和步话机的设备，用于在移动用户组之间的双向音频通信。除了音频设备外，还开发了很多视频设备，诸如网络摄像机和视频电话被开发以便提供在一组用户之间的双向视频通信。

在诸如火灾的动态情形中，对于处在紧急事件指挥所(incident commandpost)的协调人员来说，跟踪救火员和其它地面人员是极其重要的，以便能够适当地观察和指引他们。这些情形还需要用于启动和维持与相关人员的音频和视频通信链路的装置。

在当前的技术中，紧急事件指挥所通常使用分离的、非集成的用于音频和视频通信的系统来建立与救火员的音频或视频链路。例如，步话机系统用于音频通信，而闭路电视(“CCTV”)摄像机被用于视频通信。计算机处理器还可以被用于提供使用发送这种信息的设备的人员的位置信息。

而且，在现有技术中，建筑经常配备有多种类型的传感器，例如，位置传感器、温度传感器、移动传感器和烟雾传感器。这种传感器可以连接到或者可以不连接到计算机网路。这种传感器提供关于用户/资源的位置的有价值的信息以及关于在现场位置的环境的信息。

然而，在当前的技术中，这些系统/设备(移动电话、步话机、视频电话等)缺少一个单一接口上传送用于决策的信息所需的集成。没有一个单一系统能够提供集中式的位置和传感器信息，以及通信集线器(communication hub)的功能。这种集成的缺乏导致了在诸如火灾的紧急情况(mission critical)中的协调和通信相关问题。

存在对于在紧急情况中允许自然和灵活的通信/交互的系统和方法的需求。需要提供一个双向通信/交互平台，该平台集成来自多种基于位置的系统、音频和视频流系统和传感器系统的信息。这种系统能够真正在单一接口上提供通过现场视频通信的实时状况可见性，以及用于建立双向交互和/或通信的容易和灵活的接口，以及有价值的传感器数据。

在动态环境中，用于为用户提供这种集成的理想的平台是诸如膝上计算机、蜂窝式电话和个人数字助理(“PDA”)的移动设备。这些设备之所以是非常适合这种状况的原因在于：

它们都是轻便和易于使用的，

它们的屏幕能够使用适当的解析度来进行视频显示。

它们能够被容易地连接到无线网络，从而辅助移动用途，

它们提供所需的双向通信能力，同时，最重要的是，

它们能够被连接到集成位置信息、实时视频显示和辅助多模态的服务器系统。

用于这种提供传感器信息与音频和视频通信的集成的理想接口将被便利地集成，而且是多模态的(multimodal)，允许同时使用诸如语音、小键盘、输入笔动作(stylus gesture)的输入模态以及诸如音频、视频和地图显示的输出模态。

这种接口的用户能够执行各种任务，包括跟踪用户/资源、导航通过他们的环境，定位在他们的环境中的其他用户/资源以及使用多种模态向地理上收集的资源/用户发出自动化命令。用户能够在地图显示上动态地更新环境的布局以精确地反映状况。

定义

传感器—如在现有技术中所公知的，传感器170是从它们周围的环境收集数据的设备。它们通常将这种数据转换成信号并将它们发送到诸如计算机的其它设备(经由有线或无线网络)。这种信号随后被计算机处理器解释以产生对应的信息。由传感器170搜集的一些类型数据的例子是位置数据(例如，GPS坐标)、以及环境数据(温度、压力、湿度、化学物或烟雾的存在等)。为了本文件的目的，区分位置信号和环境信号(除位置以外的所有信息)是有用的。

通常，位置传感器和环境传感器在物理上是截然不同的，这在于当前技术可用的传感器能够发送位置信号或环境信号，但不能发送这两者。并不奇怪，为了本发明的目的，可以在相同的设备中一起包装位置传感器和环境传感器，从而在逻辑意义上来讲，单一设备可以发送这两种类型的信号。

在本发明的一个实施例中，与移动用户和对象(静止和移动两者)相关的位置传感器分别发送使能对用户和对象进行跟踪的位置信号。位置传感器可以是和由用户携带移动多模态系统120相关的或者可以是静态的。静态位置传感器也可以是在现场原有的(例如嵌入的墙壁或者建筑的其它部件中)，或者可以是由用户带入的用来帮助绘制(map)所述现场的地图(在建筑各点的大量位置传感器可能足以添加信息到地图，或者甚至创建地图本身)。

“移动计算机架构”—在一个实施例中，移动计算机架构110是一个包括计算机网络、物理和逻辑的区分多模态系统120(通常由用户携带)、和位置跟踪系统140的架构。在一个实施例中，多模态系统120是具有音频、视频和文本模式的显示和通信能力的设备。位置信号由网络的位置传感器170发送到位置跟踪系统140，从而定位了与该传感器相关的被跟踪资源。

移动计算机网络110还可以具有环境跟踪系统160，用于解释来自环境传感器的信号，以及归档系统150，用于存储该环境信息，包括由移动计算机架构110创建的现场的地图。

“被跟踪资源”—简单地说指的是一个人或用户、一件设备或任何其它移动或者不移动的具有位置传感器的对象，并且因此能够被位置跟踪系统140跟踪。被跟踪的资源的一个例子是可移动灭火器。被跟踪的资源的另一个例子是安装在建筑中的不移动的闭路电视。被跟踪的资源可以由系统的用户来携带。所述用户与他或她所携带的资源被一起跟踪。例如位置传感器可以和个人或用户携带的移动多模态系统120相关，从而帮助跟踪这样的多模态系统120的用户的位置。为了文件的目的，在一些地方我们对个人将使用词语“用户”来描述而不是将他们称作被跟踪的资源。

“位置跟踪系统”—位置跟踪系统140是用于管理移动或不移动的资源的位置数据的系统。在一个实施例中，位置跟踪系统140包括定位引擎220以及呈现系统230。

“定位引擎”—定位引擎220是用于搜集移动和不移动的被跟踪资源的定位信号的系统。定位引擎220与位置传感器发送的位置信号一起使用。在一个实施例中，定位引擎收集和积累来自位置传感器的位置信号，所述位置传感器和由用户携带的移动多模态系统120相关。在另一个实施例中，定位引擎收集和积累可以是来自静态传感器或者已经是现场的原有位置传感器的位置信号(例如，嵌入建筑的墙壁或者是其它部件的)，或者可以是由用户带入以帮助绘制所述现场的地图的位置传感器的位置信号(建筑中各点的大量传感器可以是足够向地图添加信息或者是用来创建地图本身的)。

按照对象，定位引擎220包括用于从位置传感器接收室内和室外位置信号的位置接收机，以及用于处理和解释所接收的位置信号的部件。在一个实施例中，定位引擎可以具有便利于跟踪的客户端软件或者硬件部件，其与嵌入和被跟踪的资源相关的位置传感器中的硬件或软件类似。例如，如果定位引擎使用采用射频信号的跟踪协议，则被跟踪的资源可以携带射频发射机和接收机。

位置传感器的例子诸如包括基于IEEEE 802.11或基于射频的产品，它们将位置信号定期发送给定位引擎，这些产品可以来自诸如Ekahau、Aeroscout和Wherenet公司。

“呈现系统”—在一个实施例中，呈现系统230的目的包括但不局限于，向多模态系统120通信和呈现信息。其还便利使用多模态系统120用于这种通信的跟踪的资源(用户)之间的双向音频和视频通信。呈现系统230包括(a)从移动多模态系统接收请求的部件、以及(b)响应于来自移动多模态系统的请求的部件。呈现系统230管理在位置跟踪系统140和用户之间的全部用户交互。

呈现系统230通过诸如SAP NetWeaver协作平台的服务器架构的协作部件便利了在被跟踪的资源之间的双向音频和视频通信。

呈现系统230的一个例子包括在SAP NetWeaver应用环境中运行并响应于经由超文本传输协议(“HTTP”)连接的用户请求。该响应是使用XHTML+Voice(“X+V”)或与引用语言标签(“SALT”)标准的多模态文件(使用例如文本和声音的超过一种通信模式的文件)。该移动设备需要被配备成使用相同标准与呈现系统230进行通信。

位置跟踪系统140还可以包括但不局限于诸如融合引擎260和地图存储设备250的其它部件。

融合引擎—融合引擎260是将来自连接到其的多种部件的输入信息进行集成和积累，用于通过定位跟踪系统输出到被跟踪的资源的软件部件。在一个实例中，连接到融合引擎260的不同部件是定位引擎220、呈现系统230、地图存储设备250以及环境跟踪系统160。融合引擎将来自环境跟踪系统160的环境传感器信息、来自定位引擎220的定位信息以及来自呈现系统230的双向音频和视频通信作为输入接收。融合引擎260将来自连接到其的多种部件的输入信息进行集成，并积累其用于输出和将所集成的输出信息经由呈现系统230传送到移动多模态系统120。融合引擎260还将所收集的信息发送到归档系统150。

在本发明的一个实施例，融合引擎260是将要运行在SAP NetWeaver或类似平台的软件部件。

“地图存储设备”—地图存储设备250是以多种格式存储的地图和图像的软件数据库。在一个实施例中，地图存储设备250双向连接到呈现系统230和定位引擎220。其经由呈现系统230显示在移动多模态系统120上的地图。

地图存储设备250可以是来自诸如Oracle、IBM、微软和Myself的经销商的任何数据库。该数据库必须能够存储图像信息、以及大量和地图上感兴趣的多种点/位置的坐标相关的信息。

“环境跟踪系统”—环境跟踪系统160是用于解释环境信号的系统。环境跟踪系统160包括用于解释中继的环境信号的处理器。该处理器将解释的环境信号经由位置跟踪系统140传送给移动多模态系统120。环境跟踪系统160双向链连接到位置跟踪系统140。

环境传感器170的例子是安装在办公室建筑中的温度和湿度传感器。如果兼容，它们还可以是已经连接到在建筑中的计算机网络并且可由本发明的网络访问。新一代环境传感器170基于分别被称为因特尔微粒(Intel Motes)、伯克利微粒(Berkeley Motes)和Smart Dust的特别网络技术。这些环境传感器170能够感知诸如温度的各种环境参数。当多个微粒(motes)在相互通信的距离之内，它们能够通过它们自身形成计算机网络并且能在它们之间或与外部系统交换信息。

当特定环境参数的值落在预定值之外时，可以确定发生一个事件。例如，如果由环境参数定义的火灾温度是120(华氏度)或更高，则任何由环境跟踪系统160接收的这种信号的例子都将指示火灾。环境跟踪系统将事件的发生以及其位置(从相关的位置传感器确定该事件的位置)经由位置跟踪系统140传送给移动多模态系统120的用户。

“归档系统”—归档系统150是用于记录被跟踪的资源之间(用于通信的移动多模态系统120的用户)的双向通信、被跟踪资源的所有移动和其它数据的系统。在一个实施例中，它是记录被跟踪的资源的所有双向通信和所有移动的大型多媒体数据库。它具有将时间戳盖在存储的信息上的处理器。该处理器还检索、重放、分类以及分析所存储的信息。归档系统150连接到位置跟踪系统140。

“移动设备”—移动设备是具有计算能力并且具有用户界面的被跟踪的资源。在一个实施例中，其可以是膝上计算机或数字个人助理(“PDA”)或者是类似的具有多模态用户界面的计算设备。

“多模态界面”—多模态界面是支持诸如语音或机械键盘和输入笔动作的组合以及诸如听觉和视觉的输出模态的组合的计算机用户界面。该多模态界面与移动多模态系统相关。

“多模态系统”—多模态系统120是用于在移动设备的用户和使用多种输入和输出模态的移动计算架构110之间的通信的系统。在一个实施例中，移动设备或系统包括但不局限于：(a)包括麦克风、扬声器以及音频编解码器的音频输入/输出系统；(b)显示输出和小键盘(keypad)/输入笔(stylus)输入；(c)包括摄像机和视频编解码器的视频输入/输出系统；(d)包括句法分析器、解释器以及用于文本到语音转换以及语音到文本转换的嵌入式语音识别引擎、以及为用户同步音频和视频输入和输出两者的同步元件的多模态浏览器；(e)双向使能视频信息流的视频缓冲器；(f)包括软件驱动器和在网络上发送或接收信号所需的天线的802.11无线通信能力；以及(g)用于解释在网络上发送的信号或接收的信号，以将输出递送给用户和从用户接收输入的软件部件。在本发明中，多模态系统120通常由用户携带，并且因此是移动多模态系统120。

“XHTML+Voice”-XHTML+Voice是作为扩展超文本标记语言(“XHTML”)和声音扩展标记语言(“VXML”)的组合的一种标记语言。XHTML+Voice文本可以包括地图、声音对话、声音语法或任何其它信息。XHTML+Voice文本可以由多模态XHTML+Voice浏览器来进行句法分析(parsable)、解释(interpretable)和渲染(renderable)。XHTML+Voice还结合了XML-Events技术。在XML-Events中，例如口头发声、输入笔动作或是小键盘输入都被称作为事件。这种事件是事先定义的。这些事件在XHTML+Voice中是使用预先定义的句柄(handler)来处理的，而这些句柄是使用来自诸如Javascript的多种脚本技术来实现的。当预定义的事件发生时(例如当口头发声时)，激活在预定句柄中的Javascript代码并且处理该事件。在口头发声的一个实例中，XML-Events利用使用Javascript实现的声音句柄来处理预定义的事件。

XHTML+Voice文件由浏览器进行句法分析(由包括Javascript引擎的浏览器中的句法分析器)，并且在客户设备上的浏览器中创建文件的文件对象模型(DOM)。文件的DOM如同在原始XHTML+Voice文件一样还包括预先定义的事件和事件句柄(由此创建DOM)。因此，当预定事件发生时调用事件句柄，该预定事件被处理，并且这可以改变DOM。对于DOM的改变反映在视频显示以及由浏览器呈现的声音对话中。对DOM的改变被作为HTTP请求传送给位置跟踪系统。

“区”—在移动应用架构的意义上的区是位置现场的一个区或区域。在一个实施例中，区被在图形地图中划分。在任何给定时间在一个区中可以出现一个或多个被跟踪的资源。

“指挥所”—指挥所是用于在一组被跟踪的资源之间的协调和通信的中心点。在一个实施例中，其最少具有所有被跟踪资源的所有元件。

发明内容

本发明的一个方面提供用于动态绘制用以呈现给用户的现场的地图的系统，该系统包括：计算机网络；多个能够在网络上发送位置信号的位置传感器；用于接收位置信号的网络模块；包括定位引擎和呈现引擎的位置跟踪系统；以及用户显示器。类似的系统可以包括：计算装置；多个能够在网络上发送位置信号的感测装置；用于接收位置信号的网络接收装置；包括用于将地图显示给用户的定位装置和呈现装置的位置跟踪装置；以及用户显示装置。

该系统还可以通过接收和解释附加位置信号来更新地图。位置传感器之一可以和被跟踪的资源相关。该系统还可以包括个人数字助理、膝上型计算机或包括用户显示器的移动电话。该系统可以集成有多模态系统。位置传感器可以是与现场相关的原有的位置传感器或是在绘制地图时被放置在现场的RFID位置传感器。该系统可以包括发送环境信号的环境传感器，环境信号可以被解释为环境信息，并与地图一起来呈现。该系统还可以包括移动计算架构、位置跟踪系统、归档系统、地图存储设备和环境跟踪系统。

本发明的另一个方面提供了一种用于向用户呈现叠加在现场的地图上的本地化的环境信息的方法，该方法包括：从多个位置传感器接收位置信息和从多个环境传感器接收环境信息；将位置信号解释为位置信息和将环境信号解释为环境信息；将位置信息和环境信息应用到现场的地图作为本地化的环境信息；使用应用的信息显示和归档地图；在运行过程中(ongoing basis)重复前面的步骤以便动态更新本地化的环境信息；并当环境信息指示环境参数落在预定范围之外时确定事件的发生。

本发明的位置传感器可以与被跟踪的资源相关。显示可以在个人数字助理、膝上型计算机或包括用户显示器的移动电话上执行。用户的输入和输出可以来自多模态系统。位置传感器可以是与现场相关的原有的位置传感器，或者是在绘制地图时被放置在所述现场的RFID位置传感器。该方法可以包括环境传感器发送可以被解释为环境信息并与地图结合在一起呈现的环境信号，或动态地更新地图或首先产生该地图。该系统还可以包括移动计算架构、位置跟踪系统、归档系统、地图存储设备以及环境跟踪系统。

该方法还可以涉及使用现有的静态数据的产生的初始版本的地图。一些位置传感器被附在(tagged)现场的对象或建筑部件上，以便能够标识所述对象或部件。环境参数值之一可以是温度或化学物浓度。位置信号可以被用于计算在一个传感器和所有其它被跟踪的资源之间的距离，以标识在预定距离内的所感兴趣的所有传感器和相关对象。该方法还可以包括计算在一个位置传感器和其它传感器之间的距离以标识在第一位置传感器的预定距离内的感兴趣的所有传感器和相关对象。

本发明的另一个方面提供了一种用于在现场监控人员移动和状态的方法，其中每个人员和被跟踪的资源相关，该方法包括：从多个位置传感器接收位置信号，其中至少位置传感器之一与和人员相关的一个或多个被跟踪的资源相关；将所述位置信息应用到现场的地图；对叠加有一个或多个被跟踪的资源的地图进行显示和归档；并且在运行过程中重复上述步骤以便连续地更新所跟踪资源的位置和地图。本发明的位置传感器可以和被跟踪的资源相关。显示可以在个人数字助理、膝上型计算机或包括用户显示器的移动电话上执行。用户的输入和输出可以来自多模态系统。位置传感器可以是与现场相关的原有的位置传感器，或者是在绘制地图时被放置在所述现场的RFID位置传感器。该方法可以包括环境传感器发送可以被解释为环境信息并和地图结合在一起呈现的环境信号，或者动态地更新地图或首先产生该地图。该系统还可以包括移动计算架构、位置跟踪系统、归档系统、地图存储设备以及环境跟踪系统。该方法可以涉及接受用户对于用户位置的问询、确定用户位置和将用户位置传送给用户。

本发明的另一个方面提供了一种用于在现场的被跟踪资源之间的通信的方法，该方法包括：在与第一被跟踪资源相关的显示器上加载现场视图；在与第一被跟踪资源相关的显示器上显示现场视图；在所述现场视图上显示和标识包括第二被跟踪资源的一个或多个附加的被跟踪资源；当用户在现场视图上选择了第二被跟踪资源时，在第一被跟踪资源和第二被跟踪资源之间建立音频通信链路或视频通信链路或建立这两者。所述现场视图可以是图形地图、所述现场的视频或文本描述。该方法可以包括在现场视图上标绘代表被跟踪的资源的图形或文本指示符。

该方法可以包括用户使用输入笔选择第二被跟踪资源。用户对第二被跟踪资源的选择可以包括画出环绕代表第二被跟踪资源的指示符的形状。用户对第二被跟踪资源的选择还可以包括用户向与第一被跟踪资源相关的声音识别系统发出声音命令。用户对第二被跟踪资源的选择指定了与第二被跟踪资源相关的属性。该方法可以包括确定在用户和第二被跟踪资源之间的距离，其中，所述位置跟踪系统确定用户的位置以及第二被跟踪资源的位置，并且随后计算在用户的位置和第二被跟踪资源的位置之间的距离。用户对第二被跟踪资源的选择还包括指定第二被跟踪资源离开用户的距离的声音命令，并且该第二被跟踪资源是基于所确定的小于或等于所指定距离的在第一被跟踪资源和第二被跟踪资源之间的距离而选择的。

本发明的另一个方面提供了一种用于在第一被跟踪资源和第二被跟踪资源之间建立双向通信的方法，该方法包括：第一被跟踪资源的用户使用声音、文本或动作模态中的一个或多个在与移动设备相关的多模态系统上输入对第二被跟踪资源的指令；该多模态系统处理由用户输入的指令；位置跟踪系统接收输入指令；位置跟踪系统解释输入指令；位置跟踪系统将该指令传送给第二被跟踪资源；第二被跟踪资源在与第二被跟踪资源相关的多模态界面上输出指令，其中所述输出可以是下面类型中的一种或多种：声音、视频、文本或动作。

下面将结合相关附图描述本发明的这些和其它特征和优点。

本发明的目的和优点

本发明的一些目的和优点在于集成辅助双向通信并在移动多模态界面上向一组被跟踪的资源提供基于位置的服务的各种系统。对于各种系统的集成改善了在资源组之间的通信和协调。

本发明的基于上述目的一些目的和优点是：

提供用于集成位置跟踪系统和双向音频和视频通信系统的方法。这些方法允许通过使用模态，诸如使用输入笔在所显示的位置信息上点击来基于所显示的位置信息容易和直观地建立双向通信，从而避免在通信建立上的延迟。

提供用于集成环境传感器信息和关于位置的信息、使能在统一的多模态界面(与用户使用的移动多模态系统相关的界面)上对现场位置的完全的上下文理解(contextual understanding)的方法。

提供用于记录和归档在资源之间的通信和资源的移动，用于后续分析的方法。

提供用于多模态指令(使用多于一种通信模式给出的指令，诸如声音和文本)的通信，改善系统可用性的方法。

提供一种用于对位置跟踪和环境跟踪系统的多模态询问(使用超过一种的通信模式的问询方法，诸如声音和文本)的方法。

提供用于周期性地标绘叠加有被跟踪的资源的标绘的位置现场的图形地图，从而在位置现场显示在所跟踪资源的位置的任何改变。由于可以用到对于位置现场的精确标绘，从而便利了导航，并且允许特别是在诸如火灾的紧急状况下做出准确的决定。

结合随后的说明和附图，本发明的其它目的和优点将变得更加明显。

附图说明

图1是根据本发明的一个实施例的集成移动多模态界面(移动多模态系统的界面)、位置跟踪系统、环境跟踪系统和归档系统的移动计算架构的框图。

图2是位置跟踪系统的方框图。

图3是说明了根据本发明的一个实施例的用于加载图形地图现场视图(graphical map site view)的方法的流程图。

图4是说明了根据本发明的一个实施例的用于图形地图现场视图中的预定区的用户操纵的方法的流程图。

图5是说明了根据本发明的一个实施例的用于跟踪环境传感器信号、解释来自环境传感器的环境信号和将信息传送给被跟踪资源的方法的流程图。

图6是说明了根据本发明的一个实施例的用于归档与事件相关的被跟踪资源的移动和双向通信的方法的流程图。

图7是配备有根据本发明的一个实施例的多模态界面的移动设备的方框图。

图8是说明了根据本发明的一个实施例的用于启动在两个资源之间的音频视频双向链路的方法的流程图。

图9是根据本发明的一个实施例的用于输入多模态指令和用于输出多模态指令的用多模态界面的示意性截屏图(screen shot)。

图10是说明了根据本发明的一个实施例的用于给出多模态指令的方法的流程图。

图11是说明了根据本发明的一个实施例的用于询问位置跟踪系统的方法的流程图。

图12是说明了根据本发明的一个实施例的用于向多模态界面(与移动多模态系统相关的界面)的用户发出多模态指令的方法的流程图。

图13是说明了根据本发明的一个实施例的用于启动与远程被跟踪的资源的交互帮助会话的方法的流程图。

图14是集成来自环境传感器的信号并将相应的信息传送给位置跟踪系统的环境跟踪系统的方框图。

具体实施方式

在本发明的下面的详细描述中，对多个特定的实施例进行描述以便提供对于本发明的全面的理解。然而，对于本领域的技术人员来说应当清楚，本发明可以不用这些特定的细节或者使用作为替代的元件或处理来实现。在其它实例中，公知的处理、程序、部件和电路不被详细说明，以免不必要地干扰本发明的其它方面。

实施例

移动计算架构

图1说明了根据本发明的一个实施例的范例移动计算架构110。移动计算架构110包括诸如位置跟踪系统140、环境跟踪系统160、以及归档系统150的应用部件。其还包括链接到环境跟踪系统160的环境传感器170，以及和被跟踪的用户相关的多个被跟踪移动设备120。

位置跟踪系统140包括定位引擎220、呈现系统230、地图存储设备250以及融合引擎260。

位置跟踪系统140使用定位引擎220来确定在一个位置的移动和非移动被跟踪资源的位置。呈现系统230使能对用户呈现所有被跟踪资源的当前位置。定位引擎220标绘叠加在现场位置的图形地图上的移动和非移动被跟踪资源的即时位置，并将其显示在用户的移动设备上。被跟踪资源的位置上的任何改变都通过定期地在图形地图上重新标绘移动和非移动被跟踪资源的位置而在图形地图上自动更新。呈现系统230在无线通信网络上像移动设备提供更新的图形地图。

位置跟踪系统140对图形地图的定期更新使得用户能够实时看见他们的位置以及靠近他们的其它被跟踪资源的位置。这帮助用户导航通过他们的环境。这里的一个例子是涉及到在建筑内灭火的救火员。假定被跟踪的灭火器被火毁坏了。位置跟踪系统140现在能检测到灭火器的缺失。地图被更新以示出灭火器的缺失，并且这个信息被传送到移动设备的用户。

在这个系统中可以使用多种用于室内跟踪的定位引擎。这些可以包括使用无线信号的系统，所述系统符合诸如IEEE802.11b、Bluetooth、超宽带(“UWB”)或Zigbee的协议。这些引擎所使用的定位技术可以包括基于无线信号的信号强度或时间信息的专用技术。而且，上述的无线信号可以在被跟踪设备之间或被跟踪设备和作为预先安装的射频接收机的所谓的信标(beacons)之间交换。

在另一个实施例中，定位引擎220可以使用具有红外或其它用于识别被跟踪资源位置的通信技术的移动感测的组合。

对于室外定位，定位引擎220可以包括GPS接收机的使用。

为了提高精度，可以使用上述的定位技术的一种混合。定位引擎220可以集成来自室外和室内定位引擎两者的信息来确定被跟踪资源的位置。

大多数定位系统具有一个客户端和一个服务器软件部件。客户端软件部件驻留在被跟踪设备或被跟踪资源上，并将信号强度或时间信息通过无线连接传送到驻留在计算机服务器上的服务器软件部件。

呈现系统230将当前信息传送到移动多模态系统。呈现系统230包括(a)从移动多模态系统/设备接收信息请求的部件，和(b)响应与来自移动多模态系统的请求的部件。呈现系统230管理在位置跟踪系统140和用户之间的所有用户交互。

呈现系统230的角色还在于便利在被跟踪资源之间的双向音频和视频通信。其能通过诸如SAP NetWeaver协作平台的协作部件来提供这种便利。

在一个实施例中，呈现系统230包括诸如SAP NetWeaver的平台，其包括网络服务器和通过超文本传输协议(“HTTP”)与移动设备通信的应用服务器。

在一个实施例中，呈现系统230响应于来自移动设备的所述HTTP请求，将XHTML+Voice文件发送到移动设备。呈现系统230还可以使用“HTTP-push”机制向移动设备发送更新，而不需要来自该移动设备的用于更新的HTTP请求。XHTML+Voice文件可以包括地图和声音对话来导航该地图或访问其它信息。

在一个实施例中，用于其多模态系统的移动设备710，使用可以使用诸如“XHTML+Voice”的多模态标记语言的多模态浏览器，所述“XHTML+Voice”是扩展超文本标记语言(“XHTML”)和声音扩展标记语言(“VXML”)的组合。XHTML+Voice文件可以包括地图和声音对话来导航该地图或访问其它信息。XHTML+Voice文件被句法分析，解释并由移动设备上的多模态浏览器渲染(render)。

在一个实施例中，多模态浏览器的角色在于使用文本到语音(“TTS”)合成能力产生用于自动消息的音频输出。该多模态浏览器还接收移动设备的声音输入，基于在XHTML+Voice文件中描述的语法解释该声音输入，基于该用户输入创建XHTML+Voice文件，并将其转换成用于呈现系统230的HTTP请求。

移动设备710上的多模态系统还可以由语音界面(例如通过声音语音识别系统)和显示界面(例如Java小程序或可缩放食粮图形客户端)的其它组合形成。

在一个实施例中，呈现系统230还可以管理在多个被跟踪资源之间的连续音频和视频通信。呈现系统230提供用于连接、路由和管理双向音频和视频通信的多个流的软件或硬件数字通信开关。

在一个实施例中，融合引擎260是集成来自多种连接到其的多种部件并积累这种信息用于通过位置跟踪系统输出到被跟踪的资源。在一个实施例中，连接到融合引擎260的不同部件是定位引擎220、呈现系统230、地图存储设备250和环境跟踪系统160。融合引擎从环境跟踪系统160接收环境传感器信号、从定位引擎220接收位置信息以及从呈现系统230接收双向音频和视频通信信息作为输入。融合引擎260即成来自连接到其的各种部件的输入信息，积累这种信息用于输出并将所集成的输出信息经由呈现系统230呈现系统230传送到移动多模态系统120。融合引擎260还定期将所收集的信息发送到归档系统150。

在一个实施例中，地图存储设备250是地图的软件数据库，并且包括以位图或可缩放矢量图(“SVG”)或类似格式存储的地图图形。其还包括有关区和多种其它地图特征的信息。

位置跟踪系统140可以位于相同的计算设备上，诸如运行Linux操作系统的服务器，或者其部件可以在多个计算服务器上，甚至在被跟踪的资源本身上分布。

位置跟踪系统的操作

在图3中，存储的图形地图经由呈现系统230被从地图存储设备加载到移动显示界面(310)。位置跟踪系统140使用在例如320和330中描述的多种定位技术中的一种或多种来确定所有被跟踪的资源的位置。位置跟踪系统140集成来自320和330(340)中描述的多种定位技术的位置信息，并随后将被跟踪的资源的位置标绘到从地图存储设备(350)加载的图形地图。呈现系统230在移动多模态系统(360)上显示叠加有被跟踪的资源的描述的图形地图，并将该图形地图发送到归档该地图的归档系统(360)。被跟踪资源的位置信息被连续地更新(380)。在被跟踪的资源中的位置的任何改变被确定(390)，并且图形地图被更新(395)。

分区方法

显示在移动设备上的图形地图包括预定的区。区，在移动计算架构中的上下文中是位置现场的一个区或区域。区被在图形地图上划分。在任何给定时间可以存在一个或更多被跟踪的资源。例如在有很多楼层的建筑现场中，任何楼层都可以被定义为一个区。

用户可以通过使用多种方法来修改预定的区。一个这种方式是通过使用输入笔在图形地图显示上划出所期望的内容来修改区的边界。使用输入笔划出所期望的区，则新画的区变成高亮(highlight)。点击高亮的区，则提供给用户选项来保存新画的区。用户能够保存新定义的区。这也可以被传送给其他的用户。在诸如火灾的事件中，当事件指挥员能够在图形地图上更新被火灾影响的区时，这种工具得到实际应用。

在一个实施例中，图形地图是显示在多模态系统上的XHTML+Voice文件。该地图由XHTML+Voice浏览器渲染在移动设备上。在一个实施例中，XHTML+Voice文件包括使用Javascript编写的句柄代码以处理诸如输入笔动作或口头发声或者小键盘输入。当用户例如使用输入笔来在用户界面上操作区的内容(也被称为用户输入或输入)时，一个事件发生。用于输入笔输入的预定句柄被激活并且用户操纵/输入被渲染到XHTML+Voice文件。用户随后可以存储对XHTML+Voice文件的操纵/输入并将其传送到呈现系统230。

在系统的一个实施例中，能够操纵图形地图的用户需要被授权；换句话说，区修改设置被限制在一个较小的用户集或只限制于在火灾状况中管理紧急状况的指挥站。呈现系统230可以维持作为位置跟踪系统140的部分的授权方法。

在图4中，由位置跟踪系统140标绘的图形地图被显示在设备上(410)。图形地图显示预定的区和被跟踪的资源。用户通过使用输入笔点击或者通过在小键盘上键入或者通过发出一个声音命令(420)来选择改变区布局的选项。用户被授权通过授权系统来操纵图形地图的预定的区，其可以使位置跟踪系统140的一部分(430)。被授权的用户现在可以使用输入笔来选择改变的区，或者通过选择适当的选项来添加新的区(440)。用户现在能够通过声音命令、输入笔动作或者小键盘输入修改所选的区或新区的范围(450)。所画的新区或者修改的区被发送到位置跟踪系统140(460)。由位置跟踪系统140位置跟踪系统140在图形地图绘图上更新新区或更新的区，并且随后被显示在所有使用其它移动设备的用户的多模态界面上(470)。

环境跟踪系统

图1所示的环境跟踪系统160连接到位置跟踪系统140，并且更具体地说连接到位置跟踪系统140的融合引擎260。

建筑通常配备有收集有关围绕其环境的数据的多种类型的环境传感器。这种环境传感器的一些例子是温度传感器、移动传感器等。这些环境传感器还被连接到计算网络(有线或无线)。或者，现场人员可以采用能够感测在事件现场的诸如温度和湿度的环境参数的移动或非移动环境传感器。这些移动和非移动环境传感器能够在它们之间形成特别(ad hoc)无线网络来传送数据

环境跟踪系统160由环境传感器、计算网络、以及用于解释中继信号和确定中继这些信号的环境传感器的位置的软件或硬件部件构成。利用计算网络，还可以将环境跟踪系统160连接到移动计算架构110。利用诸如通过HTTP的XML数据交换的通用通信方法，环境跟踪系统160能够将环境信息和环境传感器的位置传送到移动计算架构110。

在环境跟踪系统160中使用的环境传感器170可以测量诸如温度和压力的环境参数，可以检测移动和/或声音，并且甚至可以使用视频技术记录移动。而且，这些传感器可以被相互连接，并且使用有线或无线网络技术来跟踪系统。有线的网络拓扑可以是基于广域网(“WAN”)或局域网(“LAN”)，而无线网络技术可以包括使用无线信号的系统。

在一个实施例中，环境传感器170包括具有由大学开发和由诸如加州Sanjose Daggett街道的Crossbow技术有限公司商业销售的具有特别无线网络能力的微小的自我包容设备，并且通常被称为“微粒”或“Smart Its”。传感器170还可以是包含销量数据的射频标识(“RFID”)标签，其包含主动(配备电池的)或被动收发机，并且其被用于跟踪设备和商品。

根据一个实施例，环境跟踪系统160使用包含感测设备和其中接收机积累和/或解释由环境传感器发送的信号的接收机制。接收机可以是使用有线或无线网络技术连接到环境传感器的移动设备或服务器。该接收机集成和分析来自网络连接到其的所有环境传感器的输入。接收机还及时将环境信息转换成为诸如可扩展标记语言(“XML”)，并将其传送到其它软件部件。

可以使用多种计算网络来实施环境跟踪系统，例如在下面的图14中所描述的，或者在授予Gelvin(请见Gelvin的图16的例子)美国专利6735630公开的WINGS NG网络。

在一个实施例中，环境跟踪系统160包括下列部件(图14)：

一组传感器1410和1420，感测多种环境和其它参数，

用于集成环境传感器信号并将其发送到信号处理系统以及发送到控制系统的接口1430，

用于基于预定的时间标准标识/解释事件的信号处理系统1450，

用于控制事件流的控制流的控制系统1440，

处理系统1460，其将事件和环境传感信号分类并将它们在无线网络上发送到诸如位置跟踪系统140的其它系统，和

用于通信事件和环境传感信息的无线网络连接1470。

上述的不同部件可以在一个或多个传感器设备上分布或在网络上不同的计算机或服务器上分布。

在移动计算架构110，环境跟踪系统160连接到较大的系统，诸如通过有线或无线连接的位置跟踪系统140。位置跟踪系统140将位置信息更新和来自环境跟踪系统160的事件信息解释为通过HTTP连接的XML文件。在位置跟踪系统140中由融合引擎260对该文件进行的句法分析将环境传感器的位置和来自环境跟踪系统160的环境信息渲染到位置跟踪系统140。在位置现场的相同的图形地图上组合检测事件的环境传感器的位置和被跟踪的资源的位置，位置跟踪系统140中的定位引擎220能够在距离事件某个距离之内定位被跟踪的资源。

在一个实施例的应用中，在配备由网络连接到计算架构的环境传感器的位置现场，环境跟踪系统160在现场接收并解释来自环境传感器的信号以确定信号的发生。事件是基于环境信息的组合来预定的，例如，较高的烟雾传感器读数指示火灾。如果环境跟踪系统160检测到事件的发生，则环境跟踪系统160立即通知位置跟踪系统140该事件的位置，以及该事件的性质(nature)。位置跟踪系统140随后将该事件的发生传送给离开该事件某个预定距离中的所有被跟踪资源，例如，所有的救火员被指示火灾现在扩张到建筑的房间11。

在图5中，环境传感器定期将环境传感器信号发送到环境跟踪系统(510)。环境传感器信号由环境跟踪系统160解释以获取嵌入环境信息(520)。发送信号的环境传感器的位置由环境跟踪系统160确定。环境跟踪系统160将环境传感器信息与预定的环境信号读取阈值进行比较以确定事件的发生(540)。环境跟踪系统160将事件的发生以及其位置传送给位置跟踪系统140。位置跟踪系统140通过比较相对于事件发生的位置的被跟踪的资源的位置来定位事件位置附近的被跟踪的资源(560)。位置跟踪系统140将事件的发生传送到这些被跟踪的资源(570)。

归档系统

归档系统150连接到移动计算架构110中的位置跟踪系统140。

归档系统150是能够在实时存储大量信息的多媒体数据库。

归档系统150是用于记录双向通信、被跟踪的资源的所有位置和其它数据的系统。在一个实施例中，其是纪录双向通信和被跟踪的资源的所有移动的大的多媒体数据库。其具有对存储的信息盖时间戳的处理器。该处理器还检索、重放、分类和分析所存储的信息。归档系统150连接到位置跟踪系统140并且更具体来说连接到融合引擎260。

归档系统150记录来自融合引擎的信息。融合引擎积累来自移动计算架构的不同部分的信息。归档系统具有在存储所有信息之前对其盖时间戳的处理器。在一个实施例中，归档系统150通过融合引擎260记录在被跟踪的资源之间的所有的视频和音频通信流，以及来自被跟踪的资源的HTTP请求到呈现系统230，以及将来自呈现系统230的XHTML+Voice文件到移动设备。归档系统150还记录事件的所有环境信息和位置信息以及由融合引擎260积累的被跟踪的资源的位置信息。归档系统150还可以被连接到在事件期间或事件后检索、重放、分类和分析信息的分析系统以得到更好的学习。

在归档系统150实施例的一个操作的例子中，由环境跟踪系统160确定的时间发生及其位置，被传送到位置跟踪系统140的融合引擎260。融合引擎260解释环境跟踪系统160的输入，并且将事件的位置传送给在为之跟踪系统中的定位引擎220。位置跟踪系统140中的定位引擎220在位置现场的图形地图上标绘事件的位置，并将其与标绘在相同图形地图上的被跟踪的资源进行组合。在进行图形地图标绘后，定位引擎220标识距离事件某个距离之内的所有用户。这是通过由定位引擎220测量在被跟踪的资源的位置和事件位置之间的距离来完成的。随后，定位引擎220经由呈现系统230将事件的发生传送给靠近该事件的被跟踪的资源。当检测到事件时，位置跟踪系统140还启动定位引擎220来连续记录所有被跟踪的资源的所有移动和双向通信。

在图6中，每个环境传感器定期发送信号到环境跟踪系统160(610)。该信号被环境跟踪系统160解释和积累(620)。环境传感器信号的位置由环境跟踪系统160确定(630)。环境跟踪系统160将环境传感器信号读数与预定的信号阈值进行比较以确定事件的发生(640)。当环境跟踪系统检测到事件的发生时，环境跟踪系统160将事件的发生及其位置传送到位置跟踪系统140(650)。位置跟踪系统140随后通过将事件的位置与被跟踪的用户的位置进行比较来定位在事件位置附近的用户的位置(660)。位置跟踪系统140还指示归档系统150记录被跟踪的资源的所有通信和移动(670)。由归档系统150使用时间戳来记录所有双向通信和被跟踪的资源的移动。

移动多模态系统

移动多模态系统710由下列部件构成：

包括麦克风、扬声器和音频编解码器740的音频输入/输出系统；

显示输出和小键盘/输入笔输入730；

包括摄像机和视频编解码器750的视频输入/输出系统。

在一个实施例中，在下面详细说明的使用多模态浏览器形成的多模态界面；

使能双向的视频信息流视频缓冲器735；

包括软件驱动器和天线760的WiFi通信能力。

多模态浏览器720包括下列部件：

对包含XHTML+Voice、SALT(语音应用语言标签)或类似的标记的多模态文件进行句法分析，并将它们转换为DOM(文件对象模型)的句法分析器790；

组合起来提供语音输入/输出能力的语音到文本引擎715和自动语音识别引擎725；

将显示元件渲染到视频显示以及接收小键盘/输入笔输入的渲染器770；

同步视频和音频用户交互的同步元件；允许在文件对象模型上的动态客户端交互的Javascript引擎。

移动多模态系统的多模态浏览器的角色在于使用TTS合成能力产生用于自动消息的音频输出。多模态浏览器还将接收载移动设备上的声音输入/声音发声、基于在XHTML+Voice文件对象中描述的预定的声音句柄对其进行解释并将其转换成到呈现系统230的HTTP请求。在一个实施例中，一动设备具有使用诸如XHTML+Voice的多模态标记语言、在文件对象模型上的扩展超文本标记语言(XHTML)和声音扩展标记语言(VXML)的多模态浏览器，以创建、操纵和渲染XHTML+Voice文件对象。

多模态浏览器基于来自与移动多模态系统相关的多模态界面上的输入创建HTTP请求。由多模态界面创建的HTTP请求被发送到位置跟踪系统。响应中的位置跟踪系统140向用户发送可能包含地图、声音对话和句柄代码来导航地图或访问其它信息。多模态浏览器还渲染、句法分析和解释从位置跟踪系统140接收的XHTML+Voice文件并将该信息传送给移动多模态系统的用户。

在移动设备上的多模态界面还可以由语音界面(例如ViaVoice语音识别系统)以及显示界面(例如Java Applet，或者可缩放矢量图形客户)的其它组合形成。

在使用移动多模态系统的一个例子中，多模态技术被用于加载该位置的现场视频视图。这可以通过使用诸如使用小键盘/输入笔动作点击在移动设备的屏幕上显示的地图的图形指示符，或者通过发出由移动设备上的语音识别系统解释的口头命令来完成。图形指示符可以表示(a)记录现场视图的视频摄像机或(b)被跟踪的资源，其发送由与其的移动多模态界面相关的摄像机记录的视频视图。点击图形指示符标识和建立了与特定资源的视频链路来中继该视频视图。

多模态技术被用于建立与所感兴趣的被跟踪的资源的音频链路。这可以通过使用和上面相似的技术来完成。

在图8中，在移动设备的显示器上显示一个图形地图(XHTML+Voice文件)。被跟踪的资源被使用诸如图标或点的图形指示符显示在图形地图上。移动界面的用户可以通过点击在与该被跟踪的资源相关的显示器上的图标或点来选择另一个用户或被跟踪的资源，以建立与其的音频/视频通信(820)。在某些实施例中，可以使用利用声音识别引擎解释的声音命令来选择。在这种情况下的声音命令通过与被跟踪的资源相关的统一属性来标识被跟踪的资源。一旦标识了被跟踪的资源，则在显示界面上出现一个命令提示请求用户选择将与被跟踪的资源建立哪个通信链路(830)。用户通过点击各自的命令提示来选择所选的通信链路(例如音频或视频)(840)。用户输入命令是事件发生并且调用显示在显示界面上的XHTML+Voice文件对象模型上的Javascript代码(点击或使用声音来识别被跟踪的资源和所选的通信链路)。用户命令随后由浏览器作为HTTP请求发送到位置跟踪系统。一旦接收到来自用户被作为HTTP请求发送到位置跟踪系统的输入命令，则位置跟踪系统140通过其在图形地图上的位置坐标将所选的被跟踪的资源绘制(maps)到其唯一的IP地址或唯一的界面地址(850)。在用户和所选的被跟踪的资源之间使用多媒体流协议来建立用户所选的通信链路(860)。输出被显示在用户的显示界面上(870)。

多模态指令

在使用移动多模态系统的另一个例子中，使用多模态技术来指示移动多模态系统的用户。例如，如图9所示，如果一个用户拖住一个高亮的图形指示符(表示第二用户)通过图形地图上的路径，将向该第二用户发出沿着该路径行进的音频指令。屏幕上的其它动作/点击将导致发出给该用户的其它类型的口头或可视指令。

或者，诸如从用户向与用户相关的移动多模态系统发出的呼叫“帮助”的口头指令可以导致诸如在所有其他用户的移动设备上的闪烁指示符的可视消息。

多模态指令的操作

用户能够通过使用输入笔来环绕标绘在图形地图上的被跟踪的资源的图形指示符以及在移动设备上的显示器上的显示来选择被跟踪的资源(1010)。用户能够向所选的图标发出多种命令，并且在一个实例中这是通过使用输入笔拖着该图形指示符穿过图形地图(拖拉图形指示符是预定义的事件)来完成(1020)。将基于这个事件激活在XHTML+Voice文件对象模型中适当的预定JavaScript句柄代码，并且该事件句柄将把这个命令作为HTTP请求传送给位置跟踪系统(1030)。作为响应，位置跟踪系统创建命令并将该命令作为XHTML+Voice文件转发给所选的用户，指示它们行进在地图上被显示为高亮的路径(1040)。每个所选的用户得到指示他们跟随行进路径的音频消息。他们的屏幕也显示要被行进的路径(1050)。

图9说明了如同在移动设备的多模态界面上看到的示例多模态指令输入和输出。作为被跟踪的资源的诸如救火员的用户，被例如另一个可能是事件指挥员的用户请求离开建筑。为了这样做，该事件指挥员在显示屏幕上点击代表救火员的点。随后他或她在他们的移动设备的触摸显示器上进行输入笔的动作。这导致对于位置跟踪系统的请求，其向救火员的移动设备发送作为XHTML+Voice文件的指令。救火员同时在移动设备上得到两种不同模态的指令(音频和视频)。使用设备上的TTS合成来产生音频指令。图9表示这个用户的移动设备的显示(视频指示的显示)。910代表在他或她的移动设备上的救火员，而920是他或她被要求跟随以离开建筑的地图上的路径。

多模态询问

在使用移动多模态系统的一个实施例中，被跟踪的资源可以使用多模态技术问询位置跟踪系统140。由被跟踪的资源进行的问询可以是两种类型的(a)使用预定声音语法的帮助能够识别的声音命令或(b)可由在移动设备的触摸显示器上的小键盘/输入笔的动作/点击触发的预定的命令集。例如，当用户点击/触摸所显示的图形指示符进行问询时，其启动问询模式。XHTML+Voice文件被加载到移动设备以便利用户询问/问询。用户可以使用诸如“我在哪里”的预定声音句法来问询设备，其向呈现系统230发送一个请求而呈现系统230将给出适当的回答作为响应。

多模态问询的操作

在图11，用户在显示界面上用于问询的图形指示符(XHTML+Voice文件被用于显示该图形指示符)上画个圈或者点击该图形指示符(1110)。用户随后具有在显示界面上定义的声音语法发发声音命令(1120)。例如，该声音命令可以是“我在哪里？”，这导致对于所发出的声音命令的预定事件的出现。该命令被用于该事件的预定句柄识别并由浏览器转换成移动设备上的HTTP请求。该HTTP请求被发送到呈现系统230(1130)。从位置跟踪系统140种的远程服务器产生一个适当的多模态响应(1140)并且使用TTS来渲染音频输出，并且视频输出被显示在移动设备显示界面上(1150)。

替代实施例

多模态指令

在使用移动应用架构的另一个实施例中，多模态技术被用于用户之间通信指令。例如，用户可以点击他们的移动设备的触摸显示器上的按键；这可能导致给一个或多个用户的TTS生成的声音。

多模态指令的操作

用户能够通过使用输入笔来对想对其传送指令的、在显示在多模态界面上的图形地图上标绘的被跟踪的资源的图形指示符画圈，来选择该被跟踪的资源(1210)。用户还在多模态界面上选择指令菜单(1220)。用户从用于所选的被跟踪的资源的菜单选择指令(1230)。用户所选的指令被发送给位置跟踪系统140，并由位置跟踪系统140解释(1240)。作为响应，XHTML+Voice文件由位置跟踪系统使用适当的指令发送到所选的用户(1250)。每个所选的用户得到具有适当指令的音频指令。他们的屏幕也显示这个指令(1260)。

多模态问询

在使用移动多模态系统的另一个实施例中，用户可以使用多模态技术来问询位置跟踪系统140。被跟踪的资源的问询可以是两种类型的(a)能够由预定的声音语法识别的声音命令或(b)可由在移动设备的触摸显示器上的小键盘/输入笔的动作/点击触发的预定的命令集。例如，当用户有一个问题，他们可以使用在有效XHTML+Voice文件中定义的诸如“问题”的声音语法，借此位置跟踪系统140将被跟踪的资源连接到第二远程资源用于交互的问题-回答会话。

多模态问询的操作

在多模态问询的实施例中，用户在被跟踪的资源上画圈或者点击被跟踪的资源来问询在显示界面上的图标(1310)。问询是使用诸如“问题”的预定的声音语法来执行的(1320)。设备上嵌入的语音识别给予预定声音语法识别该命令，将其转换成HTTP请求并将该请求发送到位置跟踪系统140(1330)。位置跟踪系统140产生适当的响应从而建立与将便利交互问题回答对话的远程服务器的音频链路(1340)。创建具有资源/服务器回答“请求”的交互声音对话。

应当理解，本发明可以以多种形式的硬件、软件、固件、特殊用途处理器或者其组合来实现。在一个实施例中，本发明可以被以作为有形体现在程序存储设备上的应用程序来实现。该应用程序可以被加载到包括任何合适的体系结构的机器或者由包括任何合适的体系结构的机器来执行。最好，该机器在具有诸如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)以及输入/输出(I/O)接口的计算机平台来实现。该计算机平台还包括操作系统和微指令代码。这里描述的多种处理和功能既可以是微指令代码的一部分或者可以是应用程序(或者是它们的组合)的一部分，其通过操作系统被执行。此外，多种其它外设设备可以连接到诸如附加信息存储设备和打印设备的计算机平台。

还应当理解，由于在附图中所描述的一些系统组件和方法步骤可以以软件来实现，取决于本发明被编程的方式，在系统部件之间的实际连接(或处理步骤)可以是不同的。给出在此提供的本发明的主旨，本领域的技术人员应当能够构思出本发明的这些和类似的实现或结构。

Claims

1.一种用于动态绘制用于呈现给用户的现场的地图的系统，所述系统包括：

a.计算机网络；

b.多个能够在网络上发送位置信号的位置传感器；

c.用于接收所述位置信号的网络模块；

d.位置跟踪系统，该位置跟踪系统包括：

i.用于将位置信号解释为位置信息并且动态产生所述现场的地图的定位引擎；和

ii.用于将该地图显示给用户的呈现引擎；以及

e.用户显示器。

2.如权利要求1所述的系统，其中，所述系统能够通过接收和解释附加位置信号来在运行过程中更新动态地图。

3.如权利要求1所述的系统，其中，所述位置传感器之一和被跟踪的资源相关。

4.如权利要求1所述的系统，其中，所述系统还包括个人数字助理、膝上计算机或包括用户显示器的移动电话。

5.如权利要求1所述的系统，其中，所述系统集成有多模态系统。

6.如权利要求1所述的系统，其中，至少一些位置传感器是与所述现场相关的原有的位置传感器。

7.如权利要求1所述的系统，其中，至少一些位置传感器是在绘制地图时放置在所述现场的RFID位置传感器。

8.如权利要求1所述的系统，还包括发送环境信号的环境传感器。

9.如权利要求8所述的系统，其中，所述环境信号被作为环境信息解释，并被与所述现场的地图结合在一起呈现。

10.如权利要求1所述的系统，还包括下面中的一个或更多：移动计算架构；位置跟踪系统；归档系统；地图存储设备或环境跟踪系统。

11.一种用于向用户呈现叠加在现场的地图上的本地化的环境信息的方法，所述方法包括：

a.从多个位置传感器接收位置信号和从多个环境传感器接收环境信号；

b.将位置信号解释为位置信息和将环境信号解释为环境信息；

c.将位置信息和环境信息应用到所述现场的地图作为本地化的环境信息；

d.利用应用的信息显示和归档地图；

e.在运行过程中重复步骤a到d以便动态地更新本地化的环境信息；和

f.当环境信息指示环境参数落到预定范围之外时确定事件的发生。

12.如权利要求11所述的方法，其中，位置传感器之一和被跟踪的资源相关。

13.如权利要求11所述的方法，其中，所述显示是在个人数字助理、膝上计算机或包括用户显示器的移动电话上进行的。

14.如权利要求11所述的方法，其中，用户输入和输出是来自多模态系统的。

15.如权利要求11所述的方法，其中，至少一些位置或环境传感器是与所述现场相关的原有的传感器。

16.如权利要求11所述的方法，其中，至少一些位置或环境传感器是在绘制地图时放置在所述现场的RFID传感器。

17.如权利要求11所述的方法，其中，所述位置信号用于动态地产生或更新地图自身。

18.如权利要求11所述的方法，其中，所述地图的初始版本是使用预先存在的静态数据产生的。

19.如权利要求11所述的方法，其中，至少一些传感器被附在所述现场的对象或建筑部件上，以便在地图上标识该对象或部件。

20.如权利要求11所述的方法，其中，所述环境参数值之一是温度。

21.如权利要求11所述的方法，其中，所述环境参数值之一是化学物浓度。

22.如权利要求11所述的方法，其中，所述位置信号被用于计算在一个传感器的位置和每一个其它被跟踪的资源的位置之间的距离，以标识在预定距离内的所有感兴趣的传感器和相关对象。

23.如权利要求11所述的方法，其中，所述位置跟踪系统被用于计算在一个位置传感器和其它位置传感器之间的距离，以标识在第一位置传感器的预定距离内的所有感兴趣的传感器和相关对象。

24.一种用于监控在现场的人员移动和状态的方法，其中，每个人员和被跟踪的资源相关，所述方法包括：

a.从多个位置传感器接收位置信号，其中至少位置传感器之一和与人员相关的一个或多个被跟踪的资源相关；

b.将位置信号解释成位置信息；

c.将位置信息应用到所述现场的地图；

d.显示并归档叠加有一个或多个被跟踪的资源的地图；

e.在运行过程中重复步骤a到d以便连续地更新被跟踪的资源的位置和地图。

25.如权利要求24所述的方法，其中，所述地图在移动计算机或PDA显示器上被显示给用户。

26.如权利要求24所述的方法，其中，用户输入和输出是来自多模态系统的。

27.如权利要求24所述的方法，其中，至少一些位置传感器是与所述现场相关的原有的位置传感器。

28.如权利要求24所述的方法，其中，至少一些位置传感器是在绘制地图时放置在所述现场的RFID位置传感器。

29.如权利要求24所述的方法，其中，所述位置信号是用于动态地产生或更新地图自身。

30.如权利要求24所述的方法，其中，所述地图的初始版本是使用预先存在的静态数据产生的。

31.如权利要求24所述的方法，其中，至少一些传感器被附在现场的对象或建筑部件上以便在地图上标识该对象或部件。

32.如权利要求24所述的方法，还包括使用从环境传感器接收的环境信号显示叠加在地图上的环境信息。

33.如权利要求24所述的方法，还包括接受用户对于用户位置的问询，确定用户位置，和将用户位置传送给用户。

34.一种用于在现场的被跟踪的资源之间进行通信的方法，所述方法包括：

a.在与第一被跟踪资源相关的显示器上加载现场视图；

b.在与第一被跟踪资源相关的显示器上显示现场视图；

c.在现场视图上显示和标识包括第二被跟踪资源的一个或多个附加的被跟踪资源；

d.当用户在现场视图上选择第二被跟踪资源时，在第一被跟踪资源和第二被跟踪资源之间建立音频通信链路或视频通信链路或建立这两者。

35.如权利要求34所述的方法，其中，所述现场视图是图形地图。

36.如权利要求34所述的方法，其中，所述现场视图是现场的视频。

37.如权利要求34所述的方法，其中，所述现场视图是文本描述。

38.如权利要求34所述的方法，其中，显示第二被跟踪资源包括在现场视图上标绘代表被跟踪的资源的图形或文本指示符。

39.如权利要求34所述的方法，其中，用户对第二被跟踪资源的选择包括使用输入笔点击。

40.如权利要求34所述的方法，其中，用户对第二被跟踪资源的选择包括画出环绕代表第二被跟踪资源的指示符的形状。

41.如权利要求34所述的方法，其中，用户对第二被跟踪资源的选择还包括用户向与第一被跟踪资源相关的声音识别系统发出声音命令。

42.如权利要求34所述的方法，其中，用户对第二被跟踪资源的选择指定了与第二被跟踪资源相关的属性。

43.如权利要求34所述的方法，还包括确定在用户和第二被跟踪资源之间的距离，其中，所述位置跟踪系统确定用户的位置以及第二被跟踪资源的位置，并且随后计算在用户的位置和第二被跟踪资源的位置之间的距离。

44.如权利要求34所述的方法，其中，用户对第二被跟踪资源的选择还包括指定第二被跟踪资源离开用户的距离的声音命令，并且该第二被跟踪资源是基于所确定的小于或等于指定距离的在第一被跟踪资源和第二被跟踪资源之间的距离而选择的。

45.一种用于在第一被跟踪资源和第二被跟踪资源之间建立双向通信的方法，所述方法包括：

a.第一被跟踪资源的用户使用声音、文本或动作模态中的一个或多个在与移动设备相关的多模态系统上输入对第二被跟踪资源的指令；

b.所述多模态系统处理由用户输入的指令；

c.由一位置跟踪系统接收输入指令；

d.所述位置跟踪系统解释输入指令；

e.所述位置跟踪系统将该指令传送给第二被跟踪资源；

f.第二被跟踪资源在与第二被跟踪资源相关的多模态界面上输出指令，其中所述输出可以是下面类型中的一种或多种：声音、视频、文本或动作。