CN101329600A - 动作控制系统 - Google Patents

Abstract

一种动作控制系统，包括：手持设备，其包括具有三轴加速度传感器的动作检测器和传递由所述动作检测器获得的信息的无线通信接口；以及处理装置，其通过所述无线通信接口获得并处理所述信息。该系统能够识别大量动作以用作输入，从而增加该设备的功能。

Description

动作控制系统

本发明为申请号为“200580007385.3”且发明名称为“区别手持设备中的倾斜及平移动作分量”的中国申请的分案。

技术领域

本发明总地涉及便携式设备，更具体地，涉及具有动作接口的便携式设备。

背景技术

计算设备，例如移动电话和个人数字助理(PDA)的应用增长迅猛。这种设备通过不同类型的接口(例如小键盘和显示屏)为用户提供许多不同功能。某些计算设备通过由用户检测该设备的倾斜而利用动作作为接口。动作接口的某些实现涉及利用游丝(fishing lines)系在计算设备上或者安装需要大量功率的较大的磁跟踪部件。

发明内容

根据本发明，提供一种具有动作接口的手持设备。

根据一个具体实施例，一种动作控制的手持设备，包括：第一加速度计，用于检测沿第一轴的加速度；以及第二加速度计，用于检测沿第二轴的加速度。所述第二轴垂直于所述第一轴。该设备包括：倾斜(tilt)检测部件，用于检测具有围绕所述第一轴和所述第二轴至少之一的分量的旋转；以及显示屏，用于显示当前图像。该设备包括：动作跟踪模块，用于使用所述第一加速度计、所述第二加速度计和所述倾斜检测部件跟踪该设备的三维动作。该设备还包括：控制器，用于产生所述当前图像并响应于该设备的动作修改所述当前图像。

该显示屏可包括可视表面，并且所述第一轴和所述第二轴可以基本平行于该可视表面。该倾斜检测部件可以包括：第三加速度计，用于检测沿第三轴的加速度，其中所述第三轴垂直于所述第一轴以及垂直于所述第二轴。该动作跟踪模块在操作时还能够基于由所述第三加速度计所测量的加速度区别由所述第一轴和所述第二轴形成平面内的平移(translation)与具有围绕所述第一轴和所述第二轴至少之一的分量的旋转。该倾斜检测部件可以包括：第三加速度计，用于检测沿第三轴的加速度，其中所述第三轴垂直于所述第一轴以及垂直于所述第二轴。该倾斜检测部件还可以包括：摄像机，用于产生视频流；以及视频分析模块，用于基于该视频流检测动作方向。

根据另一实施例，一种控制手持设备的方法，包括如下步骤：使用第一加速度计检测沿第一轴的加速度；以及使用第二加速度计检测沿第二轴的加速度。所述第二轴垂直于所述第一轴。该方法还包括如下步骤：使用旋转检测部件检测具有围绕所述第一轴和所述第二轴至少之一的分量的旋转；以及使用所述第一加速度计、所述第二加速度计和该倾斜检测部件跟踪该设备的三维动作。该方法包括如下步骤：使用该设备的显示屏显示当前图像；以及响应于该设备的被跟踪的动作修改当前图像。

本发明的具体实施例的技术优点包括具有动作检测部件的手持设备能够区别该设备的倾斜和该设备在平移的平面内的平移。因而，该设备能够识别大量动作以用作输入，从而增加该设备的功能。在某些实施例中，可以组合和利用许多不同类型的动作检测部件，从而使得制造商能够根据该设备所需的功能使用最适当的部件设计该设备。

本领域的技术人员根据以下的附图、说明和权利要求能够容易地清楚其它技术优点。并且，尽管以上列举了特定优点，但是各种实施例可以包括所有、一些或者没有所列举的优点。

附图说明

附图说明为了更完整的理解本发明的具体实施例及其优点，以下参照附图进行说明，附图中：

图1示出根据具体实施例的具有动作接口能力的手持设备；

图2示出根据具体实施例的图1的手持设备的动作检测器；

图3示出根据具体实施例的图1手持设备的动作检测器部件的使用；

图4示出根据具体实施例的具有动作检测能力的示例性手持设备；

图5示出根据具体实施例的手持设备的主要动作的选择和放大的示例；

图6为示出根据具体实施例的优选的动作选择的流程图；

图7为示出根据具体实施例的手持设备的零点设定的流程图；

图8示出根据具体实施例用于虚拟桌面浏览的手持设备的拖拉(scrubbing)功能的示例；

图9为示出根据具体实施例的图8的拖拉处理的流程图；

图10A示出根据具体实施例使用手势输入(gesture input)的菜单浏览的实例；

图10B示出根据具体实施例的可用于手持设备中执行各种功能的示例性手势；

图11示出根据具体实施例的使用动作输入进行地图浏览的示例；

图12A示出根据具体实施例的一种形式的动作输入光标浏览；

图12B示出根据具体实施例的另一种形式的动作输入光标浏览；

图13为示出根据具体实施例的利用响应于动作输入的反馈的处理的流程图；

图14示出根据具体实施例利用手持设备进行空间签名的示例性系统；

图15示出根据具体实施例的示例性系统，其中手持设备的动作输入控制多个其它设备；

图16为示出根据具体实施例的手持设备的环境模型化处理的流程图；

图17示出根据具体实施例的可以映射到手持设备的不同功能的示例性手势；

图18为示出根据具体实施例利用预先存在的符号手势的流程图；

图19为示出根据具体实施例使用基于背景(context-based)的手势映射的流程图；

图20为示出根据具体实施例使用基于用户的手势映射的流程图；

图21为示出根据具体实施例的用于用户产生的手势的分配处理的流程图；

图22示出根据具体实施例的使用具有可变精确度等级的手持设备的三种手势输入；以及

图23为示出根据具体实施例的利用许多特征的手势识别处理的流程图。

具体实施方式

图1示出根据本发明具体实施例的具有动作接口能力的手持设备10。手持设备10能够识别该设备的运动，并能够执行与这种运动相对应的各种功能。因此，设备的运动以作为设备的输入的形式运行。这种运动输入可以直接改变设备显示屏上显示的内容或者可以执行其它功能。手持设备10可以包括移动电话、个人数字助理(PDA)、照相机、摄像机、袖珍计算器、便携式收音机或者其它音乐或视频播放器、数字式温度计、游戏设备、便携式电子设备、手表或者能够由用户保持或穿戴的任何其它设备。如以上列举的实例中所述，手持设备10可以包括可穿戴便携式设备，例如手表等。手表可以包括穿戴在用户手腕上的任何计算设备。

手持设备10包括显示屏12、输入装置14、处理器16、存储器18、通信接口20和动作检测器22。显示屏12呈现该设备的可视输出，其可以包括液晶显示屏(LCD)、发光二极管(LED)或用于将输出传递至用户的任何其它类型的显示屏。输入装置14为用户提供用于将输入传递至设备的接口。输入装置14可以包括键盘、小键盘、定位轮(track wheel)、按钮、触摸垫、模版(stencil)或用户通过其可以将输入传递至设备的任何其它部件。在具体实施例中，显示屏12和输入装置14可以组合为相同部件，例如触摸屏。

处理器16可以为微处理器、控制器或任何其它适当的计算设备或资源。处理器16适于执行用以实现系统手持设备10内可用功能的各种计算机语言的各种类型的计算机指令。处理器16可以包括用以控制手持设备10的管理和操作的任何适当的控制器。

存储器18可以为任何形式的易失性或非易失性存储器，包括但不限于磁介质、光介质、随机存取存储器(RAM)、只读存储器(ROM)、可移除介质或者任何其它适当的本地或远程存储器部件。存储器18包括由处理器16可执行的部件、逻辑模块或软件。如以下进一步讨论的，存储器18可以包括具有利用动作输入(例如映射)的用户接口的各种应用19、日历和文件管理应用。如以下进一步讨论的，存储器18还可以包括各种数据库，例如手势数据库和功能或手势映射数据库。根据本发明范围内的特定需求或要求，存储器18的部件可以组合和/或分割用于处理。通信接口20支持与其它设备(例如其它手持设备)或部件的数据和信息的无线或有线通信。

动作检测器22跟踪手持设备10的运动以执行一定功能，该运动可以用作一种形式的输入。如以下进一步讨论的，这种输入运动可以由用户以用于执行期望任务的期望的方式移动该设备而产生。

应该理解，根据具体实施例的手持设备10可以包括用以执行此处所述功能的任何适当的处理和/或存储模块，例如控制模块、动作跟踪模块、视频分析模块、动作响应模块、显示控制模块和签名检测模块。

在具体实施例中，输入运动可以为平移和/或手势的方式。基于平移的输入集中在动作的起点和终点以及上述起点和终点之间的差值上。基于手势的输入集中在该设备经过的实际路径上，其为一组来回移动的点的全过程视图(holistic view)。作为实例，当利用基于平移输入来浏览地图时，以“O”形式的动作可能会改变在运动期间的显示，但是最终可能在运动之前所显示信息与运动结束时所显示信息之间不会产生变化，因为在该动作结束时该设备大概处于与其开始时相同的点。但是，在手势输入模式中，该设备将识别出其已经以经过“O”形路径，因为在基于手势的输入中该设备集中在该手势的起点与终点(例如，即使该起点和终点可以相同)之间的动作或运动期间所经过的路径上。如上下文阐述的，该手势“O”动作可以映射到特定功能，从而使得当设备识别到其沿路径运动而构成“O”手势时，能够执行所述功能。在具体实施例中，可以通过将运动的加速度的一个系列、序列或加速度模式与手势数据库中那些定义的手势相匹配，由设备将预期为手势的设备运动识别为手势。

根据另一实施例的手持设备可以不包括图1所示设备的某些部件。例如，某些实施例可以包括不具有与动作检测器分离的输入装置14的手持设备10，从而使得该设备的运动为该设备提供惟一或主要的输入。应该注意，根据另一实施例的手持设备可以包括没有对设备10具体示出的附加部件。

图2示出根据本发明具体实施例的图1的动作检测器22。在本实施例中，动作检测器22包括：加速度计24a、24b和24c；摄像机26a、26b和26c；陀螺仪28a、28b和28c；测距仪(rangefinder)30a、30b和30c；以及处理器32。

加速度计24a、24b和24c通过检测沿各感应轴的加速度而检测设备的运动。设备的具体运动可以包括由所述加速度计检测的加速度的一个系列、序列或加速度模式。当手持设备沿特定加速度计的感应轴倾斜时，沿该感应轴的重力加速度变化。所述重力加速度变化由所述加速度计检测并反映该设备的倾斜。类似地，手持设备的平移或者该设备不旋转或不倾斜的运动也产生沿感应轴的加速度变化，该加速度变化也由所述加速度计检测。

在所述实施例中，加速度计24a包括检测该设备沿x轴运动的x轴加速度计，加速度计24b包括检测该设备沿y轴运动的y轴加速度计，加速度计24c包括检测该设备沿z轴运动的z轴加速度计。加速度计24a、24b和24c组合起来能够检测设备10的旋转和平移。如上所述，设备10的旋转和/或平移可以用作由用户来操作该设备的输入。

使用三个加速度计来检测动作能够提供一些优点。例如，如果仅使用两个加速度计，则所述动作检测器可能就不能区分手持设备的平移与在平移面内的倾斜。而使用第三(z轴)加速度计(该加速度计的感应轴至少基本垂直于其它两个加速度计的感应轴)使得能够区分多种情况的倾斜与多种情况的平移。

应该理解，可能存在不能由加速度计24a、24b和24c彼此区分的某些独特的运动。例如，在加速度计24a、24b和24c看来，包含某种旋转和某种平移的运动可能是相同的运动，因为不同的运动应该是包括不同的具体旋转和不同的具体平移。如果动作检测器22仅包括用于检测运动的三个加速度计(没有用于保证更大精度的任何附加部件)，某些独特的、不可区分的运动可能会映射到相同功能或者可能不会映射到功能，以避免混淆。

如上所述，动作检测器22还包括：摄像机26a、26b和26c，所述摄像机可以包括电荷耦合器件(CCD)摄像机或其它光学传感器。摄像机26a、26b和26c提供用于检测手持设备的运动(包括倾斜和平移)的另一方式。如果在设备上仅安装一个摄像机用于动作检测，可能无法区分该设备的倾斜与平移(不使用其它动作检测部件，例如加速度计)。但是，通过使用至少两个摄像机，就能够彼此区分倾斜和平移。例如，如果在手持设备10上安装两个摄像机(一个在该设备的顶部，另一个在该设备的底部)，当该设备向左平移时每个摄像机将看到外部景象向右移动。如果将该设备水平放置，并通过降低其右边的同时升高其左边而旋转该设备，则底部上的摄像机将看到外部景象向右移动，而顶部上的摄像机将看到外部景象向左移动。因此，当设备平移时，相对表面上的摄像机将看到外部景象在相同方向(给定实例中为左)移动。当设备旋转时，相对表面上的摄像机将看到外部景象在相反方向移动。上述演绎过程可以反向。如果两个摄像机看到外部景象在相同方向运动，则动作检测器认为该设备正在平移。如果两个摄像机看到外部景象在相反方向运动，则动作检测器认为该设备正在旋转。

当该设备旋转时，外部景象相对于该摄像机的运动幅度与该设备的旋转幅度直接相关。因此，基于外部景象相对于该摄像机的这种运动能够准确地确定旋转量。但是，当设备平移时，平移幅度与外部景象相对于该摄像机的运动幅度和相对于该摄像机视场中物体的距离均相关。因此，为了单独使用摄像机准确确定平移量，必须获得与相对于该摄像机视场中物体的距离相关的某种形式的信息。但是，在某些实施例中可以使用具有测距能力的摄像机。

应该理解，即使没有距离信息，与来自加速度计或其它传感器的信息相关的光学信息有可能属于重要的信息。例如，光学摄像机输入可用于通知该设备没有重要动作发生。这可以为在使用加速度数据来确定特定设备功能的绝对位置信息时可能是固有的漂移问题提供一种解决方案。

如上所述，当摄像机用于检测运动时，距离信息可能对确定平移量有用。在所述实施例中，这种距离信息由测距仪30a、30b和30c提供。测距仪30a、30b和30c可以包括超声测距仪、激光测距仪或任何其它适当的距离测量部件。其它部件也可以用于确定距离信息。例如，可以使用具有测距能力的摄像机，可以在设备的相同侧上使用多个摄像机以用作使用立体影像(stereopsis)的测距仪。所确定的距离信息使得能够准确且清楚地计算由平移导致的任何明显平移部分以及由旋转导致的部分。

如上所述，动作检测器22还包括陀螺仪28a、28b和28c。陀螺仪28a、28b和28c与动作检测器22的其它部件组合使用，以增加设备10的动作检测精度。

处理器32处理来自加速度计24、摄像机26、陀螺仪28以及测距仪30的数据，以生成指示设备10的动作的输出。处理器32可以包括微处理器、控制器或任何其它适当的计算设备或资源，例如用于从各摄像机接收视频流的视频分析模块。在某些实施例中，此处针对动作检测器22的处理器32所述的处理可以由手持设备10的处理器16或者任何其它适当的处理器(包括位于该设备外部的处理器)来执行。

如上所述，动作检测器22包括三个加速度计，三个摄像机、三个陀螺仪以及三个测距仪。根据其它实施例的动作检测器可以包括比动作检测器22更少的部件或与其不同的部件。例如，某些实施例可以包括这样一种动作检测器，其具有：三个加速度计且没有摄像机、陀螺仪或测距仪；两个或三个加速度计和一个或多个陀螺仪；两个或三个加速度计和一个或多个摄像机；或者两个或三个加速度计和一个或多个测距仪。此外，根据不同实施例，设备上的动作检测部件位置可以不同。例如，某些实施例可以包括设备的不同表面上的摄像机，而其它实施例可以包括相同表面上的两个摄像机(例如，为增加测距功能)。

改变动作检测器22的部件的类型、数量和位置可以影响动作检测器检测或准确测量各种类型的运动的能力。如上所述，为满足特定需求，不同实施例中的动作检测部件的类型和位置可以不同。当需要牺牲精度来降低具有动作检测能力的手持设备的制造成本时，在具体实施例中可以使用较少的部件或者更低精度的部件。例如，某些手持设备可能仅需要检测该设备是否已经平移，而可能并不需要检测所述平移的量以执行所需的设备功能。从而这种手持设备可以包括具有摄像机而没有任何类型的测距仪或用于提供距离信息的其它部件的动作检测器。在具体实施例中，上述部件，例如摄像机和测距仪，也可以由设备用于除上述与动作检测功能相关的目的之外的其它目的。

图3是示出使用图1的手持设备10的动作检测器部件的示图。来自动作检测部件的原始数据在处理器32中处理。这种原始数据包括：分别来自加速度计24a、24b和24c的x轴加速度计原始数据23a、y轴加速度计原始数据23b和z轴加速度计原始数据23c；分别来自摄像机26a、26b和26c的摄像机原始数据25a、摄像机原始数据25b和摄像机原始数据25c；分别来自陀螺仪28a、28b和28c的陀螺仪原始数据27a、陀螺仪原始数据27b和陀螺仪原始数据27c；以及分别来自测距仪30a、30b和30c的测距仪原始数据29a、测距仪原始数据29b和测距仪原始数据29c。如果与某些实施例中的情况一样，手持设备包括较多、较少或不同动作检测部件，则原始数据与其所包括的部件相对应。

所述原始数据在处理器32中处理，以生成用于识别设备10的运动的动作检测器输出34。在所述实施例中，动作检测器输出34包括沿x、y和z轴的平移以及相对于x、y和z轴的旋转。将所述动作检测器输出传递至手持设备的处理器16，该处理器16基于设备运动识别该设备应该执行的业务、功能或任务(即设备操作36)。以下进一步讨论基于特定运动的某些业务、功能或任务的执行。

图4为根据具体实施例的具有动作检测能力的实例手持设备31的等角图示(isometric illustration)。手持设备31包括x轴加速度计33、y轴加速度计35以及朝向z轴的摄像机37。还相对于装置31示出x轴38、y轴39和z轴40用于参考。手持设备31可以使用加速度计33和35以及摄像机37检测各方向的运动，包括倾斜和平移。手持设备31还可以包括其它部件，例如针对手持设备10图示以及说明的部件，例如显示屏12、输入装置14、处理器16、存储器18以及通信接口20。如上所述，具体实施例可以包括具有各种类型的动作检测部件(包括加速度计、陀螺仪、摄像机、测距仪或其它适当的部件)的手持设备，其中所述动作检测部件在所述设备上以任何方式组合以及以任何适当的方式定位或取向。

在具体实施例中，用户接口功能可以利用每次沿一个运动轴的输入运动。例如，设备应用可以使得用户能够通过沿特定轴(例如在一个方向或在两个方向)移动该设备来滚动浏览显示在手持设备上的列表。对用户而言将设备的运动限制到所期望的特定轴可能非常困难。换而言之，可能难以避免某些用户产生沿其它轴的设备旋转或运动。为解决这一问题，设备可以包括优选运动选择，所述优选运动选择包括主要运动的选择和放大以及在其它方向或轴的运动的最小化。

图5示出如上所述主要动作的选择和放大以及在其它方向的运动的最小化实例。在所示实例中，实际动作41代表手持设备的运动。实际动作41包括沿一个轴44的运动42和沿垂直于轴44的另一轴48的运动46。由于运动42的量大于运动46的量，所以手持设备可以选择运动42作为主要动作。手持设备然后可以放大该主要动作并最小化运动46(另一运动)，从而使得实际动作41被该设备作为代表分析50处理。根据具体因素，例如此时在该设备上运行的具体应用，各种实施例中主要动作的放大的量(或大小)可能不同。此外，主要动作的放大还可以基于加速度的幅度、动作速度、在一个方向的动作(例如运动42)与在另一方向的动作(例如运动46)的比率、正在浏览的基础桌面(underlying desktop)的尺寸或者用户偏好。在某些实施例中，手持设备可以仅当出现特定动作特性时才实施优选动作选择。例如，在某些情况下，如果在一个轴的动作大于任何其它动作两倍以上，则手持设备可以选择并放大主要动作。于是可以最小化另一较小动作。

主要动作的选择和放大以及其它动作的最小化可以进一步扩展用户利用动作用户接口的能力，还可以使得手持设备或在该设备上运行的应用能够过滤掉不期望的用户引入噪声。利用这种能力，用户可以能够例如将设备向左移动来选择查看的列表，然后通过上下移动而滚动该列表。沿不适当的轴的动作可以被该设备忽略或实质上减少。

在具体实施例中，主要动作的选择和放大以及其它动作的最小化也可以应用于设备的旋转运动。围绕一个轴的主要动作可以以与上文针对平移运动所述的沿一个轴的动作相同的方式选择并放大。并且，可以最小化围绕另一轴的旋转(其不是主要旋转)。

图6示出根据本发明具体实施例的优选的动作选择的流程图60。在流程图60中，接收与手持设备的运动相对应的原始数据。在所述实施例中，所述运动原始数据包括在步骤64处理以生成指示设备运动的输出的x加速度数据62a、y加速度数据62b和z加速度数据62c。其它实施例可以包括其它类型的运动原始数据，例如光学或摄像机数据、陀螺仪数据和/或测距仪数据。在原始加速度数据62的处理之后，在步骤66选择动作的主要轴。如果所选择的动作的主要轴为x轴，则在步骤68a增大沿x轴的运动。如果所选择的动作的主要轴为y轴，则在步骤68b增大沿y轴的运动。如果所选择的动作的主要轴为z轴，则在步骤68c增大沿z轴的运动。根据所采用的应用或者其它特性，动作主要轴上的运动增大量在不同实施例中可能不同。在某些实施例中，可利用用户偏好69来确定运动增大的类型或量。如上所述，可以最小化沿除运动主要轴之外的轴的运动，从而使得这种运动能够被所使用的特定应用忽略。在步骤70，处理增大后的运动，以产生设备操作72。该处理步骤可以包括访问正在使用的应用，以确定基于所述增大后运动执行的特定设备操作。根据所使用的应用、具体用户或其它因素，增大后运动可以产生许多类型的设备操作中的任意一种。

对使用动作输入的特定用户接口而言，可能存在与设备位置相关联的虚拟显示的位置的值或者在手持设备10的显示屏12上显示的信息。例如，在使用基于平移输入(例如对显示在设备上的地图进行浏览)的具体实施例中，手持设备的位置可以直接确定显示屏12上显示的地图部分。但是，如果设备位置信息以绝对项保持(例如，在基于全球定位卫星(GPS)的系统的情况下)，许多任务(例如地图或菜单浏览)的效用可能削弱。因而，在特定情况下定义用于确定设备操作的“零点”，或者本地背景中的初值是有益的。例如，如果当设备在A点时定位零点，则A点与B点之间的动作可以用作输入。设定零点的特别有用的应用可以包括外部存在，例如在用户身体周围的空间中移动虚拟显示或者定位应用。设定零点还涉及内部存在，例如指示该设备忽略当前取向处的重力加速度以使得该设备仅对附加、且大概用户生成的加速度起作用。

根据具体实施例的手持设备仅在某些时候可以包括使用动作输入的应用用户接口。例如，在其它时候，可以不将设备动作用作输入，这对切断或“关闭”设备的动作灵敏性或者动作检测能力可能有用。例如，动作灵敏性的切断可以包括设备10的动作检测器22或其它部件(例如设备的动作响应模块)的停用(deactivation)。从而具体实施例使得能够选择性启用和切断设备的动作敏感性。

作为实例，基于由动作检测器22所检测的动作而修改显示屏12的动作响应模块可以具有这样一种操作模式，即在该操作模式中该动作响应模块等待用于切换到启用动作灵敏性的另一操作模式的触发。当不启用动作灵敏性时，设备的任何动作均可以不予处理。所述触发还可以设定设备的零点。当设定零点时，动作响应模块可以基于由动作检测部件执行的测量来测量设备的基准取向(baseline orientation)。所述基准取向可以包括在接收到所述触发时设备的位置(由来自动作检测部件的信息确定)。设备的未来运动将与所述基准取向对比，以基于用户的设备动作来确定要执行的功能或者在显示屏12处应该做的修改。

具体实施例提供任何数目的用户启动操作来用作单个触发，该触发用以零点选择和设备的动作灵敏性的选择性启用/停用。这种操作可以包括例如按压输入装置14上的键、以特定方式移动设备10(例如对应于特定手势的运动)以及轻敲显示屏12。应该理解，任何用户启动操作可以同时设定零点和启用设备的运动灵敏性。

在某些实施例中，一段不活动或最小活动性(即相对静态)的时期也可以设定零点和启用或停用动作灵敏性。图7示出用于被动设定手持设备的零点的流程图80。在步骤82a检测针对x轴的加速度变化，在步骤82b检测针对y轴的加速度变化，在步骤82c检测针对z轴的加速度变化。在步骤84a、84b和84c，确定检测到的任何加速度变化是否大于相应的特定阈值。如果检测到的沿上述三个轴中的每个轴的加速度变化均不大于设定阈值，则可以认为设备处于静止(at rest)状态，并且将在步骤86设定零点。例如，根据原始数据或者动作检测器22的部件的动作分量的稳定化，可以确定静止位置。但是，如果所检测到的沿上述三个轴中的任何轴的加速度变化大于设定阈值，则处理返回至步骤82的加速度变化检测。因此，这种被动设定零点的方法可以确保当手持设备静止时设定零点。并且，如果设备在特定时间处于匀速动作但是没有被用户移动(例如静止在匀速移动的火车中)，由于不会检测到加速度变化，因此将设定零点。使用阈值来确定加速度变化是否足够高从而不触发零点的设定，使得用户能够保持设备静止以被动设定零点。否则，这可能很困难，因为具有高灵敏性加速度计的设备可能由于非常微小的非期望用户启动运动而检测到加速度变化。应该理解，可结合具有不同于加速度计的部件的动作检测器来使用类似的方法。阈值也可以用于这种类似的方法，以解决以别的方式可能阻碍零点设定的微小的非期望运动的问题。

为了使用有限量的物理空间内的动作输入而允许通过虚拟桌面(或信息空间)的较大运动，本发明的具体实施例包括允许用户反复选择性启用和停用手持设备的运动灵敏性的能力。上述处理可以类推说明为使用控制光标的鼠标来“拖拉”，或者将鼠标从一个表面升高并将该鼠标重新放置在不同位置的表面上，以使得光标能够进行较大的运动。升高鼠标断开了鼠标运动与光标运动之间的连接。类似地，用户可以启用和停用手持设备(例如设备10)的动作与基于该设备运动的业务、功能或行为之间的连接关系。

图8示出使用拖拉功能来浏览大于手持设备显示屏的虚拟桌面或信息空间的实例。在所示实例中，手持设备用于浏览虚拟桌面90。虚拟桌面90例示为网格图，并且可以代表用户可能期望浏览的任何适当信息。手持设备中显示的虚拟桌面信息由框92代表。在本实施例中，使用手持设备的平移来浏览虚拟桌面90。例如，用户可以自右至左移动手持设备以自右至左浏览虚拟桌面90的信息。应该理解，尽管所示实例描述了向右移动该设备以实施所述拖拉处理，但是可以理解的是具体实施例的手持设备可以以任何适当的方式移动，以实施所述拖拉处理。

如上所述，框92代表设备中当前显示的虚拟桌面90的信息。如果用户期望观看框94处所代表的信息，则该用户可以自左至右移动手持设备。为本实例的目的，假设用户向右移动设备，则在设备中显示框94中包含的虚拟桌面90的信息。还假设用户的手臂现在伸出到用户右方，从而该用户必须向更右方走或者移动以观看位于框94右侧的虚拟桌面90的装置信息的显示。如果在这种情况下，用户不能或不期望进一步向右走或者移动以使得设备向更右方移动，则用户可以选择性停用手持设备的动作灵敏性，将设备移回左方，选择性重新启用设备的动作灵敏性并将设备移回右方以显示框94右侧的信息。以这种方式，用户可以显示包含在框96中的虚拟桌面90的信息，而上述处理可以重复以显示框96更右方的框98中包含的信息。

为了在有限量的物理空间内允许在虚拟桌面中的较大运动，可以通过多种方式，例如通过设备的输入装置上的键，根据特定手势或运动(例如弧形运动)移动设备或者轻敲设备显示屏的方式，使得能够选择性停用和重新启用设备的动作灵敏性。为此目的，可以使用任何其它用户启动行为来停用和重新启用动作灵敏性。具体实施例可以允许多个行为来停用和重新启用设备的动作灵敏性。并且，停用设备动作灵敏性的用户动作可以不同于重新启用动作灵敏性的用户动作。可以在任何适当应用(例如地图浏览、菜单浏览和滚动浏览列表)中执行上述拖拉处理。

图9为示出根据具体实施例的以上针对图8所述的拖拉处理步骤流程图。该流程图开始于步骤100，其中手持设备向右移动，以从显示虚拟显示屏90的框92的信息变为显示框94的信息。如上所述，用户可能期望显示框94更右方的信息，但是可能已经超出了将设备向更右方移动的物理空间。因此，在步骤102，用户停用设备的动作灵敏性。任何适当的用户操作可以执行这种停用，例如按压设备上的按钮或者根据特定手势移动设备。在步骤104，用户将设备向左移动，从而使得用户具有更大的物理空间，通过该空间用户可以在重新启用动作灵敏性时将设备向右移动。

在步骤106，用户重新启用设备的动作灵敏性。同样，这种重新启用也可以通过任何适当的用户操作执行，并且这种用户操作可以不同于在步骤102中用于停用运动灵敏性所执行的用户操作。由于动作灵敏性已经重新启用，所以在步骤108，用户将设备向右移动，以将设备上显示的信息从框94的信息改变为框96的信息。在步骤110，确定是否需要将设备进一步向右移动。如果需要进一步移动(例如显示框98中的虚拟显示屏90的信息)，则处理返回至步骤102，其中设备的动作灵敏性再次停用。如果不需要进一步移动，则处理结束。如上所述，所述拖拉处理可以在支持动作输入的设备的任何适当应用中采用，并且设备可以以任何适当方式移动以实施这种功能。

如上所述，在所述拖拉处理中可以采用设备的特定运动(例如特定手势)来用信号通知该设备在所述运动过程中不改变显示屏上显示的信息。这使得用户能够使设备返回这样一个位置，即用户可以从该位置移动设备以进一步改变显示屏上显示的信息。例如，设备可以位于基准位置，该设备从该基准位置的运动改变所显示信息。可使用特定的预设运动(例如弧形运动)，该运动可以用信号通知设备在该运动完成之前不基于运动改变所显示的信息。一旦所述预设运动完成，可以复位基准位置，以使设备从该基准位置的未来运动能够进一步改变所显示的信息。该基准位置可以识别设备的基准取向，该基准取向由设备的动作检测部件所接收到的动作数据的基准分量来表示。在具体实施例中，如从基准位置的运动所确定的，可以接收手势来执行改变设备中显示的信息的特定命令。

如针对上述各种实施例所讨论的，根据具体实施例的手持设备可以采用多种输入类型或模式来操作设备。这种输入模式包括动作输入模式，例如平移输入模式和手势输入模式。尽管多种输入模式有时可以彼此组合使用，但是在某些情况下可以设定手持设备以识别每次的特定模式类型。在某些情况下，手持设备可以设定为基于多种类型的非动作输入的功能，并在特定时设定为仅一种类型的运动输入(例如平移或手势)。

为了有助于手持设备在识别多种输入模式时的这种灵活性，在具体实施例中，可以使用特定触发来在输入模式之间切换。例如，用户可以按压特定键或者可以以特定方式(例如特定手势)移动设备来切换输入模式。在某些情况下，设备的应用基于多种类型的动作输入进行识别和作用，可以按压特定键或者可以使用设备形成特定手势，以在平移运动输入模式与手势运动输入模式之间切换。所述触发也可以包括从一个应用到另一应用或者一个显示图像到另一显示图像的简单切换。在某些情况下，所述触发可以在非动作输入与运动输入模式之间切换。可以实施任何特定用户动作来用作在不同输入模式之间(例如在不同运动输入模式之间)切换的触发。在某些实施例中，可以在设备上采用语音命令或者物理操作(例如设备或屏幕敲击)来切换输入模式。

在具体实施例中，重新启用设备的动作灵敏性的用户操作还可以包含其它信息，所述其它信息可能在其它方面影响设备操作。例如，如果用户做一种动作来重新启用平移灵敏性，则其将赋予该设备相比用户作用于重新启用动作灵敏性的不同运动的情况下更大的灵敏性。重新启用动作可以包括指示用户的身份或背景的手势，从而启用多种操作性设定，例如用户偏好。

如上所述，具体实施例包括接收动作输入来控制手持设备的各种功能、任务和业务的能力，且可以用于改变在处理中设备上显示的信息。与仅基于平移的输入相对照，在某些情况下，这种动作输入可以为手势的形式。手势输入可用于浏览某些应用中的立体菜单或网格。例如，如以上针对拖拉处理所述，手持设备的显示屏可能小于能够在该显示屏上呈现的信息(例如菜单选项、地图信息)量。这会导致菜单结构窄且深。在许多情况下，相比窄、深的菜单结构更优选宽、浅的菜单结构，因为用户不需要记忆有关功能所在位置的太多信息。

图10A示出根据具体实施例使用手势输入的菜单浏览的实例。在所示实施例中，使用手持设备来浏览虚拟桌面120。虚拟桌面120包括具有用于选择的多个菜单类122的菜单树。每个菜单类122可以包括相应的用于选择的子类。在某些实施例中，菜单类122可以包括功能类，而在每个这种功能类下每个菜单选择的子类可以包括实际功能。在其它实施例中，菜单类可以包括名词(例如，“文件夹”、“文档”、“图片”)，而子类包括动词(例如“移动”、“粘贴”、“剪切”)。如果手持设备包括移动电话，则菜单类122可以包括“呼叫”、“电话簿”、“消息”、“事务计划管理器”、“声音”、“设定”或者其它项目。每个菜单类122可以包括一旦选定菜单类122时可以访问的功能。尽管在图10A中示出两个菜单级，应该理解用于动作接口浏览的信息的多维桌面或显示可以包括使用任何数目等级的任何数目的选择(例如菜单)。

在所示实例中，已经选定菜单类122e，并显示菜单类122e的子类124作为可用选择。框126和128代表在用户的手持设备上显示的信息。如图所示，虚拟桌面120包括可以在设备上同时显示的多条信息或菜单。用户可以根据特定手势移动设备以横向或纵向浏览虚拟桌面。手势也可以用于浏览不同菜单级和进行菜单选择。作为实例，用户可以以顺时针环130的形式移动设备10以横向向右浏览虚拟桌面120预定量(例如从框126的信息移动到框128的信息)。特定菜单类122可以由离开手势132或向下手势选择(例如选择菜单类122e)，从而显示用于选择的子类124。类似地，为了横向移动到虚拟桌面120的左边，用户可以以逆时针环134的形式移动设备10。在某些情况下，浏览可以通过四个手势完成：向前手势、向后手势、向左手势和向右手势。在某些实施例中，包含垂直方向的运动矢量的手势可用于浏览。

在具体实施例中，可以使用的手势是其它已用手势的镜像，以执行与所述其它手势所完成的功能相反的功能。例如，朝向用户的动作可以放大，而相反动作(远离用户的动作)可以缩小。使用镜像或者映射到相反功能的互逆手势可以使得设备的动作用户接口易于学习和使用。

在某些情况下，显示屏中心的菜单项可以高亮用于选择，而在其它情况下特定手势可以指示用户期望选择所显示的多个选择中的哪个菜单选择。应该理解，用户使用手势可以浏览的菜单或其它信息可以以任何数目的方式呈现在手持设备上。在某些实施例中，一次仅可以显示一级信息(即一个菜单级)，而子级或更高级在其能够选择之前不显示。

图10B示出可用于执行各种功能(例如使得用户能够浏览虚拟桌面的功能)的手势实例。所示的手势实例包括用于向上方向浏览虚拟桌面的“上”手势133、向下浏览的“下”手势135、向左浏览的“左”手势136、向右浏览的“右”手势137、用于在朝向用户的方向浏览的“内”手势138以及用于远离用户浏览的“外”手势139。应该理解，这些仅是具体实施例的示例手势和命令，而其它实施例可以包括映射到不同命令的不同手势或类似手势，所述不同命令用于使用手持设备浏览桌面或者执行其它功能。

图11示出根据本发明的具体实施例使用动作输入的地图浏览的另一实例。图11包括代表分割为十六个部分的信息网格的虚拟桌面140，每个部分标以相应的字母(A、B、C、...P)。使用标号字母识别虚拟桌面140的各部分仅是为了说明具体实施例的目的，根据其它实施例的虚拟桌面的部分可以或者不可以通过标号或其它方式在设备应用中识别。虚拟桌面140包括可以同时在特定手持设备上显示的多条信息。虚拟桌面140可以代表用户期望使用手持设备浏览的任何适当的信息，例如街道图。用户可能期望横向浏览虚拟桌面140以在手持设备显示屏上显示信息的不同部分，也可能期望放大(以及缩小)虚拟桌面140(即改变所显示信息的粒度)以更清楚地查看虚拟桌面140的信息的特定部分。

在所示实例中，框142代表手持设备10上当前显示的信息。框142包括虚拟桌面140的部分A、B、E和F。在具体实施例中，如果用户期望将设备上显示的桌面140的信息改变为例如框C、D、G和H的信息，则用户可以使用运动输入来将代表设备显示的框142向右移动必要量(在所示实例中为向右两部分)。这种运动输入可以包括平移输入(将手持设备10向右移动适当量以改变所显示的信息)或者手势输入(根据映射到该功能的特定手势移动手持设备10)。作为实例，一个手势可以映射为向右移动显示屏一部分，而另一手势可以映射为向右移动显示屏两部分。因此，使用平移输入或者手势输入，用户可以横向浏览桌面140。

手持设备10也可以使得用户能够例如通过平移输入或者手势输入来放大所显示的特定信息，以更清楚地观看该信息。作为使用手势输入的实例，如果设备上显示的信息包括上述十六个部分中的四个部分(例如框142显示部分A、B、E和F)，则用户可以使用均映射到放大特定部分的四个手势中的一个来放大所显示的四个部分之一。如果用户根据映射到放大部分B的手势移动手持设备，则设备可以以放大图显示由框144(部分B1、B2、B3、B4、B5、B6、B7、B8和B9)代表的信息，该信息集合形成虚拟桌面140的部分B的信息。因此，部分B的信息可以更大和更清楚地显示。当在设备上观看框144的信息时，用户可以使用适当的映射手势再次缩小或放大当前显示的特定部分。如果用户根据映射为放大部分B2的手势(该手势可以是与在显示框142的信息时用于放大部分B的手势相同的手势)移动手持设备，则设备可以显示框146(部分B2a、B2b、B2c、B2d、B2e、B2f、B2g、B2h和B2i)的信息。用户也可以在放大特定部分时能够横向浏览虚拟桌面。例如，当放大部分B(观看框144的信息)时，用户可以使用平移或手势输入来横向移动虚拟桌面以观看不同于部分B的部分的放大图。作为实例，当观看框144的信息时，用户可以做将所显示信息向右移动的手势，从而使得整个显示屏仅示出虚拟桌面140的部分C的信息(即在放大示出部分C1、C2、C3、C4、C5、C6、C7、C8和C9的部分C)。应该理解，用户可以使用动作输入以任何适当的方式浏览虚拟桌面140的信息(同时横向浏览并放大和缩小)。

如上所述，可以使用任何适当的手势来同时横向浏览虚拟桌面(或者浏览特定级)以及在多维桌面的不同级或维度之间浏览。并且，在某些实例中，动作(例如手势)可以用于横向浏览多维桌面，而非动作行为可以用于在维度之间选择或浏览。这种非动作行为可以包括按压设备输入装置中的键。因此，运动和非动作行为的组合可以用于具体实施例中的多维虚拟桌面或菜单浏览。

具体实施例可能允许基于手势浏览任何适当应用，例如多维网格、菜单、日历或者其它分层应用。例如，在日历应用中，可以使用特定手势在一个级(例如月)内浏览，而其它手势可以用于在级之间浏览，例如在年、月、日、小时和事件之间。并且，在使用这种手势浏览的手持设备中实施的不同应用可以使用不同的手势。因此，根据所使用的具体应用，具体的浏览手势可能不同。在某些实施例中，与仅使用基于手势的运动相反，基于平移的接口可用于浏览虚拟桌面的多维信息。例如，沿x和y轴的运动可以用于在一个层级内浏览，而沿z轴的运动可以用于在层级之间浏览。

另一实例可能涉及使用带有机构、字母、名字、联系方式(例如办公室电话、移动电话以及家庭电话的电话号码、电子邮件)的电话簿和行为来启动与沿不同层次的级的所有人的联系。在本实例中，层次可能包含信息(名词)和动作(动词)。人们可以将本实例映射在仅两个轴上，其中例如y轴用于在一个层次级内选择而x轴用于在级之间移动。z轴可用于确认动作以及帮助防止动作的无意间执行。

在某些情况下，特别是在基于平移的浏览中，所经过的级的数目可以依据运动幅度而定。将设备进行小量移动可以一次浏览一级，而将设备进行大量移动则可以一次浏览多级。运动幅度越大，一次可以浏览的级越多。当应用于基于手势的运动输入时，不同手势可以用于一次浏览所述层次中不同数目的级。这些手势可以为幅度不同的相同运动或者完全不同的运动。

浏览多维桌面或信息显示的运动接口的增加的用途可以使得菜单扁平化，因为用户可以更容易地横向浏览太大而不适合显示在设备的显示屏上的特定菜单或者虚拟桌面的维度。由于菜单的扁平化，用户可能需要记忆较少的信息，从而增加了用户的设备的功能和能力。

如上所述，具体实施例中的手持设备允许用户使用动作输入横向浏览虚拟桌面。在某些情况下，用户可以使用光标来横向浏览手持设备上显示的信息。例如，在设备上可以显示特定信息，用户可以使用动作输入来围绕设备移动光标并选择所显示的特定项目以执行特定功能。在某些情况下，动作输入可用于移动光标，而非动作操作(例如按压按钮)可用于选择光标当前指示的项目。应该理解，在光标浏览的各种实施例中可以采用手势以及平移运动输入。

在具体实施例中，所显示的信息可能相对于设备固定，光标可以保持在空间中固定，以使设备的运动用于导航光标以横向浏览信息。图12A示出使用这种形式的动作输入光标导航的实例。显示屏147代表手持设备的显示屏。为了描述该光标导航实例，将显示屏分割为网格以示出正在显示的信息。所述网格包括部分A-P。显示屏147包括部分C、D、G和H之间的光标148。如上所述，在本实施例中，所显示的信息在设备移动时相对于该设备保持固定，并且光标在空间中保持固定。但是，相对于所显示信息的光标位置根据动作输入而改变。当设备向右平移时，根据向右运动149，光标根据与该设备平移相反的动作而平移。

显示屏150代表在设备根据向右运动149移动之后可能的显示，其中光标148现在位于部分A、B、E和F之间。应该理解，由于本实例涉及基于平移的输入，设备的运动(例如在本实例中向右)的幅度可以直接影响光标相对于所显示信息的运动幅度。显示屏152代表手持设备已经根据向上运动151移动之后的另一显示，其中光标148现在位于部分I、J、M和N之间。显然，由于光标在空间中保持固定，所以其将相对于所显示的信息向下运动。显示屏154代表手持设备已经根据向左运动153移动之后的另一显示，其中光标148现在位于部分K、L、O和P之间。显然，光标将相对于所显示信息向右运动。因此，以这种光标导航的形式，设备的动作改变光标在信息上的位置。在这种方式中，例如手持设备可以以移动来替代使用手写笔来指向所显示信息的特定部分。

在光标导航过程中的任何点，用户可以采用任何形式的输入(例如手势、键压等)来根据光标当前指示的信息选择或者执行功能。例如，针对显示屏152，用户可以使用特定手势或者按压按钮基于由光标148当前指示的部分I、J、M和N之间的信息来放大、选择或者执行某种其它功能。

如上针对图12A所述，具体实施例可以以与设备运动相反的运动来平移光标，以将所述光标在所显示信息上横向移动。在一个实施例中，可以将设备的输入运动分割为沿三个轴的每个的运动，其中两个轴平行于设备显示屏(例如，x轴和y轴)。在x轴和y轴平面内的设备动作基于这种动作而改变设备上所显示的信息时，光标可以同时根据平移矢量来移动，以基本上保持光标在空间中的位置，其中所述平移矢量与x轴方向和y轴方向的运动总量相反。在某些情况下，当设备根据平移矢量运动穿过显示屏的显示边缘时，该矢量可以减小以保持光标在显示屏内。这种减小可以包括减小所述平移矢量的一个和多个分量，以保持光标在距离显示边缘的一定距离内。

应该理解，将所显示的信息分割为部分A-P仅是为了示例和说明上述实施例的目的，具体实施例的手持设备上显示的信息可以不包括这种分割或者其它类型的基准信息。

图12B示出根据具体实施例的另一种形式的动作输入光标导航。在本实例中，在将动作输入用于浏览大于设备显示屏的虚拟桌面时，光标保持位于相对于显示屏的固定位置。图12B包括虚拟桌面158，虚拟桌面158包括用户使用手持设备上的动作输入可以浏览的信息，例如街道图。虚拟桌面158包括在特定手持设备上一次可以显示更多信息。为了说明本光标浏览实例，将虚拟桌面158分割为网格以区分桌面上所呈现的信息。所述网格包括6行(A-F)和7列(1-7)。此处例如可以使用其行字母和列号来标识本实例中的网格部分(例如部分B7或者D2)。应该理解，将虚拟桌面158分割为由行号和列号代表的部分仅是为了示例和说明上述实施例的目的，具体实施例的虚拟桌面可以不包括这种分割或者其它类型的基准信息。

框160代表手持设备当前显示的虚拟桌面158的信息。显示屏161代表示出框160的信息的手持设备的显示屏。显示屏161还包括位于部分B2、B3、C2和C3交叉点的光标159。如上所述，当用户使用动作输入来围绕虚拟桌面移动(即，改变设备所显示的信息)时，光标保持在相对于显示屏的固定位置。但是，光标位置相对于手持设备所显示的虚拟桌面的信息而改变。例如，用户可以使用动作输入将设备上显示的信息改变为框162所显示的信息。设备所显示的信息改变(到B5、B6、C5和C6)；光标159将保持在设备显示屏中固定(例如在本情况下在显示屏的中心)以使其位置相对于虚拟桌面158的信息改变，如显示屏163所示。如果用户期望使用动作输入来将设备所显示信息改变为框164所代表的信息，设备所显示信息改变为部分E3、E4、F3和F4，如显示屏165所示。因为在本实施例中其相对于显示屏的位置固定，所以光标159定位在显示屏中心的这些所示部分之间。

因此，根据图12B所示的光标导航的形式，光标将保持在相对于设备显示屏固定的位置，而其相对于虚拟桌面的信息的位置改变。如以上针对图12A所述和所示的实施例所讨论的，在浏览处理的任何点，用户可以使用任何形式的输入(例如手势、键压等)根据光标当前所指示的信息来选择或者执行功能。例如，针对显示屏163，用户可以基于由光标159当前指示的部分B5、B6、C5和C6之间的信息，使用特定手势或者按压按钮来放大、选择或者执行某些其它功能。

应该理解，任何特定输入，例如手势或者键压，可以用于切换设备上的光标导航模式。例如，用户可以在图12A的控制平移的光标模式与图12B的固定光标模式之间切换。

如上所述，具体实施例允许用户根据手势移动手持设备10以执行特定功能或操作。而在某些情况下，用户可以不根据预期的特定手势移动设备，因此设备将不能够识别作为预期手势的运动。为了指示将用户的设备特定运动识别为特定手势，在某些实施例中手持设备提供反馈以通知用户该运动实际上识别为手势。

所述反馈可以包括音频格式(例如语音、峰鸣、音调或音乐)、视频格式(例如设备显示屏上的指示)、振动格式或者任何其它适当的反馈格式。音频反馈可以通过设备10的用户接口扬声器或者耳机插孔提供，振动反馈可以通过设备10的用户接口振动产生模块提供。音频、视频和振动反馈可以改变以提供多重反馈指示项的能力。作为实例，振动反馈可以随着时间推移单独或者组合地改变持续时间、频率和幅度。通过使用彼此组合的不同类型的反馈可以扩展反馈的丰富性和复杂性，例如通过使用振动反馈与音频反馈组合。在某些情况下，反馈可以是指定手势的(gesture-specific)，以使一个或者多个已识别手势分别具有其各自的反馈。例如，当识别出某一手势时，设备可以以特定音调或者特定次数峰鸣，而当识别出一个或多个其它手势时所述峰鸣音调或者峰鸣次数可以改变。对不具有即时可视屏上显示或者功能的手势(例如使用移动电话呼叫特定号码)而言，使用音频反馈尤其有用。不同类型的反馈也可以是某些实施例中特有的背景或应用。不同的背景可以包括设备状态(例如聚焦或使用哪个应用)、电池电量和可用存储器以及由用户定义的状态(例如静音模式)。例如，在静音模式下手持设备可以使用振动反馈响应手势输入，而不在静音模式下时将使用音频反馈。上述反馈处理也可以由计算机或其它部件的手持运动输入装置使用。

类似于针对上述手势识别的反馈，具体实施例中的手持设备也可以在以下事件中为用户提供反馈：即当设备在手势输入模式下时未将特定用户运动识别为手势的事件。例如，如果运动看起来要表示一种预期的手势，但是不能指定为设备已知的特定手势，则设备将发出指示失败的声音。这通知用户以下信息：用户必须根据对设备要的预期手势而作出移动该设备的另一尝试，以执行所期望的操作或者功能。通知用户运动未被识别的反馈也可能包含音频、视频、振动或者其它适当格式的反馈，该反馈不同于当特定运动由设备识别为特定手势时所传递的反馈。为了确定用户的意图是否是输入手势，手持设备10可以查看暗示动作为预期手势的运动的某些特征。这种特征可以包括例如动作的幅度、上阈值运动的时间段以及加速度的量和间隔。如果特定手势未被设备识别，则手势反馈系统可用于确定预期手势。例如，音频反馈可以指示由手持设备确定的可能性，而用户可以使用手势来浏览音频菜单以选择预期手势。

在具体实施例中，可以使用音频或振动反馈系统，以使用户能够在无需借助于观看显示屏12的情况下操作手持设备10。例如，在某些实施例中的手持设备可以为浏览菜单或者虚拟桌面的其它信息的用户提供音频、视频或者振动反馈。实际上，与用户运动输入组合的这种设备反馈可以用作用户与设备之间的一种类型的“会话”。如上所述，可以使用反馈的多种类型和复杂性。所述反馈处理在查看设备显示屏不方便、不安全或者不实际的情况下(例如在开车或者在黑暗环境下)特别有利。

应该理解，在某些实施例中诸如音频、视频和振动反馈之类的反馈也可以结合平移运动输入使用。例如，当用户使用平移输入达到虚拟桌面的限制或者边缘时可以给出反馈指示项。

图13为示出按照具体实施例使用响应运动输入的反馈的处理的流程图170。在该处理的步骤172，在手持设备10中接收到原始动作数据。如上所述，所述原始动作数据可以由加速度计、陀螺仪、摄像机、测距仪或者任何其它适当的动作检测部件的组合来接收。在步骤174，处理所述原始动作数据，以生成指示该设备运动的动作检测器输出。这种处理可以包括各种过滤技术以及来自多个检测部件的数据融合。

在步骤176，可以检查设备状态，因为在某些实施例中特定运动的反馈依赖于接收该运动时的设备状态。如上所述，实例设备状态可以包括聚焦或使用的特定应用、电池电量、可用存储器以及特定模式(例如静音模式)。在步骤178，针对设备状态分析动作检测器输出。在步骤180，确定由动作检测器输出指示的动作对给定的特定设备状态是否有意义或者可识别。例如特定手势可以在一个应用(例如日历应用)中执行特定功能，尽管该手势在另一应用中不起作用。如果手势对手持设备的给定状态可识别或者有意义，则在步骤182提供反馈。如上所述，在具体实施例中反馈可以是音频、视频或者振动格式。在某些情况下，该反馈可以仅是设备在给定设备状态识别出手势的指示。在其它情况下，该反馈可以是用于附加输入的进一步询问，例如如果用户正在使用提供用于执行一个或者多个功能的一系列输入的特定设备应用。在步骤184，设备根据运动输入和设备状态进行操作，并且该处理可以返回至接收到附加原始动作数据的步骤172。

如果在步骤180确定由动作检测器输出指示的动作对给定的特定设备状态没有意义或者不可识别，则处理进入步骤186。在步骤186，确定该动作是否在特定阈值之上。进行所述确定以确定特定动作输入是否例如预期手势。如上所述，所述确定的阈值特征可以包括动作输入的幅度、动作输入的时间段以及动作的加速度的量和间隔。如果确定该动作输入不在特定阈值之上，则该处理返回至接收到附加原始动作数据的步骤172。但是，如果该动作输入在阈值之上，从而使得在给定设备状态下已经表示了预期的手势，但是该手势未能识别或者没有意义，则在步骤188提供反馈。所述反馈可包括音频、视频和/或振动反馈，并可以指示该手势不可识别或者没有意义。在具体实施例中，该反馈还可以提供关于表示手势的询问或者可以为用户提供用户从中可以选择由运动预期的特定手势的许多潜在预期手势。应该理解，具体实施例可以不包括所述的某些步骤(例如某些实施例可以不包括步骤186的阈值确定)，而其它实施例可以包括附加步骤或者不同顺序的相同步骤。如上所述，具体实施例可以在许多应用中的任一个以及以许多方式中的任何一种方式采用动作输入反馈(例如包括反馈“会话”)，并且反馈系统的类型和复杂性在不同实施例中可能发生很大变化。

如上所述，根据具体实施例的手持设备可以接收手势动作输入，以控制设备上运行的任何数目应用的任何数目功能。使用手势相关的某些应用可以包括移动商务(mCommerce)应用，其中移动设备(例如手持设备10)用于执行各种交易，例如商业或消费者购买。许多mCommerce应用采用某种形式的身份验证来验证用户，例如个人身份号码(PIN)、信用卡信息和/或移动设备的所有者。但是，许多形式的身份验证可能“泄漏”。它们可能被有意或者无意地共享。另一种形式的身份验证是用户书面签名，其不会遭受上述泄漏问题，因为伪造品通常难以实现且可以容易地检测。具体实施例可以使用运动输入来接收用户签字作为通过手持设备进行的mCommerce或其它交易中的身份验证形式。

书面签名可以认为是手势的两维记录。当使用基于运动输入的手持设备时，用户签名可以以三维形式，从而可以包含“空间签名”。并且，当与设备接收的其它形式的输入组合时，用户签名可以采用任何数目的维度(例如四维、五维或者更多维)。例如，使用设备在空间中“书写”并在动作检测器22处检测的三维签名可以与键压或者其它输入组合以增加签名的维度数目。

这些空间签名可以由手持设备的动作检测器22跟踪、记录和分析。它们可以在随着动作检测部件的数目改变而改变精度的情况下记录，以用作有效形式的身份验证。用户的空间签名可以采用包括基于用户传统两维书面签名的三维形式，或者可以包含用户在手持设备中作为他或她的签名而记录的任何其它适当手势。

在某些实施例中，识别空间签名的处理可以涉及图案识别和学习算法。该处理可以分析与该签名关联的关键加速度的相对计时。这些计时可以相当于运动的开始点和停止点、运动曲线以及其它运动特征。在某些情况下，可以存储签名运动的点的数据组的某些散列(hash)，随后的签名可以与该散列比较以用于识别。如果该签名是真实的，则可以通过确定其是否为惟一的来进一步校验。例如，在具体实施例中，可以通过将设备的特定运动与初始或者基准位置比较(例如通过设备10的签名检测模块)来检测签名。这种比较可以通过将该运动的一系列加速度与所存储的空间签名的预设的一系列加速度比较来进行。无论用户输入动作签名的规模如何，均可以进行这种确定。

在某些实施例中，设备可以通过确定该设备在动作中相对于初始位置的位置是否与空间签名匹配来检测该设备的运动是否与签名匹配。

图14示出利用空间签名作为mCommerce交易的身份验证的示例系统200。系统200包括手持设备10、mCommerce应用202、验证器(authenticator)204和通信网络206。mCommerce应用202可以包含用于与用户的手持设备进行商业交易的任何适当应用。这种交易可以包括消费者购买(例如从网站购买企业或者其它用户的产品或服务)、在线支付、帐户管理或者任何其它商业交易。验证器204验证或者认证由用户在手持设备10输入的空间签名，以完成mCommerce交易。验证器204可以存储一个或多个用户的一个或多个空间签名，用于在mCommerce交易中的验证。在某些实施例中，验证器可以位于手持设备10内、mCommerce应用202内或者任何其它适当的位置。通信网络206能够在系统200的部件之间传输信息或数据，并可以包括一个或多个广域网(WAN)、公共交换电话网(PSTN)、局域网(LAN)、互联网和/或全局分布式网络(例如内联网、外联网或者其它形式的无线或有线通信网络)。通信网络206可以包括实现任何数目通信协议的路由器、集线器、交换机、网关或其它硬件、软件或嵌入式逻辑块的任何适当组合，所述通信协议为允许在系统200中交换信息或数据的通信协议。

在操作中，当用户使用手持设备10来进行与mCommerce应用202的交易时，用户可以使用动作输入来传递验证签名，例如通过根据用户的三维签名移动该设备。作为实例，用户可以在购买点(例如商店)使用其移动电话替代信用卡。替代签署随后需要传递和处理的纸件，用户可以根据用户的空间签名简单地移动设备10。如上所述，在某些实施例中用户签名可以包括三个以上的维度。该签名可以通过使用手持设备10或另一移动设备由用户预先记录，并且所记录的签名可以存储到手持设备10、mCommerce应用202、验证器204或者其它适当位置(例如多个mCommerce用户的签名的签名存储数据库)。

手持设备10的动作可以在该设备中处理，并且指示该动作的动作输出可以传递至mCommerce应用202。mCommerce应用202可以将该动作输出传递至验证器204，用于验证设备10接收到的动作输入确实是试图进行mCommerce交易的用户签名。如果验证器204验证了用户签名，则mCommerce应用可以完成与用户的交易。如上所述，在具体实施例中验证器204可以位于手持设备10内或者在mCommerce应用202中，并且可以访问存储在设备10、mCommerce应用202或者任何其它适当位置的用于验证的签名。

验证也可以由手持设备用于非mCommerce应用，例如当期望采用电子保密措施来执行诸如使用设备发送私人或安全数据的功能时的情况。期望使用手持设备10发送数据或其它信息的用户可以在加密处理中使用其空间签名。空间签名可以以多种方式中的任何一种来保护通过网络传输的数据，并可以与公钥/私钥加密系统结合使用。例如，在某些实施例中手持设备10可以验证通过运动输入接收到的用户签名，然后使用其自身私钥来加密用于传输的数据。在其它情况下，数据可以传递至手持设备10，以使预期接收者必须输入其空间签名来接收加密后的数据。在某些实施例中，数据可以传递至无线连接至手持设备10的计算机，而预期接收者必须使用手持设备10作为将用户签名传递至用于数据解密的计算机的方式。并且，在具体实施例中，用户空间签名本身可以代表加密密钥，从而设备的动作生成所述加密密钥而不是仅用于验证的签名动作。在某些情况下，设备可以通过将签名转换为等效的私钥来将加速度的组合识别为该签名。手持设备然后可以使用该私钥作为交易的验证处理的一部分。

在具体实施例中，空间签名可用于管理建筑物或事件的物理访问。例如，由用户在设备中输入的签名可以根据允许进入的人员名单进行检查，就如同检查为事件而“同意呼叫”的ID。

在具体实施例中，用户可以使用手持设备10的动作输入来控制其它设备，例如音频/视频设备、家用电器和设备、计算设备或适于由手持设备控制的任何其它设备。可以由手持设备10通过采用任何数目的无线或有线协议(包括蜂窝、蓝牙和802.11协议)的设备10的通信接口20来控制所述设备。在某些实施例中，设备10可以接收动作输入来经由网络通过无线或有线通信控制其它设备。因此，通过设备10的动作输入控制的设备可以位于相对于设备10的任何位置，例如在相同的室内或者穿越国家。并且，其它设备的控制可以通过任何数目的中间设备(例如通过网络)实现。

作为实例，如果手持设备10为具有蓝牙功能的移动电话，则该移动电话的特定手势或者其它运动可以无线传递命令来控制其它设备(例如室内的便携式计算机)驱动PowerPoint演示。可通过手持设备10的动作输入控制的其它设备可以包括电视机、收音机、立体声音响、卫星接收器、机顶盒、DVD播放器、数字视频记录器、照明器、空调、加热器、恒温器、安全系统、厨房电器(例如烘箱、冰箱、制冷器、微波炉、咖啡机、面包机、烤箱)、PDA、桌面和便携式PC、计算机外围设备、投影仪、无线控制车、船和飞机以及任何其它设备。作为另一实例，旅客可以以某种方式摇动其移动电话来命令其家中的加热器在该旅客到家之前启动。在某些实施例中，手持设备可以接收和处理原始动作数据，以确定用于传递至其它设备的命令或预期功能。在其它实施例中，手持设备的动作检测器可以通过设备10的动作将由其动作检测部件接收到的用于传递的原始数据输出到由设备10控制的一个或多个设备。因此，由设备10控制的不同设备可以以不同的方式处理设备10的相同原始动作数据。例如，设备10的特定手势可以执行由设备10控制的不同设备的不同功能。

图15示出实例系统220，其中手持设备10通过设备10的动作输入控制多个其它设备。系统220包括手持设备10、便携式计算机222和远程设备224，其中远程设备224通过无线或有线链路经由通信网络226连接至手持设备10。手持设备10通过动作检测部件(例如加速度计、摄像机、测距仪和/或陀螺仪)接收该设备的特定动作的原始动作数据。所述原始动作数据在手持设备中处理。可以访问特定数据库(例如手势和手势映射数据库)，以基于由该设备的控制模块所跟踪的动作来确定匹配手势和预期功能。所述预期功能可以是由手持设备10控制的另一设备(例如便携式计算机222或远程设备224)的功能。因此，动作输入为从设备10到所控制设备传递的基础(underlying)操作信号的接口。在其它实施例中，可以在不确定设备10的功能的情况下将仅指示设备10的特定动作输入的原始动作数据或其它数据直接发送到便携式计算机222和/或远程设备224。在这些实施例中，便携式计算机222和/或远程设备224自身可以处理从手持设备10接收到的原始动作数据，以基于所述原始动作数据来确定它们应该执行的一个或多个预期功能或操作。在某些实施例中，适用地，设备10的用户可以通过动作控制设备10或者其它设备，对于所述其它设备，手持设备10应该传递所述其它设备的原始动作数据或预期功能。尽管示出由手持设备10控制的两个设备，应该理解具体实施例可以包括由手持设备10通过如上所述的动作输入控制的任何数目的不同类型的设备。

如上所述，具体实施例包括通过手持设备10的动作输入来控制其它设备(例如其它本地或远程设备)的能力。在某些实施例中，手持设备10的用户选择设备10的特定动作输入预期控制的其它设备。例如，在对设备10移动之前，用户可以使用手持设备10的输入装置14(例如通过按压按钮或者移动定位轮)根据映射到其它设备的预期功能或操作的特定动作来选择用于控制的本地或远程设备。而在具体实施例中，为了选择在设备10的动作输入期间控制的其它设备(例如其它本地或者远程设备)，用户可以根据特定手势移动手持设备10。因此，具体实施例提供待由手持设备10控制的其它设备的手势动作选择。

手持设备10可以包括设备选择模块，用于检测指示用户期望控制特定设备的设备选择手势。每个可控设备可以包括其自身手势命令图，该手势命令图使得待使用设备10输入的手势与所述可控设备的命令相互关联。手持设备的控制模块可以选择与为控制所选择的可控设备相对应的特定命令图。在某些实施例中，设备10可以包括设备定位器，用于对于多个远程设备中每一个检测从手持设备到每个远程设备的方向。在这种情况下，用户可以在用户期望控制的特定远程设备的方向上移动手持设备10，以选择用于控制的该远程设备。

尽管设备10的运动输入可用于其它设备的这种控制，其它类型的输入(例如使用输入装置14)也可以用于控制为通过手势输入控制所选择的其它本地或远程设备。在某些实施例中，可以分别映射不同手势以控制不同的设备。在其它实施例中，设备10可以显示用于控制的可能的其它设备和待使用的特定手势，以指示关于用户期望通过设备10当前控制哪个其它设备的用户选择。根据本发明的手持设备可以使用待由手持设备控制的一个或多个本地或远程设备的手势选择的任何具体方式。

如上所述，具体实施例包括手持设备10，其能够通过动作检测器22检测该设备的动作，以根据所检测的动作来修改处于某种方式的设备的操作。某些实施例中的手持设备10能够模型化其特定环境，随后基于这种环境修改其行为。模型化手持设备的环境与检测设备的特定运动之间的一个区别在于在前一情况下可以涉及推理而在后一情况下可以不涉及这种推理。作为实例，如果手持设备在根据特定手势移动时改变其行为，这可以认为是感应或检测特定运动并基于所检测的运动反应。另一方面，如果手持设备确定其面向下置于平台上并相应反应，这可以认为是模型化其环境。作为另一实例，如果手持设备向左运动，并基于这种运动改变其行为，这可以认为是检测运动并反应。如果手持设备发现其自身自由下落并断电以经得住与地面的即发的碰撞，这可以认为是模型化其环境。进一步的区别可以是环境模型化可以不需要立即响应用户输入，而检测事件(例如特定运动)通常确实需要这种立即响应。因此，模型化环境可以涉及感应或检测动作图案(或者其不足)，将其与预定一组环境条件比较并基于模型化后的环境修改设备的行为。基于模型化后的环境实施的操作也可以根据所使用或聚焦的特定应用而改变。在某些情况下，设备可以基于模型化后的环境将其灵敏性改变为特定动作。

作为实例，手持设备可以通过加速度计或其它动作检测部件识别到其静止于近似水平表面上。这种识别可以来源于在垂直于表面的静态加速度为1g的情况下确定设备不运动或静止。设备能够区分例如静止于平台上还是静止在用户手中，因为用户的手通常不能完全静止地保持该设备。因此，设备可以根据其静止于近似水平表面上的识别以特定方式来进行操作。例如，如果手持设备10识别到其被静止地置于平台上，则其可以在置于该位置一定量时间之后断电。作为另一实例，如果在接收到呼叫时或者在接收到可以触发电话振动的任何其它事件时移动电话识别出其位于平台上，则处于振动模式的移动电话可以较缓和地振动。在某些实施例中，当置于平台上时该设备可以识别其取向，以使其可在置于“面向下”位置时以一种方式进行操作(例如其可以断电)，而其可在置于非面向下位置时以不同的方式进行操作。如果手持设备10包括移动电话，则在其通话中并识别到其在该通话中被用户置于平台上的“面向上”位置时，其可以输入扬声器模式。另一方面，如果该移动电话在通话中并面向下置于平台上时，其可以输入静音模式。

作为另一实例，手持设备10可以在约0g的短期内识别到其处于自由下落，然后手持设备10可以进行操作以减少由于与地面或者其它表面的即发碰撞导致的损害。这种操作可以包括例如为芯片和/或硬盘断电、收缩镜头、合盖或者任何其它设备操作。在具体实施例中，非手持设备或者不检测运动输入的设备也能够模型化其环境，并基于模型化后的环境进行操作。作为附加实例，可以检测到加速度图案以识别手持设备10处于运动环境中(例如由汽车中或火车上的用户手持)，并可以调整各种灵敏性、阈值和/或其它特性，以使得该设备在这种环境中的性能能够更好。

在其它实施例中，手持设备10可以包括数码摄像机。通过其动作检测部件，该摄像机可以确定其在照相时是在三角架上还是由用户保持。该摄像机可以基于上述确定设置照相的快门速度(例如，如果在三角架上则快门速度慢，或者如果由用户手持则快门速度快)。

如果手持设备10包括使用用于与另一设备(例如PC)同步的支架(cradle)的设备，则设备10可以基于其静态(或者被支撑状态)和其特定取向识别到其处于支架中。然后，该设备可以根据其处于支架中的状态操作或起作用(例如其可以然后与其相关联的PC同步)。

图16为示出根据具体实施例的环境模型化处理的流程图230。在步骤232，在手持设备10中接收到原始动作数据。如上所述，原始动作数据可以通过加速度计、陀螺仪、摄像机、测距仪或任何其它适当的动作检测部件的任何组合接收。在步骤234，处理原始动作数据以生成动作检测器输出，根据该输出在步骤236确定设备的运动和取向。框237代表设备的运动和取向实例，例如框237a中的绕Z轴旋转、框237b中的沿x轴平移、框237c中的在特定角度α，θ，ω取向以及在框237n中的静止。这些仅是设备的运动和取向实例，而可以使用在步骤236确定的任何数目的运动。在某些实施例中，所确定的取向可以包括针对重力的设备取向。

在步骤238，手持设备10基于在步骤236确定的运动和取向确定其环境。框239代表设备的环境实例，例如框239a中的在平台上面向下、框239b中的下落、框239c中的在火车上以及框239n中的保持在手中。基于步骤236确定的运动和定向可以确定任何数目的环境。在具体实施例中，所述环境确定还可以基于设备的历史，例如运动/取向历史。例如，当实施移动电话的扬声器模式功能时，当短暂颠簸(例如由用户在平台上面向上放置电话导致的短暂颠簸)之后在通话期间检测到设备处于水平状态时，设备可以检测到这种特定时期。电话可以检测到其受到颠簸，从而相对于重力的静止和垂直位置可以呈现(take on)与不发生颠簸的情况相比不同的意义。因此，环境的确定可以基于设备的运动和取向及其历史。所述历史可以包括设备的前一运动/取向或者与设备历史相关的任何其它信息。

在步骤240，将所确定的环境映射到特定操作。所映射的操作可以依赖于除所确定环境之外的任何数目的因素，例如此时使用该设备的具体用户的期望特性或者此时使用或者针对的具体应用。例如，根据特定模型化后的环境的操作可以包括框241a中的启用手持设备的静音功能、框241b中为设备的芯片断电以经得住碰撞以及框241n中增加设备的运动激活阈值。当移动电话的环境包括在通话中面向下置于平台上时，可以实施由框241a指示的静音行为。当手持设备10的环境包括设备的自由下落时，可以实施框241b中的芯片断电行为。当手持设备的环境包括位于汽车或者火车中时，可以实施框241n中的增加动作激活阈值操作，其中，运动中的崎岖不将需要将用户动作输入登记为预期输入的较大运动阈值。具体实施例可以包括映射到一个或多个模型化环境的任何数目的操作。在步骤242，手持设备根据步骤240中其环境映射到的操作而进行操作。

如上所述，用户可以根据特定手势移动手持设备，以使得该设备执行期望功能、业务或者任务。在具体实施例中，用作设备运动输入的手势可以包括预先存在的符号，例如字母、图像符号或者任何其它字母数字字符或者象形符号或表达式。例如，用作运动输入的手势可以模拟任何语言的字母的大小写成员、阿拉伯和罗马数字以及速记符号(shorthand symbol)。预先存在的手势也可以用于其它本地和远程设备的手持输入设备。使用为手持设备输入的预先存在的手势可以有助于用户针对手势运动接口的学习过程。

图17示出可以映射到特定功能的示例手势。例如，如果手持设备10包括移动电话，则用户可以以心形250的形式移动设备10以呼叫用户的女朋友、男朋友或者配偶，或者以房屋252的形式呼叫用户的家。作为另一实例，如果手持设备10为运行管理文件或者数据的应用的PDA或者其它设备，则以C手势254的形式移动设备可以是复制数据的命令，O手势256可以是打开文件的命令，D手势258可以是删除数据的命令，以及X手势260可以是文件或者应用的退出命令。手势与其预期功能或者运行(例如用于打开文件的“O”)之间的逻辑联系进一步有助于用户交互和学习。

任何数目的预先存在的符号可用作运动输入的手势，所述手势作为执行手持设备的任何数目的功能、业务或任务的命令。许多预先存在的手势通常以两维存在。手持设备10可以识别这种手势。在某些情况下，例如，手持设备10可以禁止特定维度的接收，从而使得当用户试图输入两维手势时第三维度中的任何运动不被接收或检测，以有助于两维手势的识别。在某些实施例中，手持设备10可以接收三维手势，所述三维手势可以基于预先存在的两维手势。接收和检测三维手势通过例如增加可用作运动输入的手势的数目和类型而增加了设备的能力。

图18为示出利用作为动作输入的预先存在的符号手势(字母“O”)的流程图270。如步骤272所示，用户以字母“O”的形式移动手持设备10。在步骤274，手持设备10从动作检测部件接收到所述“O”形运动的原始动作数据，并在步骤276处理所述原始动作数据以确定设备的实际动作。在步骤278，手持设备10访问手势数据库280以将动作映射到手势“O”，其中手势数据库280可以包括由设备可识别的多个手势。所述手势数据库的多个手势可以分别由动作的一系列加速度限定。设备的实际动作可以与所述数据库的手势之一的一系列加速度相对应。在步骤282，手持设备10通过访问功能数据库284(或手势映射数据库)将手势“O”映射到特定功能，其中功能数据库284可以包括可由运行在设备上的一个或者多个应用来执行的多个功能。在具体实施例中，手势和功能数据库可以包含在设备的存储器18内。映射到手势“O”的特定功能可以依据此时用户使用或者针对的具体应用而定。例如，在某些应用中“O”包含打开文件的命令，而在其它应用中其可以包含呼叫特定号码的命令。在某些情况下，一种手势可以映射到设备的所有应用的相同功能。在步骤286，设备根据所映射到的功能进行操作，例如打开文件。

如上所述，用作手持设备10的运动输入的手势基于特定背景可以具有不同的意义(例如功能、业务、任务)，所述背景包括使用或针对的特定应用、针对应用或其它的特定设备状态、特定模型化后环境或者这些或任何其它背景的任何组合。例如，在设备上运行网络浏览器时特定手势可以映射为向上滚屏的命令，而当运行日历程序时该手势可以映射为检查不同日期的命令。特定手势依据背景(例如所使用的应用)映射到不同命令的能力增加了设备的功能。

如果手势依据背景映射到不同命令，则某些实施例中的手持设备能够使用较简单的动作检测部件。作为实例，手持设备可以包括特定动作检测部件，从而该手持设备仅能够识别和区分二十个不同的手势。如果每个手势映射到四个不同应用中的每个应用的不同功能，则仅识别二十个独特手势的能力仍能够提供设备上的八十种功能(每个应用二十种)。如果无论针对哪种应用，每个手势均映射到其自身功能；则设备的整体能力将下降，并且在某些应用中将不能使用某些手势。使用复杂性较小部件的能力可以导致设备中所使用部件的成本下降，并且还可以简化控制设备所需的实际学习手势的任务，其中由于依据背景将手势映射到多种功能而使得所述复杂性较小部件能够识别和区分较少手势。如上所述，依据所使用的应用、设备状态、模型化后环境或者其它背景，可以将手势映射到不同功能、业务或者任务。在某些情况下，依据具体应用的状态可以将手势映射到不同功能。例如，在文字处理程序的情况下，当处于一种程序状态(例如菜单状态)时某些手势可以具有某些功能，而在处于文字处理程序的另一状态(例如文档编辑状态)时相同的手势可以具有不同的功能。在这种情况下，与手势功能映射相关联的命令图可以包括每一这种状态的手势映射。

图19为示出根据具体实施例使用基于背景的手势映射的流程图290。在所示实施例中，手势具有基于针对的应用而分配的不同功能。在步骤292，手持设备10接收到特定手势运动的原始动作数据，并在步骤294处理所述原始动作数据来确定设备的实际运动。在步骤296，手持设备10例如通过访问手势数据库将运动映射到手势。在步骤298，手持设备10确定针对哪个应用。例如，如果设备能够运行四个不同的应用，则它将确定此时针对或者使用这四个应用中的哪一个。然后，设备根据针对的应用执行映射到手势的功能。这种功能的识别在某些实施例中可以通过访问功能数据库完成，该功能数据库也可以称为手势映射数据库，因为其使得手势数据库的手势与功能相关联。在所示实施例中，如果针对应用1，则设备在步骤300a执行功能1；如果针对应用2，则设备在步骤300b执行功能2；如果针对应用3，则设备在步骤300c执行功能3；如果针对应用4，则设备在步骤300d执行功能4。

作为基于背景的手势映射的另一实例，具有电话和PDA能力的手持设备可以运行四个应用：电话应用、日历应用、文件管理应用和电子邮件应用。模仿字母“S”的手势输入依据针对的应用可以具有不同功能。例如，如果针对电话应用，则接收到手势输入“S”可以是呼叫由“S”手势指定的特定号码的命令。如果针对日历应用，则接收到手势输入“S”可以是滚屏到日历中的月份为九月的命令。如果针对文件管理应用，则接收到手势输入“S”可以是保存文件的命令。如果针对电子邮件应用，则接收到手势输入“S”可以是发送电子邮件的命令。具体实施例具有依据背景将手势映射到不同功能的能力的较大灵活性。

如上所述，手势依据当时的具体背景可以具有不同的功能。在具体实施例中，手持设备可以是可定制化的，以使得用户将设备功能分配给预定手势。功能可以是基于背景的，从而使得某些手势依据使用的应用、设备状态或模型化后的环境可以具有不同功能。某些实施例中的手持设备可以允许相同设备的不同用户将不同功能分配给相同手势，并且如上所述，这种功能也可以是基于背景的。

例如，手持设备10可以由许多不同用户在不同时间使用。每个用户可以为相同手势分配不同功能。当手持设备接收到手势输入时，其必须知道此时哪个用户正在使用该设备，以确定该用户预期该设备来执行哪个功能。该设备可以以多种方式中的任一方式来确定用户。在某些实施例中，用户可以在使用之前通过使用用户名和密码或者其它信息登陆到该设备中。在其它实施例中，手持设备能够基于用户为运动输入而移动设备的方式(例如用户使用设备形成手势的方式)来识别用户。如上所述，每个用户也可以基于背景(例如基于设备中针对的应用)将命令分配给手势。手持设备基于具体用户将功能映射到手势的能力进一步增加了设备的性能和灵活性，特别是在设备能够识别和区分仅特定数目的手势的情况下。

图20为示出根据具体实施例使用基于用户的手势映射的流程图310。在所示实施例中，手势具有基于使用设备的用户而分配的不同功能。在步骤312，手持设备10接收到特定手势运动的原始动作数据，并在步骤314处理所述原始动作数据来确定设备的实际运动。在步骤316，手持设备10例如通过访问手势数据库将运动映射到手势。在步骤318，手持设备10确定哪个用户正在使用设备。上述确定可以例如通过系统登录来进行，其中用户在使用之前登录到设备中。手持设备10也可以通过其它适当方法确定当前用户。在步骤320，设备基于使用该设备的用户执行分配给手势输入的功能。在所示以四个可能用户描述该处理的实施例中，如果用户1在使用设备，则设备在步骤320a执行功能1；如果用户2在使用设备，则设备在步骤320b执行功能2；如果用户3在使用设备，则设备在步骤320c执行功能3；如果用户4在使用设备，则设备在步骤320d执行功能4。

如上所述，在某些实施例中，基于使用设备的用户和背景可以为手势分配不同的功能。在这种情况下，上述所示的流程图310可以具有用于确定当时的背景的附加步骤(例如确定针对的应用的流程图290的步骤298)。因此，特定手势期望执行的具体功能依据当时使用该设备的用户和背景(例如当时针对的具体应用)而定。

如前所述，某些实施例包括具有接收预先存在的符号作为运动输入的手势的能力的手持设备。这些实施例中的某些以及其它实施例可以包括为用户产生映射到功能和/或键的其自己的手势的能力。所述手势可以包括任何用户产生符号或者其它运动，所述任何用户产生符号或者其它运动是用户期望用作设备能够执行的一个或多个特定功能、业务或任务的运动输入。用户利用某些个人有意义值(personal significance)能够产生运动，从而他们可以更容易地记忆运动命令或预期功能。

图21为示出根据具体实施例的用于用户产生的手势的分配处理的流程图330。在步骤332，从用户接收关于手势产生的指示。该指示可使用任何适当输入格式(例如键、定位轮、动作等)以多种方式中任一方式接收。用户可以根据用户产生手势移动设备，以使手持设备在步骤334接收到用户产生手势的原始动作数据。所述原始动作数据可以包括这样一种运动加速度序列，即在根据基准位置稳定化设备之后直至接收到停止记录基准位置的指示的一系列运动加速度。开始和停止记录用户产生手势的指示可以包括动作或者非动作指示(例如键压和键释放)。在步骤336处理所述原始动作数据。在步骤338，将运动作为手势保存在例如手势数据库中。在具体实施例中，手势产生的指示可以在用户根据用户产生手势移动设备之后接收。例如，用户可以根据设备当前不能识别的用户产生手势移动设备。设备可以询问用户来确定用户是否期望保存该未识别手势用于特定功能。用户可以以确认的方式响应，从而用户将来可以使用该手势作为运动输入。

在步骤340，从用户接收手势的功能映射信息。所述功能映射信息可以包括用户期望用户产生手势来命令的设备功能、业务或者任务。在具体实施例中，所述功能映射信息可以包括一个手势可以命令的一系列功能(例如宏)。用户可以根据针对的应用为手势分配不同的功能。在某些情况下，用户可能期望将不同的手势映射到设备的不同键或者按键序列。将一系列功能映射到手势的一个实例包括将长字符串映射到手势(例如在适当的情况下，包括暂时的电话号码)。在步骤342，将功能映射信息保存在例如功能数据库或者手势映射数据库中。

如上所述，对于一个或多个手势而言，每次将这些手势用作输入时，用户难以用同样精确的方式移动手持设备10。因此，具体实施例允许改变手势输入的精度级。精度描述了手势必须多么准确地执行，以实现与设备所识别的手势(例如包含在由设备访问的手势数据库中的手势)的匹配。用户产生的运动必须与手势数据库中的手势匹配的接近程度越高，成功执行这种手势运动就越难。如上所述，在具体实施例中，通过使得所检测的一系列运动加速度与手势数据库中的这些手势相匹配，运动可以与所述手势数据库的手势相匹配。

随着识别所需的手势精度的增加，人们可以具有能够区分的更多手势(以相同的复杂性水平)。作为实例，如果所需精度为零，则设备仅能识别一种手势，但是其将容易地识别该手势，因为用户所做的任何事情均将识别为该手势。但是，如果所需的精度无限大，则用户实际上不可能形成由设备识别的手势，但是设备可以支持无限大数目的手势，所述手势之间仅具有极微小的差别。其中精度需求尤其适用的一个区域是在空间签名的区域中。利用空间签名，精度级与安全级密切关联。

在具体实施例中，手持设备10所需的用于手势输入的精度可以变化。不同的用户、“手势空间”的不同精度区(例如为了识别相似的手势可能需要更精确的执行，而非常独特的手势可能不需要如此精确的执行)、不同的个人手势(例如签名)、以及映射到特定手势的不同功能(例如对待识别的各手势输入而言，更关键的功能可能需要更大的精度)可能需要不同的精度级。并且，在某些实施例中，用户可以能够设定某些手势、所有手势或者一个或多个手势空间的手势所需的精度级。作为实例，用户可以将用户的空间签名所需的精度设定为高于其它手势所需的精度，从而增加空间签名输入的安全性。

如上所述，在具体实施例中，在设备由用户根据预期手势沿路径移动时，可以通过检测设备的一系列加速度来识别手势。当所述一系列加速度由设备与手势数据库的手势匹配时发生识别。

在某些实施例中，手持设备10可识别的每个手势，或者手势数据库的每个手势，包括三维点矩阵。此外，预期为手势输入的用户运动包括三维点矩阵。手持设备10可以将运动的矩阵与每个可识别手势(或者手势数据库中的每个手势)的矩阵比较以确定预期手势。如果用户移动设备使得该运动的矩阵与预期手势的矩阵的各点相关联，则可以认为用户已经以良好的精度输入预期手势。随着手势输入所需的精度下降，用户手势运动与用于手势识别的手势数据库的预期手势之间的允许差异越大。

图22示出使用具有可变精度等级的手持设备的三个手势输入。在所示实施例中，预期手势包括“O”。手势运动350作为完美的“O”(或者以预期手势的100％精度)输入。手势运动352以低于100％的精度输入，因为其未形成完美的“O”。手势运动354以相比手势运动352低的精度输入。可以在手持设备中设定手势“O”输入所需的精度以接受可变的精度级。例如，可以设定精度以使仅将手势运动350识别为手势“O”、将手势运动350和352两种识别为手势“O”或者将手势运动350、352和354均识别为手势“O”。如上所述，所需精度越高，则附加可识别手势的可用空间越大。例如，如果将手持设备10的精度级设定为使得仅将手势运动350识别为手势“O”，则手势运动352和354可以识别为其它区别手势。

在具体实施例中，手持设备可以基于用户的个人精度改变用于执行特定功能的识别手势。以这种方式，手持设备可以具有手势映射的动态学习能力。例如，如果手势数据库的特定手势映射到特定功能，并且用户以连续的方式反复尝试输入精度不够的手势，则手持设备可以改变手势数据库中的手势来匹配用户的连续手势运动，以使用户的连续手势运动输入映射到特定功能。

作为实例，如果特定手势包括方形运动而用户针对该手势的预期运动包括连续基础上(例如连续多次)的多个三角运动，则该手持设备可以能够识别预期手势与实际用户运动之间的这种连续差异，以将映射到预期功能的手势数据库中的预期手势(例如方形)改变为用户的实际连续运动(例如三角形)。因此，在进行上述改变之后，任何时间只要用户输入三角形手势，则将命令执行以前映射到方形手势的功能。设备可以以多种方式中的任一方式确定预期手势，例如以通过任何形式的输入与用户进行双路通信的方式。在具体实施例中，可以基于指定用户而应用这种用户输入特征的动态学习方法。例如，在上述实例中，另一用户仍可以使用相同的手持设备输入方形手势来命令执行相同功能。

如上所述，随着针对预期手势的用户运动精度的增加，则映射到功能的可用手势的数目增加。在某些实施例中，手持设备可以识别到用户的精度随时间推移而增加，因此设备可以增加可用的手势。增加输入可用的手势也可以增加通过手势输入能够命令执行的功能。

作为实例，输入手势的用户个人精度可以使得用户仅能够输入将由手持设备识别的一定量的手势。但是，随着时间推移，所述用户个人精度可以增加。这种增加可以由手持设备识别到，因此设备可以实现用户可用作手势输入的附加手势。在某些实施例中，附加手势的所述实现可以在用户的精度增加超过特定精度阈值或者特定精度级时发生。由于用户精度已经增加，当用户试图输入这些附加手势时手持设备将能够识别。如上所述，由用户提供的输入附加手势还可以增加用户通过手势输入能够命令执行的功能数目，因为每个手势可以映射到不同功能的命令。

具体实施例的手持设备还可以允许用户设定和改变设备的噪声阈值。噪声阈值是为了被认为是用户的预期动作输入(例如预期手势)而必须检测到的设备的动作幅度。例如，如果噪声阈值设定较低，则设备的最小动作可以被设备认为是运动输入。而如果噪声阈值设定较高，则设备将需要更大的运动才能使该动作被认为是来自用户的预期输入。例如，如果用户在崎岖不平道路上的汽车中旅行，则用户期望将噪声阈值设定为较高，从而使得在设备由于道路的崎岖不平而运动时这种运动不会被设备认为是预期运动输入。

在具体实施例中，基于模型化后环境在设备上可以自动变化噪声阈值。例如，如果设备确定环境包括在汽车中旅行，则该设备可以自动增加噪声阈值，从而使得由汽车导致的微小运动不会被登记为用户预期运动。

图23为示出根据具体实施例的利用此处所述的许多特征的手势识别处理的流程图370。在步骤372，接收到特定手势运动的原始动作数据。在步骤374，处理所述原始动作数据，确定设备的实际运动。所述处理可以包括多种过滤技术以及来自多个检测或感应部件的数据的融合。在步骤376，将实际动作映射到手势。所述将实际动作映射到手势可以包括访问用户设定数据库378，用户设定数据库378可以包括用户数据379，用户数据379包括例如用户精度和噪声特性或阈值、用户产生手势以及包括用户身份(useridentities)381的任何其它指定用户的数据或者信息。指定用户的信息可以是重要的，例如因为手持设备的不同用户可以具有不同设定和运动输入特性。例如，在输入手势时年老的用户可能相比年轻的用户具有较小的精度，从而使得年老的人可以具有较少的可用手势。并且，更有经验的用户可以具有更多的通过手势输入的可用设备功能。

用户设定数据库378还可以包括环境模型信息380，环境模型信息380可以在确定此时适用的手势中起作用。如上所述，通过环境模型化，设备可以在内部表示其环境以及该环境在手势识别上可能具有的效果。例如，如果用户在火车上，则设备可以自动升高噪声阈值级别。设备还可以依据手势空间靠近处于考虑下的手势的拥挤程度来减小所需精度。将实际运动映射到手势还可以包括访问手势数据库382。

在步骤384，将手势映射到设备的功能。该步骤可以包括访问功能映射数据库386，功能映射数据库386可以包括手势与功能之间的关系。不同的用户可以具有不同的手势到功能的映射以及不同的用户产生功能。因此，功能映射数据库386还可以包括指定用户的映射指令或特性、用户产生功能(例如宏和/或电话号码)以及可以适用于将特定手势映射到一个或多个功能的任何其它功能信息。在某些实施例中，手势可以映射到个人的键击序列。在本步骤中也可以访问用户身份381。此外，在映射手势时还可以访问和使用设备背景信息388，设备背景信息388可以包括环境模型信息389、针对应用信息390和设备状态信息391，例如时间和日期信息、位置信息、电池状态和模式信息(例如静音模式)。在步骤392，设备执行适当映射的一个或多个功能，例如在步骤392a执行功能1、步骤392b执行功能2或步骤392c执行功能3。

如上所述，在具体实施例中手持设备10可以包括具有此处所述的许多性能的移动电话。例如，具有运动输入性能的移动电话可以使用运动输入来使上述菜单扁平化。移动电话可以检测设备状态和环境，例如自由下落或者移动电话面向下或面向上，以映射到例如静音、扬声器电话和断电的操作行为。设备状态的其它检测可以包括检测该电话被保持以停用静音或扬声器电话状态。移动电话可以利用手势来控制拨号(例如通过手势速度拨号)或者对设备的小键盘加锁/解锁。例如，设备可以顺时针环运动来拨打家庭号码，以逆时针环来拨打工作电话，以及以心形来拨打重要的其它号码。用户还可以能够对移动电话编程以定制化手势映射。

在具体实施例中，手持设备10可以包括使用用于此处所述的至少某些性能的运动输入的数码相机。例如，具有动作输入性能的数码相机可以使用动作输入来扁平化上述菜单。为了更平滑和更直观地功能，动作也可以用于使得用户放大(以及复原)静止图片或视频以更接近地观察它。动作可以用于放大以及缩小多个图片或视频片段的索引图，从而更容易地选择一个或多个来观看。通过平移摄像机或者使用手势输入，虚拟桌面可以用于观看许多数字照片或视频片段的许多索引图，或者用于观看许多数字图片或视频片段。手势和简单运动可单独使用或者与其它接口机制组合使用，以修改数码相机和数码摄像机上的各种设置，例如闪光设置、聚焦类型和感光模式。并且，可以检测自由下落，以诱发摄像机以某种方式保护自身在即发碰撞中不受损害。这种保护可以包括为摄像机的某些或全部部件断电、关闭镜头盖以及缩回镜头。

在具体实施例中，手持设备10可以包括使用用于此处所述的至少某些功能的动作输入的数字式手表。例如，具有动作输入性能的数字式手表可以使用动作输入来平坦化如上所述的菜单。在某些实施例中，轻敲数字式手表或者特定手势可用于将数字式手表设置为静音模式。通过轻敲、旋转、平移和其它更复杂的手势也可以访问其它功能。这些功能可以包括改变时区、设置手表(例如设置时间和其它可调整设置)、改变模式(例如计时器、闹钟、秒表)、激活背景光、使用秒表(例如开始、停止和分段使用秒表)以及开始和停止其它计时器。

在某些实施例中，动作检测可以与显示屏分离。例如，显示屏可以戴在眼镜或者隐形眼镜上，而手持设备的其它部分可以分散在用户的身体上，从而使得显示屏可以不是与运动输入设备或部件相同的物理部件的一部分。

如上所述，具体的附图示出在具体实施例中可以执行的各种方法、流程图和处理。应该理解，在各种实施例中，步骤可以以任何顺序执行，并且在不脱离本发明的范围的情况下，根据具体方法、流程图或者处理的步骤可以与其它方法、流程图或过程或者来自相同方法、流程图或处理的其它步骤组合。

尽管已经参照具体实施例详细说明了本发明，应该理解可以对本发明进行各种其它改变、替换和变换，但均不脱离本发明的精神和范围。例如，尽管本发明参照手持设备10内包括的多个单元进行说明，但是这些单元可以组合、重新排列或定位以符合特定结构或需求。此外，在适当的情况下，这些单元中的任何单元可以设置为彼此分离的外部单元。本发明具有这些元件以及这些内部部件的排列上的较大灵活性。

可以由本领域的技术人员进行大量其它改变、替换、变动、变换和修改，可以理解的是本发明覆盖所有这些改变、替换、变动、变换和修改均被视为落入所附权利要求的精神和范围内。

Claims (27)

1.一种动作控制系统，包括：

手持设备，其包括具有三轴加速度传感器的动作检测器和传递由所述动作检测器获得的信息的无线通信接口；以及

处理装置，其通过所述无线通信接口获得并处理所述信息。

2.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括摄像机，将所述摄像机的轴沿第三轴设置，其中所述第三轴垂直于所述三轴加速度传感器的第一轴和第二轴。

3.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括摄像机，将所述摄像机的轴沿所述手持设备的长边方向设置。

4.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括摄像机，将所述手持设备的所述摄像机的轴沿平行于所述加速度传感器的装配表面的方向设置。

5.根据权利要求1所述的动作控制系统，其中所述手持设备的动作检测器包括许可用户重复地选择性启用和切断动作敏感性的功能。

6.根据权利要求1所述的动作控制系统，其中所述手持设备包括反馈格式，所述反馈格式通知将所述手持设备的特定动作识别为特定手势。

7.根据权利要求6所述的动作控制系统，其中所述反馈格式包括至少一种音频格式。

8.根据权利要求6所述的动作控制系统，其中所述反馈格式包括至少一种振动格式。

9.根据权利要求1所述的动作控制系统，其中所述处理装置是DVD播放器。

10.根据权利要求1所述的动作控制系统，其中所述处理装置是电视机。

11.根据权利要求1所述的动作控制系统，其中所述手持设备连接到其它计算机外围设备。

12.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括通知用户输出的单元。

13.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括通知用户电池电量的单元。

14.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括通知声音的单元。

15.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括用户接口。

16.根据权利要求1所述的动作控制系统，其中所述手持设备进一步包括给出振动反馈的单元。

17.根据权利要求2-4中任一项所述的动作控制系统，其中所述处理装置基于来自摄像机的信息来执行距离测量。

18.根据权利要求1所述的动作控制系统，其中所述处理装置包括日历应用。

19.根据权利要求1所述的动作控制系统，其中所述处理装置进一步包括复位所述手持设备基准位置的功能。

20.根据权利要求1所述的动作控制系统，其中所述处理装置进一步包括电子邮件功能。

21.根据权利要求1所述的动作控制系统，其中所述处理装置进一步包括导航菜单。

22.根据权利要求1所述的动作控制系统，其中所述处理装置进一步包括时间和日期信息。

23.根据权利要求1所述的动作控制系统，其中所述处理装置进一步包括手势映射数据库。

24.根据权利要求1所述的动作控制系统，其中所述处理装置进一步包括手势数据库。

25.根据权利要求24所述的动作控制系统，其中所述手势数据库记录用户的手势。

26.根据权利要求1所述的动作控制系统，其中：

所述手持设备进一步包括摄像机；以及

基于三轴加速度传感器和摄像机获得的信息，所述处理装置检测倾斜动作和平移动作。

27.一种控制动作控制系统的方法，其中所述动作控制系统包括手持设备和处理装置，所述方法包括：

利用具有三轴加速度传感器的动作检测器检测所述手持设备的动作；

通过无线通信接口向所述处理装置传递由所述动作检测器获得的动作；以及

处理由所述处理装置获得的动作。

Images