CN102129551A - 基于关节跳过的姿势检测 - Google Patents

基于关节跳过的姿势检测 Download PDF

Info

Publication number
CN102129551A
CN102129551A CN2011100432694A CN201110043269A CN102129551A CN 102129551 A CN102129551 A CN 102129551A CN 2011100432694 A CN2011100432694 A CN 2011100432694A CN 201110043269 A CN201110043269 A CN 201110043269A CN 102129551 A CN102129551 A CN 102129551A
Authority
CN
China
Prior art keywords
joint
adjacent
skeleton
user
position vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100432694A
Other languages
English (en)
Other versions
CN102129551B (zh
Inventor
P·托塞尔
A·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102129551A publication Critical patent/CN102129551A/zh
Application granted granted Critical
Publication of CN102129551B publication Critical patent/CN102129551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Abstract

本发明公开了基于关节跳过的姿势检测方法和装置。公开了用于通过标识由非相邻关节形成的向量并标识该向量与基准点形成的角来检测或确认用户执行的姿势的系统。由此，该系统跳过端部关节和较靠近用户的身体核心的邻近关节之间的一个或多个中间关节。跳过一个或多个中间关节导致对用户执行的位置或移动的更可靠指示，且因此导致对给定姿势的更可靠指示。

Description

基于关节跳过的姿势检测
技术领域
本发明涉及运动捕捉系统，尤其涉及运动捕捉系统中的姿势检测。
背景技术
在过去，诸如计算机游戏和多媒体应用等计算应用程序使用控制命令来允许用户操纵游戏人物或应用的其他方面。通常，此类控制命令使用例如控制器、遥控器、键盘、鼠标等来输入。近来，计算机游戏和多媒体应用已开始使用照相机和软件姿势识别引擎来提供人机接口(“HCI”)。使用HCI，检测、解释用户姿势并将其用于控制游戏人物或应用的其他方面。
在常规的游戏和多媒体应用中，通常使用用户的身体位置来测量用户是否执行了给定姿势。具体地，HCI系统可以测量穿过一对相邻关节的向量相对于诸如水平等基准平面形成的角度。该角度自身或与其他姿态或运动信息一起用于标识用户执行了的姿势。由此，作为一示例，HCI系统可测量用户的前臂(如腕和肘的位置所指示的)与水平基准平面形成的角度来标识用户是否执行了给定姿势。
这一传统的姿势检测方法的问题是在两个相邻的端部关节之间形成的角度遭受大量的抖动和噪声。由此，使用相邻关节有时候可能对于姿势检测是不可靠的。
发明内容
本发明的技术一般涉及通过标识非相邻关节形成的向量并标识这些向量与基准点、面或线形成的角度来检测或确认姿势。由此，本发明的技术的各实施例跳过了端部关节和较靠近用户的身体核心的邻近关节之间的一个或多个中间关节。跳过一个或多个中间关节导致对用户执行的位置或移动的更可靠指示，并且因此导致对给定姿势的更可靠指示。该姿势检测方法可代替传统的端部关节姿势检测来使用，或作为对传统的端部关节姿势检测的确认来使用。
在一个实施例中，提供了用于检测用户在真实世界空间中执行的姿势的本系统。该系统包括用于捕捉视野和计算环境内的用户的深度图像的捕捉设备。该计算环境从捕捉设备接收深度图像，并确定用户的多个关节的位置。多个关节包括端部关节、该端部关节附近的至少一个中间关节、以及该至少一个中间关节附近的核心身体关节。该系统还包括用于生成非相邻关节位置向量的、捕捉设备中的处理器或处理器。非相邻关节位置向量具有位于端部关节处以及来自中间关节和核心身体关节之一的、与端部关节不相邻的关节处的端点。非相邻关节位置向量用于确定用户是否执行了预定义姿势。
附图说明
图1A和1B示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的另一示例实施例。
图4示出了从图2的目标识别、分析和跟踪系统生成的用户的骨架映射。
图5示出了执行姿势的用户以及对相邻关节位置向量的测量。
图6示出了根据本发明的技术的一个实施例的执行姿势的用户以及对非相邻和相邻关节位置向量的测量。
图7示出了根据本发明的技术的一个替换实施例的执行姿势的用户以及对非相邻和相邻关节位置向量的测量。
图8示出了根据本发明的技术的另一替换实施例的执行姿势的用户以及对非相邻和相邻关节位置向量的测量。
图9示出了根据本发明的技术的另一替换实施例的执行姿势的用户以及对非相邻和相邻关节位置向量的测量。
图10是示出根据本发明的技术的一个实施例的对非相邻关节位置向量的测量的流程图。
图11是示出根据本发明的技术的一个替换实施例的对非相邻关节位置向量的测量的流程图。
图12是示出用于确定姿态信息是否匹配存储的姿势的姿势识别引擎的框图。
图13是示出姿势识别引擎的操作的流程图。
具体实施方式
现在将参考图1-13来描述本发明的技术的各实施例，本发明的技术一般涉及用于从姿态信息中标识姿势的系统，姿态信息包括使用穿过一对彼此不相邻的关节的向量获得的关节位置向量。在各实施例中，该系统可测量基准点、面或线与一对非相邻关节之间形成的角。例如，该系统可使用诸如踝等端部关节，以及诸如髋等较靠近身体核心的邻近关节。该系统跳过邻近关节和端部关节之间的一个或多个中间关节。使用邻近关节并跳过一个或多个中间关节导致对用户执行的姿态或移动的更可靠指示，并且因此导致对给定姿势的更可靠指示。该姿势检测方法可代替传统的相邻关节姿势检测来使用，或作为对传统的相邻关节姿势检测的确认来使用。
最初参考图1A-2，用于实现本发明的技术的硬件包括目标识别、分析和跟踪系统10，该系统可用于识别、分析和/或跟踪诸如用户18等的人类目标。目标识别、分析和跟踪系统10的各实施例包括用于执行游戏或其他应用的计算环境12，以及用于从游戏或其他应用提供音频和视觉表示的视听设备16。系统10还包括用于捕捉用户执行的位置和移动的捕捉设备20，计算环境接收、解释并使用这些位置和移动来控制游戏或其他应用。这些组件中的每一个都会在以下详细描述。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手19的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身21的视觉表示。例如，如图1B所示，用户18可在物理空间中挥重拳来使得玩家化身21在游戏空间中挥重拳。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身21的游戏控制。
用户18的其他移动也可被解释为其他控制命令或动作，诸如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。在各示例实施方式中，诸如用户18等的人类目标可持有一物体。在这些实施方式中，电子游戏的用户可手持该物体，以使得玩家和物体的运动可被用来调整和/或控制游戏的参数。例如，可以跟踪并利用手持球拍的玩家的运动来控制电子运动游戏中的屏上球拍。在另一示例实施方式中，可以跟踪并利用手持物体的玩家的运动来控制电子格斗游戏中的屏上武器。
图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。关于与本发明的技术一起使用的捕捉设备的进一步细节在题为“Device For Identifying And Tracking Multiple Humans Over Time”(用于随时间标识和跟踪多个人的设备)的共同待审的专利申请第12/475,308号中有阐述，该申请通过整体引用结合于此。然而，在一示例实施例中，捕捉设备20可被配置成经由任何合适的技术——包括例如飞行时间、结构化光、立体图像等——捕捉带有深度图像的视频，该深度图像可包括深度值。根据一实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，即可与从深度照相机沿其视线延伸的Z轴垂直的层。
如图2所示，捕捉设备20可包括图像相机组件22。根据一示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示来自相机的所捕捉的场景中的对象的长度，该长度可采用例如厘米、毫米等单位。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)照相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自场景中的一个或多个目标和物体的表面的反向散射光。
根据另一实施例，捕捉设备20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中，捕捉设备20还可包括可与图像相机组件22进行有效通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，指令可以是用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机或RGB相机所捕捉的图像或图像的帧、或任何其他合适的信息、图像等等。根据一示例实施方式，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2所示，在一实施例中，存储器组件34可以是与图像相机组件22和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像相机组件22中。
如图2中所示，捕捉设备20可以经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一实施例，计算环境12可经由通信链路36向捕捉设备20提供可用于确定例如何时捕捉场景的时钟。
另外，捕捉设备20可经由通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉的图像，以及可由捕捉设备20生成的骨架模型。存在各种用于确定捕捉设备20所检测的目标或对象是否对应于人类目标的已知技术。骨架映射技术因而可用于确定该用户的骨架上的各个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括将图像变换成该人体的身体模型表示以及将图像变换成该人体的网格模型表示。
骨架模型然后可被提供给计算环境12，使得计算环境可跟踪骨架模型并呈现与该骨架模型相关联的化身。计算环境还可基于例如从骨架模型中识别出的用户的姿势来确定在计算机环境上执行的应用中要执行哪些控制命令。例如，如图2所示，计算环境12可包括姿势识别引擎190。姿势识别引擎190将在下文解释，但一般可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型(在用户移动时)可执行的姿势的信息。可将由相机26、28和捕捉设备20捕捉的骨架模型以及与其相关联的移动的形式的数据与姿势识别引擎190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制命令相关联。因此，计算环境12可使用姿势识别引擎190来解释骨架模型的移动并基于该移动来控制应用。
图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。如图3A所示，多媒体控制台100包括具有一级高速缓存102、二级高速缓存104和闪存ROM 106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时在引导过程的初始化阶段加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从GPU108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外部存储器设备146(例如闪存、外部CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的接入并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用程序数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器等。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这种架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存破坏最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频级(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可定义控制台100的附加输入设备。
图3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的操作环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元件可包括被配置成实例化本发明的具体方面的电路。例如，本公开中使用的术语电路可包括被配置成执行固件或开关的功能的专用硬件组件。在其他示例实施例中，术语“电路”可包括由具体化可操作来执行功能的逻辑的软件指令来配置的通用处理单元等。在电路包括硬件与软件组合的示例实施方式中，实现者可编写实施逻辑的源代码且该源代码可被编译成可由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
在图3B中，计算环境220包括计算机241，其通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括诸如ROM 223和RAM 260等易失性和/或非易失性存储器形式的计算机存储介质。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非局限，图3B示出了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图3B示出了对不可移动、非易失性磁介质进行读写的硬盘驱动器238，对可移动、非易失性磁盘254进行读写的磁盘驱动器239，以及对诸如CD ROM或其它光学介质等可移动、非易失性光盘253进行读写的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由不可移动存储器接口，诸如接口234连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由可移动存储器接口，诸如接口235连接至系统总线221。
以上讨论并在图3B中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图3B中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，如键盘251和定点设备252(通常称为鼠标、跟踪球或触摸垫)向计算机241输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、碟形卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。相机26、28和捕捉设备20可定义控制台100的附加输入设备。监视器242或其他类型的显示设备也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机还可以包括其他外围输出设备，如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，尽管在图3B中仅示出了存储器存储设备247。图3B中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器245连接至LAN 237。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，关于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图3B示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
如在下文中更详细解释的，计算环境12中的姿势识别引擎190被提供来接收位置和/或移动信息并从该信息中标识姿势。图4A描绘了可从捕捉设备20生成的用户的示例骨架映射。在该实施例中，标识各种关节和骨骼：每一手302、每一前臂304、每一肘306、每一二头肌308、每一肩310、每一髋312、每一大腿314、每一膝316、每一前腿318、每一脚320、头322、中脊椎324、脊椎的顶部326和底部328、以及腰330。在跟踪多个点的情况下，可标识另外的特征，如手指或脚趾的骨骼和关节，或脸部的个别特征，如鼻和眼。
一般而言，系统10可以被视为使用三个参考系来工作。第一个参考系是用户在其中移动的真实世界3D空间。第二个参考系是3D游戏空间或机器空间，其中计算环境使用姿态信息和运动方程来定义用户和游戏或其他应用创建的虚拟对象的3D位置、速度和加速度。第三个参考系是2D屏幕空间，其中用户的化身和其他对象在显示画面中呈现。计算环境CPU或图形卡处理器将对象的3D机器空间位置、速度和加速度转换成2D屏幕空间位置、速度和加速度，且使用这些2D屏幕空间位置、速度和加速度来在视听设备16上显示对象。
通过以给定姿态移动并定位他/她的身体，用户可创建姿势。姿势可以通过各种用户位置和/或移动的任一种来表现。作为几个示例，姿势可通过将一个人的前臂304交叉在他的脊椎324前面来指示。或者，姿势可以是动态运动，如模仿投球或一起拍手302。姿势也可结合道具，如通过挥动仿制的剑。
已知通过测量两个相邻关节之间的身体部分的位置以及它与基准形成的角来标识某些姿势。例如，图5示出了左脚提起的用户300的图示。如图5所示，膝关节316b和踝关节320b的位置通常可用于定义相邻关节之间的关节位置向量
Figure BSA00000438441800121
从而给出了用户的小腿在3D机器空间中相对于基准的定向，该基准可以是3D机器空间中具有笛卡尔坐标(0，0，0)的任意原点。使小腿以某一向量定向可用于标识某一姿势，例如用户300正在执行踢姿势。
现在参考图6来描述本发明的技术的一个实施例，图6中示出了与图5处于相同位置的用户300。然而，根据本发明的技术，膝关节316b可被跳过，即从关节位置向量的测量中省略。测量改为沿着用户的髋关节312b和用户的踝关节320b之间的关节位置向量
Figure BSA00000438441800122
进行。如在背景技术一节中讨论的，邻近关节(较靠近身体核心)较不易于遭受抖动和噪声，且更可能产生对用户执行的姿势的可靠指示。由此，在姿势可能常规地在3D机器空间中由相邻关节之间的给定向量定义的情况下，相同的姿势可改为根据本发明的技术在3D机器空间中由非相邻关节之间的不同向量来定义。在各实施例中，非相邻关节位置向量的端点是端部关节。然而，可以理解，在替换实施例中，非相邻关节位置向量可以从两个关节形成，其中没有一个关节是端部关节。作为达到相同结果的替换，本发明的技术的非相邻位置向量可使用端部关节来作为开始或结束点之一，但是代替踝或腕，端部关节可以是肘或膝。
图6示出了用于测量姿势的、相邻的膝和踝关节之间的常规相邻关节位置向量代替常规向量
Figure BSA00000438441800124
可测量根据本发明的技术的非相邻关节位置向量
Figure BSA00000438441800125
或者可以除了向量
Figure BSA00000438441800126
之外测量向量
Figure BSA00000438441800127
作为对使用相邻关节测量的姿势识别的确认或可靠性检验。反过来也可以是对的——可以测量非相邻关节位置向量并且可使用相邻关节位置向量
Figure BSA00000438441800129
来作为确认或可靠性检验。一般而言，本发明的技术的各实施例可包括按照非相邻关节之间的向量来定义姿势，并且其他实施例可改为包括按照至少两个向量来定义姿势，该至少两个向量中的至少一个在非相邻关节之间，而另一向量则在相邻关节之间。
图10是根据图6所示的实施例的用于生成一个或多个非相邻关节位置向量的流程图。在各实施例中，非相邻关节位置向量可由捕捉设备20的处理器32或计算环境12的CPU 101(图3A)/处理单元299(图3B)来生成。如图10的流程图中所描述的，本发明的技术的各实施例可以计算所有可能的非相邻关节位置向量以便稍后用于确定一组这些向量是否描述了存储的姿势(如下文更详细阐明的)。本领域的技术人员可以理解其他实施例中的用于计算少于全部这样的非相邻关节位置向量的方法。
在步骤400，系统标识端部关节并将任意计数器j关联到该端部关节。端部关节例如可以是踝320a、320b(图4)、腕302a、302b或头322。有可能在其他实施例中手和脚可以是端部关节。系统接着在步骤404标识邻近关节j+1。邻近关节是比端部关节更靠近身体核心的关节。在各实施例中，身体核心可被定义为根关节，例如上脊椎326、中脊椎324或下脊椎328(图4)中的任一个。在其他实施例中，关节324、326和328中的两个或三个可一起被认为是身体核心或根关节。名称j+1指示该邻近关节是距离端部关节j一个关节远的下一相邻关节。
系统接着在步骤406确定是否有邻近关节j+2。这将是距离端部关节两个关节远的关节。如果关节j+1本身是核心关节(例如，上脊椎326或下脊椎328)，则没有上游关节j+2。在一个实施例中，如果端部关节是腕或踝，则将有接近该端部关节的、相距两个关节的关节j+2。肩310距离腕301为两个关节，髋312距离踝320为两个关节。在各实施例中，端部关节可能没有关节j+2。如果端部关节是头326，则该关节可以与核心相距一个关节，且在各实施例中，将没有接近该端部关节的、相距两个关节的关节。在其他实施例中情况可能不是如此。如果在步骤406中没有上游关节j+2，系统去往步骤414来查看是否有尚未被检查的任何其他端部关节。
然而，如果有接近该端部关节的、相距两个关节的关节j+2，则系统在步骤408标识该关节，且系统定义并存储关节j+2和端部关节j之间的非相邻关节位置向量。在步骤414，系统检查是否有尚未被检查的、可能是非相邻关节位置向量的一部分的任何其他端部关节。如果有，则系统返回到步骤400并重复该过程。如果没有其他端部关节要检查，则系统结束对非相邻关节位置向量的定义。
在图6的实施例中，在测量非相邻关节位置向量
Figure BSA00000438441800141
时跳过单个关节(即，316b)。然而，可以理解，在其他实施例中可跳过多于一个关节。例如，图7示出了用户300再次将他或她的左腿定位在空中的实施例。在图7的实施例中，在用户的下脊椎328和用户的踝关节320b之间测量非相邻关节位置向量
Figure BSA00000438441800142
如上所述，在定义给定姿势时，代替常规的相邻关节位置向量
Figure BSA00000438441800143
或作为其补充，可使用非相邻关节位置向量
Figure BSA00000438441800144
在图8所示的另一实施例中，姿势可由多于两个非相邻关节位置向量来定义。图8包括如图7所示的从下脊椎到踝的向量和从膝到踝的向量
Figure BSA00000438441800146
但是还包括在髋关节312b和踝关节320b之间测量的另一非相邻关节位置向量
Figure BSA00000438441800147
图11的流程图描述了如何生成根据图7和8所示的实施例的一个或多个非相邻关节位置向量。步骤400到410与以上关于图10描述的步骤相同。在步骤400，系统标识端部关节并将任意计数器j关联到该端部关节。系统接着在步骤404标识下一邻近关节j+1。系统接着在步骤406确定是否有另外的邻近关节j+2。再一次，这可以是距离身体核心比所考虑的当前关节(在该实施例中，可以是或不是端部关节)近两个关节的关节。如果在步骤406中没有邻近关节j+2，则系统去往步骤414来查看是否有尚未被检查的任何其他端部关节。然而，如果有与所考虑的关节相距两个关节的关节j+2，则系统在步骤408标识该关节，且系统定义并存储关节j+2和端部关节j之间的非相邻关节位置向量。
系统接着检查端部关节可与其一起定义非相邻关节位置向量的其他邻近关节。即，系统接着检查是否有可能在形成非相邻关节位置向量时跳过一个以上关节。关节j递增1。在首次通过该循环之后，j将被递增到2，且对于通过步骤404到412的下一循环，第二关节(端部关节上游的关节)将被设为j。如果第二次(或后面几次)通过循环导致没有邻近关节j+2(注意，每次通过循环时j递增)，则系统在步骤406中结束对该关节链的考虑，并在步骤414中检查其他端部关节。如果还有更多端部关节，则系统返回到步骤400并重复该过程，再次以端部关节设为j＝1开始。果没有其他端部关节要检查，则系统结束对非相邻关节位置向量的定义。
上述步骤将导致所有可能的非相邻关节位置向量被定义，不论是跳过了一个关节、两个关节、还是更多。这是图8中所示的情形本领域的技术人员将认识到，图11的流程图可被修改以使得仅形成表示最大关节跳过的一个向量。这将在端部关节和核心关节之间，例如如图7中所示。
尽管图5-8使用了涉及腿关节的姿势的示例，但可以理解，本发明的技术可单独或结合其他非相邻关节位置向量和/或相邻关节位置向量来使用任何非相邻关节位置向量，来测量单个姿势。图9是本发明的技术的一个实施例的另一示例，其中给定姿势可以由以下非相邻关节位置向量中的一个或多个来定义：
右肩310a和右腕302a之间的向量
Figure BSA00000438441800151
用户的头322和中脊椎324之间的向量
Figure BSA00000438441800152
左髋312b和左踝320b之间的向量
Figure BSA00000438441800153
一个或多个相邻关节位置向量可以与以上非相邻关节位置向量中的一个或多个一起使用：
右肘306a和右腕302a之间的向量
Figure BSA00000438441800154
左肘306b和左腕302b之间的向量
Figure BSA00000438441800155
左髋312b和左踝320b之间的向量
其他非相邻和相邻关节位置向量可形成一起定义单个姿势的位置的一部分。
尽管上述示例示出了仅在使用毗邻的非相邻关节位置向量时使用相邻关节位置向量，但情况不必如此。例如，仍参考图9，可定义包括从左髋312b到左踝320b的非相邻关节位置向量和从右膝316a到右踝320a的相邻位置向量
Figure BSA00000438441800158
本领域的技术人员将认识到各种各样的用于定义各种姿势中的任一种的其他关节位置向量，包括至少一个非相邻关节位置向量。
如同常规的相邻关节位置向量一样，在各实施例中，姿势并不是简单地通过检查3D机器空间中的非相邻关节位置向量的开始和结束点的绝对位置来定义的。相反，使用向量中的两个绝对位置来定义这些点与某一基准形成的角。该基准可以是3D机器空间中的诸如原点等点、线或面。
用户不需要将他或她的身体定位在用于定义姿势的精确关节位置向量处。相反，存储的姿势(下文解释)将包括用户必须用其关节来达到以便被认为是存储的姿势的阈值或值范围。由此，例如在图6中，可使用非相邻关节位置向量
Figure BSA00000438441800161
来定义关于左踝320b必须相对于左髋312b抬起多高以便被认为是踢姿势的阈值。左踝320b可相对于左髋312b抬起比存储的向量
Figure BSA00000438441800162
中所指定的更高，且该位置将被认为是踢姿势。
此外，可以理解，并非一向量的所有部分都需要具有指定的x、y和z值。存储的姿势可以仅对关节位置向量的开始和结束点的相对x位置感兴趣。存储的姿势可以仅对关节位置向量的开始和结束点的相对y位置感兴趣。且存储的姿势可以仅对关节位置向量的开始和结束点的相对z位置感兴趣。例如，再次参考图6，在用户将其左踝320b定位在相对于左髋312b足够高(例如，沿着z轴)的情况下，可满足该姿势，而不管x方向或y方向上的踝/膝位置。由此，用户可靠近或远离捕捉设备20(例如，沿着x轴)、或在捕捉设备的左边或右边(例如，沿着y轴)来执行姿势，且系统将仍检测到该姿势。
以上图6-11的描述阐明了如何生成非相邻关节位置向量，以便单独使用或与其他非相邻或相邻关节位置向量一起使用来描述用户姿势。由关节位置向量定义的这些姿势可在一般计算上下文中用于供姿势识别引擎190输入。例如，手302或其他身体部位的各种运动可对应于常见的系统级任务，如在分层列表中向上或向下导航、打开文件、关闭文件和保存文件。姿势也可由姿势识别引擎190取决于游戏在视频游戏专用上下文中使用。例如，对于驾驶游戏，手302和脚320的各种运动可对应于在一方向上操控车辆、换挡、加速和刹车。
本领域的技术人员将理解各种分析包括关节位置向量在内的测得参数来确定该参数是否符合预定义姿势的方法。这些方法例如在以上合并的申请第12/475,308号以及题为“Gesture-Controlled Interfaces For Self-Service Machines And Other Applications”(用于自助机器和其他应用的姿势控制的界面)的美国专利申请公开第2009/0074248号中有公开，该公开通过整体引用结合于此。然而，一般而言，用户位置和移动由捕捉设备20来检测。从该数据中，可确定上述关节位置向量。关节位置向量然后连同其他姿态信息一起传递给姿势识别引擎190。姿势识别引擎190的操作参考图12的框图和图13的流程图来更详细地解释。
姿势识别引擎190在步骤550接收姿态信息500。姿态信息可包括除了关节位置向量之外的大量参数。这些另外的参数可以包括捕捉设备20检测的x、y和z最小和最大图像平面位置。参数还可包括对离散时间间隔在每一关节的基础上对速度和加速度的测量。由此，在各实施例中，姿势识别引擎190可接收用户的身体中的所有点的位置和动力活动的完全描绘。
姿势识别引擎190在步骤554分析所接收的姿态信息500，来查看该姿态信息是否匹配存储在姿势库540中的任何预定义规则542。存储的规则542描述了姿态信息500所指示的特定位置和/或动力运动何时好被解释为预定义姿势。在各实施例中，每一姿势可具有不同的、独特的规则或规则集542。每一规则可具有关于图4所示的一个或多个身体部位的多个参数(关节位置向量、最大/最小位置、位置变化等)。存储的规则可对每一参数并对图4所示的每一身体部位(部位302-330)定义单个值、值范围、最大值、最小值、或关于该身体部位的参数与该规则所覆盖的姿势的判定无关的指示。规则可由游戏作者、各种游戏平台的主机或用户自己来创建。
姿势识别引擎190可输出所标识的姿势和对应于用户的位置/移动与该姿势相对应的可能性的置信水平。具体地，除了定义姿势所需的参数之外，规则还可包括在将姿态信息500解释为姿势之前所需的阈值置信水平。某些姿势可具有更大影响来作为系统命令或游戏指令，且因此在姿态被解释为该姿势之前需要更高的置信水平。姿态信息与存储的规则参数的比较导致关于姿态信息是否指示姿势的累积置信水平。
一旦确定了关于给定姿态或运动是否满足给定姿势规则的置信水平，姿势识别引擎190然后就在步骤556确定该置信水平是否超过关于所考虑的规则的预定阈值。阈值置信水平可与所考虑的规则相关联地存储。如果置信水平低于该阈值，则检测不到任何姿势(步骤560)并且不采取任何动作。另一方面，如果置信水平高于阈值，则确定用户的运动满足所考虑的姿势规则，且姿势识别引擎190返回所标识的姿势。
给定以上公开内容，可以理解，可以使用关节位置向量，尤其是非相邻关节位置向量来标识大量姿势。作为许多示例中的一个，用户可提起并放下每一条腿312-320来在不移动的情况下模拟行走。姿势识别引擎190可以通过分析来自每一髋相对于每一踝关节320的信息来解析该姿势。特别地，站立的腿具有例如0°的髋-踝角，且前向水平伸出的腿具有例如相对于垂直基准线或面的90°的髋-踝角。在这一示例中，可在一个髋-踝角超过相对于基准线或面(其可以是垂直的、水平的或其他)的某一阈值时识别一步。行走或奔跑可在交替腿的某一数量的连续步之后被识别。两个最近的步之间的时间可被认为是周期。在不满足阈值角度达某一数量的周期之后，系统可确定行走或奔跑姿势已停止。
给定“行走或奔跑”姿势，应用可为与该姿势相关联的参数设定值。这些参数可包括上述阈值角度、发起行走或奔跑姿势所需的步数、结束姿势的没有发生步的周期数、以及确定姿势是行走还是奔跑的阈值周期。快周期可对应于奔跑，因为用户将快速地移动他的腿，而较慢的周期可对应于行走。
在又一示例中，踢可以是包括踝以相对于髋的超过阈值的给定角提供的姿势。关于该姿势的姿态信息500可以包括各种数据，包括上述阈值关节位置向量。在姿势是踢的情况下，例如，姿态信息500可以是或可以包括定义踝相对于髋的阈值位置的向量。这些示例不是限制性的，且姿势识别引擎190可以使用非相邻关节位置向量来标识大量其他姿势。
本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种在包括计算环境(12)的系统(10)中的方法，所述计算环境耦合到用于捕捉用户位置的捕捉设备(20)，所述方法生成用于确定用户是否执行了给定姿势的姿态信息，所述方法包括：
(a)经由所述捕捉设备(20)检测所述用户位置的第一骨架关节(302a-322)的位置；
(b)经由所述捕捉设备(20)检测所述用户位置的第二骨架关节(302a-322)的位置，所述第二骨架关节不是与所述第一骨架关节(302a-322)相邻的关节；以及
(c)生成所述姿态信息，包括相对于所述第二骨架关节(302a-322)的位置的、所述第一骨架关节(302a-322)的位置，以便用于确定用户是否执行了给定姿势。
2.如权利要求1所述的方法，其特征在于，所述检测第一骨架关节的位置的步骤(a)包括检测端部关节的位置的步骤。
3.如权利要求1所述的方法，其特征在于，所述检测不与所述第一骨架关节相邻的第二骨架关节的位置的步骤(b)包括检测离所述第一骨架关节两个关节的第二骨架关节的位置的步骤。
4.如权利要求1所述的方法，其特征在于，所述检测不与所述第一骨架关节相邻的第二骨架关节的位置的步骤(b)包括检测离所述第一骨架关节三个关节的第二骨架关节的位置的步骤。
5.如权利要求1所述的方法，其特征在于，所述生成包括所述第一骨架关节和第二骨架关节的相对位置的姿态信息的步骤(c)包括生成与预定义基准形成一角度的非相邻关节位置向量的步骤。
6.如权利要求1所述的方法，其特征在于，还包括：
(d)检测第三关节的位置；以及
(e)生成所述姿态信息，包括相对于所述第三骨架关节的位置的、所述第一骨架关节的位置。
7.如权利要求6所述的方法，其特征在于，所述检测所述第三关节的位置的步骤(d)包括检测在与所述第一关节相邻的位置处的所述第三关节的步骤。
8.如权利要求6所述的方法，其特征在于，所述检测所述第三关节的位置的步骤(d)包括检测在与所述第一关节隔开两个或更多关节的位置处的所述第三关节的步骤。
9.一种用于计算环境(12)的处理器可读存储介质(112、238)，所述计算环境耦合到用于捕捉用户位置的捕捉设备(20)，所述存储介质对处理器(101、259)编程来执行一种检测用户是否执行了给定姿势的方法，所述方法包括：
(a)检测所述用户位置的第一骨架关节(302a-322)的位置；
(b)检测所述用户位置的第二骨架关节(302a-322)的位置，所述第二骨架关节不是与所述第一骨架关节(302a-322)相邻的关节；
(c)生成非相邻关节位置向量，所述非相邻关节位置向量将在步骤(a)和(b)中检测到的所述第一骨架关节和第二骨架关节(302a-322)的位置作为端点；以及
(d)使用在所述步骤(c)中生成的所述非相邻关节位置向量来确定所述用户是否执行了给定姿势。
10.如权利要求9所述的处理器可读存储介质，其特征在于，还包括：
(e)检测所述用户位置的第三骨架关节(302a-322)的第三位置，所述第三骨架关节不是与所述第一骨架关节相邻的关节；
(f)生成将在步骤(a)和(e)中检测到的所述第一骨架关节和第三骨架关节的位置作为端点的非相邻关节位置向量。
11.如权利要求9所述的处理器可读存储介质，其特征在于，还包括：
(g)检测除了第二关节之外的每一其他关节的一个或多个附加位置，所述每一其他关节邻近所述第一关节直到位于所述用户的身体的核心处的距离所述第一关节至少两个关节的关节且包括该位于用户的身体的核心处的关节；
(h)生成附加的非相邻关节位置向量，对所述步骤(g)中检测到的每一附加位置有一个附加的非相邻关节位置向量，每一附加的非相邻关节位置向量在所述步骤(g)中检测到的附加位置与所述第一关节的位置之间延伸。
12.如权利要求11所述的处理器可读存储介质，其特征在于，还包括在确定用户是否执行了给定姿势时使用在所述步骤(e)中生成的所述附加的非相邻关节位置向量中的一个或多个的步骤。
13.一种用于检测用户在真实世界空间中执行的姿势的系统(10)，所述系统包括：
用于捕捉视野内的用户的深度图像的捕捉设备(20)；
用于从所述捕捉设备(20)接收深度图像并确定多个关节(302a-322)的位置的计算环境(12)，所述多个关节(302a-322)包括端部关节(302、320、322)、邻近所述端部关节的至少一个中间关节(306、316)、以及邻近所述至少一个中间关节的核心身体关节(324、326、328)；以及
所述捕捉设备(20)和计算设备(12)之一内的处理器(101、259)，所述处理器用于生成非相邻关节位置向量，所述非相邻关节位置向量具有端部关节处的以及不与所述端部关节相邻的关节处的端点，所述不与端部关节相邻的关节来自至少一个中间关节和核心身体关节中的一个，所述非相邻关节位置向量用于确定用户是否执行了预定义姿势。
14.如权利要求13所述的系统，其特征在于，所述非相邻关节位置向量包括第一非相邻关节位置向量，所述处理器还生成第二非相邻位置向量，所述第二非相邻位置向量将所述端部关节和另一关节作为端点，所述另一关节不是与所述端部关节相邻的关节，且不是形成所述第一非相邻关节位置向量的一部分的关节。
15.如权利要求13所述的系统，其特征在于，所述处理器被包括在所述计算环境中，所述处理器还生成包括所述非相邻关节位置向量的姿态信息，将所述姿态信息与存储的姿势进行比较，以及确定所述姿态信息是否指示已经执行了所述存储的姿势的给定姿势。
CN201110043269.4A 2010-02-16 2011-02-15 基于关节跳过的姿势检测 Active CN102129551B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/706,585 2010-02-16
US12/706,585 US8633890B2 (en) 2010-02-16 2010-02-16 Gesture detection based on joint skipping

Publications (2)

Publication Number Publication Date
CN102129551A true CN102129551A (zh) 2011-07-20
CN102129551B CN102129551B (zh) 2014-04-02

Family

ID=44267631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110043269.4A Active CN102129551B (zh) 2010-02-16 2011-02-15 基于关节跳过的姿势检测

Country Status (2)

Country Link
US (1) US8633890B2 (zh)
CN (1) CN102129551B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813076A (zh) * 2012-11-12 2014-05-21 联想(北京)有限公司 信息处理的方法及电子设备
CN103975290A (zh) * 2011-09-16 2014-08-06 界标制图有限公司 基于姿势的石油技术应用控制的方法和系统
CN104977038A (zh) * 2014-04-10 2015-10-14 波音公司 使用与关联存储器耦合的运动感测设备识别移动
CN107209561A (zh) * 2014-12-18 2017-09-26 脸谱公司 用于在虚拟现实环境中导航的方法、系统及设备
CN107632698A (zh) * 2016-07-18 2018-01-26 岱宇国际股份有限公司 基于影像的动作分析系统与方法
CN108542021A (zh) * 2018-03-18 2018-09-18 江苏特力威信息系统有限公司 一种运动服及基于色条识别的肢体测量方法及装置
CN111898571A (zh) * 2020-08-05 2020-11-06 北京华捷艾米科技有限公司 动作识别系统及方法
CN112654951A (zh) * 2018-09-27 2021-04-13 苹果公司 基于现实世界数据移动头像
CN112906438A (zh) * 2019-12-04 2021-06-04 内蒙古科技大学 人体动作行为的预测方法以及计算机设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
WO2012039140A1 (ja) * 2010-09-22 2012-03-29 島根県 操作入力装置および方法ならびにプログラム
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US9350951B1 (en) * 2011-11-22 2016-05-24 Scott Dallas Rowe Method for interactive training and analysis
US9557819B2 (en) * 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
CN103735268B (zh) * 2013-09-29 2015-11-25 沈阳东软医疗系统有限公司 一种体位检测方法及系统
DE102013017425A1 (de) * 2013-10-19 2015-05-07 Drägerwerk AG & Co. KGaA Verfahren für die Erkennung von Gesten eines menschlichen Körpers
CN103606178A (zh) * 2013-10-23 2014-02-26 合肥工业大学 一种基于便携终端的交互式运动数据采集方法
KR101511450B1 (ko) * 2013-12-09 2015-04-10 포항공과대학교 산학협력단 산등성이 데이터를 이용한 객체의 움직임 추적 장치 및 방법
US9589203B2 (en) * 2014-03-24 2017-03-07 Tata Consultancy Services Limited Action based activity determination system and method
KR20150121949A (ko) * 2014-04-22 2015-10-30 삼성전자주식회사 제스처를 인식하는 방법 및 장치
CN105184096A (zh) * 2015-09-25 2015-12-23 河海大学 一种虚拟人运动位姿的计算方法
US10162736B2 (en) 2016-11-17 2018-12-25 International Business Machines Corporation Smart emulator for wearable devices
US10978203B2 (en) 2017-06-20 2021-04-13 International Business Machines Corporation Power-efficient health affliction classification
US10937240B2 (en) 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
TWI635419B (zh) * 2018-04-17 2018-09-11 宏碁股份有限公司 手勢輸入裝置
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
KR20220044677A (ko) 2019-04-12 2022-04-11 유니버시티 오브 아이오와 리서치 파운데이션 작업장 상해를 예측, 예방 및 완화하는 시스템 및 방법
US11301049B2 (en) * 2019-09-17 2022-04-12 Huawei Technologies Co., Ltd. User interface control based on elbow-anchored arm gestures
KR20230025807A (ko) * 2020-06-26 2023-02-23 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 사용자 인터페이스 방법 및 시스템
US11783495B1 (en) 2022-10-25 2023-10-10 INSEER Inc. Methods and apparatus for calculating torque and force about body joints using machine learning to predict muscle fatigue

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备
CN1967525A (zh) * 2006-09-14 2007-05-23 浙江大学 三维人体运动数据关键帧提取方法
US7313463B2 (en) * 2005-03-31 2007-12-25 Massachusetts Institute Of Technology Biomimetic motion and balance controllers for use in prosthetics, orthotics and robotics
CN101308500A (zh) * 2008-05-23 2008-11-19 浙江大学 基于示范表演的直观高效的三维人体运动数据检索方法
CN101599177A (zh) * 2009-07-01 2009-12-09 北京邮电大学 一种基于视频的人体肢体运动的跟踪方法

Family Cites Families (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6307563B2 (en) * 1997-04-30 2001-10-23 Yamaha Corporation System for controlling and editing motion of computer graphics model
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6744420B2 (en) * 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20060025229A1 (en) * 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
CN1599177A (zh) 2004-07-26 2005-03-23 谭启仁 开关管控制的电器通用的防电墙装置
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US20080221487A1 (en) * 2007-03-07 2008-09-11 Motek Bv Method for real time interactive visualization of muscle forces and joint torques in the human body
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
JP5035972B2 (ja) * 2007-06-13 2012-09-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
JP5430572B2 (ja) 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US9399167B2 (en) 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备
US7313463B2 (en) * 2005-03-31 2007-12-25 Massachusetts Institute Of Technology Biomimetic motion and balance controllers for use in prosthetics, orthotics and robotics
CN1967525A (zh) * 2006-09-14 2007-05-23 浙江大学 三维人体运动数据关键帧提取方法
CN101308500A (zh) * 2008-05-23 2008-11-19 浙江大学 基于示范表演的直观高效的三维人体运动数据检索方法
CN101599177A (zh) * 2009-07-01 2009-12-09 北京邮电大学 一种基于视频的人体肢体运动的跟踪方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103975290A (zh) * 2011-09-16 2014-08-06 界标制图有限公司 基于姿势的石油技术应用控制的方法和系统
CN103813076A (zh) * 2012-11-12 2014-05-21 联想(北京)有限公司 信息处理的方法及电子设备
CN103813076B (zh) * 2012-11-12 2018-03-27 联想(北京)有限公司 信息处理的方法及电子设备
CN104977038A (zh) * 2014-04-10 2015-10-14 波音公司 使用与关联存储器耦合的运动感测设备识别移动
CN107209561A (zh) * 2014-12-18 2017-09-26 脸谱公司 用于在虚拟现实环境中导航的方法、系统及设备
CN107632698A (zh) * 2016-07-18 2018-01-26 岱宇国际股份有限公司 基于影像的动作分析系统与方法
CN107632698B (zh) * 2016-07-18 2020-04-28 岱宇国际股份有限公司 基于影像的动作分析系统与方法
CN108542021A (zh) * 2018-03-18 2018-09-18 江苏特力威信息系统有限公司 一种运动服及基于色条识别的肢体测量方法及装置
CN112654951A (zh) * 2018-09-27 2021-04-13 苹果公司 基于现实世界数据移动头像
CN112906438A (zh) * 2019-12-04 2021-06-04 内蒙古科技大学 人体动作行为的预测方法以及计算机设备
CN112906438B (zh) * 2019-12-04 2023-05-02 内蒙古科技大学 人体动作行为的预测方法以及计算机设备
CN111898571A (zh) * 2020-08-05 2020-11-06 北京华捷艾米科技有限公司 动作识别系统及方法

Also Published As

Publication number Publication date
US20110199291A1 (en) 2011-08-18
US8633890B2 (en) 2014-01-21
CN102129551B (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
CN102129551B (zh) 基于关节跳过的姿势检测
CN102323855B (zh) 具有可变刚度的可再成形的连接器
CN102301311B (zh) 标准姿势
CN102356373B (zh) 虚拟对象操纵
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
CN102448566B (zh) 骨架以外的姿势
RU2560340C2 (ru) Автоматическое генерирование визуального представления
US9498718B2 (en) Altering a view perspective within a display environment
CN102301315B (zh) 姿势识别器系统架构
CN102448561B (zh) 姿势教练
CN102163077B (zh) 使用碰撞体来捕捉屏幕对象
US20110151974A1 (en) Gesture style recognition and reward
CN102622774B (zh) 起居室电影创建
CN102156658B (zh) 对象的低等待时间呈现
US9384329B2 (en) Caloric burn determination from body movement
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
JP2013535717A (ja) 骨格関節認識および追跡システム
CN102184020A (zh) 用于操纵用户界面的姿势和姿势修改
CN102184009A (zh) 跟踪系统中的手位置后处理精炼
CN102193624A (zh) 用于基于姿势的用户界面的物理交互区
CN103608844A (zh) 全自动动态关节连接的模型校准
CN102129293A (zh) 在运动捕捉系统中跟踪用户组
CN102262438A (zh) 用于操纵用户界面的姿势和姿势识别
CN102449576A (zh) 姿势快捷方式
CN102221883A (zh) 自然用户界面的主动校准

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150511

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150511

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.