CN102460349A - 使用运动和语音命令对主机应用进行远程控制 - Google Patents

使用运动和语音命令对主机应用进行远程控制 Download PDF

Info

Publication number
CN102460349A
CN102460349A CN2010800255829A CN201080025582A CN102460349A CN 102460349 A CN102460349 A CN 102460349A CN 2010800255829 A CN2010800255829 A CN 2010800255829A CN 201080025582 A CN201080025582 A CN 201080025582A CN 102460349 A CN102460349 A CN 102460349A
Authority
CN
China
Prior art keywords
equipment
user
motion
host
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800255829A
Other languages
English (en)
Inventor
J·J·雅各布森
C·帕金森
S·A·庞伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kopin Corp
Original Assignee
Kopin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kopin Corp filed Critical Kopin Corp
Publication of CN102460349A publication Critical patent/CN102460349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Abstract

一种远程控制微型显示器设备，其使用手部和头部移动以及语音命令来控制位于与主机应用关联的较大虚拟显示器区域内的该微型显示器的视野参数。

Description

使用运动和语音命令对主机应用进行远程控制
相关申请的交叉引用
本申请要求以下申请的权益：2009年5月8日提交的、名为“Remote Control of Host Application Using Tracking and VoiceCommands”(代理机构卷号0717.2096-000)的美国临时申请No.61/176,662，以及2009年8月28日提交的、名为“Remote Control ofHost Application Using Motion and Voice Commands”(代理机构卷号0717.2098-000)的美国临时申请No.61/237,884。通过引用将上述申请的整体教导并入于此。
技术领域
本申请涉及人/机接口，并且更具体地涉及远程控制/微型显示器设备，该设备接受语音命令并追踪手部运动和/或头部移动，以便提供针对诸如在远程主机设备上执行的应用软件的访问。
背景技术
能够存储并显示大量高分辨率计算机图形信息乃至视频内容的小型便携式电子设备变得越来越流行。这些设备(诸如，苹果的iPhoneTM)代表在移动电话、便携式计算机和数字媒体播放器之间会聚的显著趋势。(iPhone是加利福尼亚(California)库比蒂诺(Cupertino)的苹果计算机公司的商标。)尽管这些设备通常包括显示器屏幕，但是可能因这些设备的物理大小限制而无法容易地在这些设备中重现高分辨率、大格式显示器的视觉体验。
结果，消费者现在寻求高质量的便携式彩色显示器以提升其手持设备。一个这样的设备是头戴式眼镜设备，其与一副眼镜或头戴式耳麦类似的方式佩戴在用户的脸部或头部上。另一个示例是手持式观看设备。这些设备包括用于放大图像的透镜和小型高分辨率微型显示器。无线接口向这种设备提供了极大的便利和移动性。微型显示器可以提供超级视频图形阵列(SVGA)(800×600)分辨率甚至扩展型图形阵列(XGA)(1024×768)或更高的分辨率。关于这种显示器的更多信息，请参见以下共同未决专利申请：2009年1月5日提交的、名为“Mobile Wireless Display Software Platform forControlling Other systems and Devices”的美国申请No.12/348,648，以及2009年3月27日提交的、名为“Handheld Wireless Display DevicesHaving High Resolution Display Suitable for Use as Mobile InternetDevice”的PCT国际申请No.PCT/US09/38601。
发明内容
一种远程控制微型显示器设备，其使用诸如头部追踪加速计或相机之类的输入设备来检测诸如头部移动、手部运动和/或手势之类的移动，以及利用可选的语音命令，来控制用于微型显示器的视野(诸如位于与主机应用关联的较大虚拟显示器区域内的视野)的参数。
该显示器可以实现为各种形式，诸如作为头戴式耳麦中的单目显示器，作为眼镜设备中的双目显示器，或在其他手持设备中。
附图说明
根据附图中示出的示例性实施方式的更具体描述，前文将变得易于理解。在附图中，贯穿不同的视图，相同的参考标记指代相同的部分。附图不一定按比例绘制，相反，重点在于示出实施方式。
图1A是示出了头戴式远程控制/显示器设备，以及人员通过使用手部手势和/或头部移动来控制主机计算机、虚拟显示器和视野的高层示意图。
图1B是使用头部条带的实施方式。
图1C是双目实施方式。
图2是示出了如何将语音、手部手势和头部追踪命令转译成键盘和鼠标命令的远程控制设备和主机的高层框图。
图3A和图3B示出了如何使用语音和头部追踪命令的组合来操纵虚拟显示器内的视野。
图4A和图4B是使用语音和头部移动命令的另一示例。
图5示出了使用语音和头部移动命令的web浏览示例。
图6A和图6B是导航建筑绘图的另一示例。
图7A是典型命令的列表，包括屏幕命令和应用特定命令。
图7B示出了如何使用追踪的头部移动和“加粗”语音命令来与Microsoft Word交互。
图8示出了可以如何使周边视力缺失的人更有效地利用远程控制显示器设备。
图9是可以如何在视野的中心部分临时显示菜单以辅助这种视力受限的人的示例。
图10是示出了适配用于通过双向通信路径无线地传输数据的示例性实施方式的单目显示器设备和主机计算设备的内部部件的简化示意框图。
图11是示出了用于通过蓝牙TM(BluetoothTM)连接来接收内容的示例性实施方式的单目显示器设备的内部部件的详细示意框图。
图12是示出了示例性实施方式的单目显示器设备的操作方法的流程图。
图13是示出了可以如何使用示例性实施方式的单目显示器设备、通过用户接口来控制和管理各种主机的高层软件示意图。
图14是示出了示例性实施方式的单目显示器设备的示例性硬件接口的示意图。
图15是示出了包括代理功能的蓝牙TM协议栈的示意图。
图16A至图16B是示出了传统的传输控制协议(TCP)连接与通过蓝牙TM连接的经代理的TCP连接之间差异的示意图。
图17是更详细地示出了用于通过双向通信路径来携带数据分组的蓝牙TM代理的框图。
图18是示出了设备驱动的框图。
图19是示出了设备内容的框图。
具体实施方式
以下给出了示例性实施方式的描述。
通过参考，将此处引用的所有专利、公开的申请和参考的教导整体并入。
图1A示出了并入高分辨率(VGA或更好的)微型显示器元件140的远程控制无线显示器设备100。包括麦克风输入和输出扬声器的音频输入和/或输出设备包括在相关联的外壳中(图1A中未示出)。还位于外壳中的是各种电子电路，如将会理解地，包括微型计算机、无线接口、关联存储器或其他存储设备、相机(光传感器)和/或运动传感器。相机和/或运动传感器用于至少在第一轴111(水平)但是优选地还在第二轴(垂直)112和第三轴(倾斜)113追踪用户的头部或手部的运动。
设备100用作针对主机计算设备200的远程控制。主机200例如可以是膝上型计算机、蜂窝电话、黑莓、iPhoneTM或较之于远程控制设备100具有更大计算复杂度的其他计算设备。主机200可以进一步连接至其他网络，诸如通过无线连接210连至因特网。远程控制100和主机200经由诸如蓝牙链路150提供的适当无线连接进行连接。
根据下文将更详细说明的多个方面，远程控制设备100允许用户在由虚拟显示器限定的大得多的区域中选择视野300。典型地，用户可以控制视野300的位置、范围(例如，X-Y范围)和/或放大。
尽管图1A中示出的是呈现利用悬臂式长杆话筒160支撑在用户面部上的单个固定显示器元件140的单目微型显示器，但是应当理解，针对远程控制显示器设备100的其他配置也是可行的。
例如，在图1B的实施方式中，单目显示器120和悬臂171可以利用条带172支撑在用户头部上，以针对眼部提供显示器平板(pod)的稳定定位。使用条带也可以使得针对不同的头部形状所进行的调节更加容易。
图1C示出了使用“双眼”、双目布置的另一实施方式，其中向用户呈现两个微型显示器元件181、182。电子器件和/或电池可以置于后部的系索(lanyard)183或外壳184中，以减轻平板的大小和重量。系索183还可以向显示器模块提供配重，从而将无线显示器设备的重心移向头部中心。
图2是示出了远程控制显示器100、主机200与在其间行进的数据的更多细节的框图。远程控制显示器100经由麦克风从用户接收语音输入，经由相机或光传感器接收手部移动，以及经由头部追踪电路接收头部移动输入。这些由远程设备100中的软件转译成键盘和/或鼠标命令，这些命令继而通过蓝牙接口150向主机200发送。主机200继而根据其自己的操作系统/应用软件来解释这些经转译的命令，以便执行各种功能。命令之一是选择虚拟显示器内的视野300，以及向远程设备返回所选择的屏幕数据。由此，应当理解，非常大格式的虚拟显示器区域可以与主机200上运行的操作系统或应用软件相关联。然而，仅向远程控制显示器设备100返回视野300内较大虚拟显示器区域的一部分并且实际由该远程控制显示器设备100对其进行显示。
图3A和图3B是这样的示例，其中主机200上的虚拟显示器区域可以包括美国的详细地图。用户最初可以在微型显示器140上看到整个虚拟显示器区域，尽管是以降低的分辨率。如图3A所示，由此，最初以低放大率将视野的中心定位在中央光标点或地点上，诸如在地图上的Kansas，Lawrence处。用户继而移动他的头部或者做出手势，以更详细地查看感兴趣的特定区域。手势可以是斜扫运动。头部移动可以是向左继而向上，或者可以是直接斜线移动至用户感兴趣的区域。例如，用户现在可能对Washington，Seattle周围的区域感兴趣，并且已将他/她的头部移动至此。利用诸如“放大”的相应语音命令，所呈现的虚拟显示器区域继而被放大，从而在微型显示器上更详细地看到了Seattle周围的区域，如图3B所示。可以可选地是主机仍然一直呈现原始的整个美国区域。
还可以通过语音命令在原始的整个美国区域与Seattle周围的区域之间往复切换。备选地，切换可以是地图中任何两个不同地点之间的切换或者是任何两个缩放水平之间的切换。
图4A和图4B是远程设备100可以如何控制典型的主机计算机200的显示器的更详细视图。用户最初看到的是屏幕的中心部分，并且可以选择两个模式之一：(a)移动光标模式或(b)平移/缩放模式。通过利用语音命令选择这些模式中的第一模式，用户可以使用手势或头部移动来引起光标在虚拟显示器内到处移动(左、右、上、下)。由此，如图4A所示，例如，在视野的中心原始定位在MicrosoftOutlook电子邮件窗口的情况下，在此模式中的用户可以使用手部或头部移动来将光标定位到待阅读的特定电子邮件消息上。该用户继而可以说出命令，诸如“选择”，以引起该电子邮件消息出现在显示器面板上。
然而，该用户继而可以发布另一语音命令，诸如引起屏幕平移出的“选择平移”，从而允许用户更好地看到屏幕的不同部分，诸如位于Outlook窗口后面的Microsoft Word文档窗口的一部分。利用手部或头部移动以及说出“选择”语音命令，用户继而可以改变视野，使得Microsoft Word文档出现在前面。参见图4B。
图5是使用手部或头部移动以及语音命令、利用web浏览器导航web页面的类似示例。此处，用户可以选择移动模式，以及使用手部或头部移动来将光标定位在感兴趣的特定超链接。利用语音命令“选择”，继而激活选择的超链接，例如“关于USPTO(AboutUSPTO)”。浏览器继而前进到选择的web页面。
继而，利用手部或头部移动，用户可以从显示在web页面上的多个超链接中进行选择，以及使用语音命令，继而引起该超链接被选择。手部/头部移动和语音命令的其他组合可以引起web页面的上滚和下滚，后退或前进一页，或者实现其他典型的web浏览器命令。
图6A和图6B是使用远程控制显示器设备来查看建筑绘图的另一示例。在此示例中，虚拟显示器区域是安装在建筑物中的太阳能热水系统的绘图。用户在鼠标移动模式中拾取了感兴趣的特定管线310。该用户继而可以利用手部/头部移动来沿着管线310的路径追随该管线310(例如，跟随“水箱”320和“收集器”330之间的路径)。例如，通过简单地将她的手部/头部向右移动，视野随着用户的手部/头部移动以将泵340和收集器330二者带入视野内而由此追随感兴趣的管线部分。
在此模式中的移动速度可以由用户手部移动的范围、剧烈程度或相对量进行控制。例如，引起光标和/或视野在虚拟显示器内进行特定对应移动的手部移动的量可以以与在Microsoft Windows操作系统内控制鼠标移动的比例的方式非常一致的方式进行控制。
图7A是通常可以在Microsoft Windows环境中利用的典型语音命令的列表。这些包括屏幕命令，诸如向上、向下移动光标、向左、向右、向上、向下平移、放大、缩小、缩放5倍、缩放10倍等。语音命令还可以包括诸如“选择”、“后退”、“前进”之类的命令，或其他应用特定命令，诸如“加粗”、“加下划线”等。
远程控制设备还可以包括用于支持诸如Microsoft Word之类的应用的软件覆盖。如图7B所示，应用覆盖可以使用手部/头部移动以及语音命令来选择文字区域710。接着，启动语音命令“选择加粗”的语音由远程控制设备100转换成Control-B命令。此Control-B继而向主机200以及最终向Microsoft Word发送，以引起将选择的文本710置于加粗字体中。
图8示出了使用远程控制设备100来辅助具有视力缺失的人的另一示例。人类中的大部分具有视力缺失，其需要诸如通过使用双焦镜的校正。这些人群倾向于是近视和/或具有周边视力缺失，使得仅其查看中心处的区域可以正确对焦。他们通常不能容易地使用诸如图1A中所示的头戴式显示器。归因于此受限的能力，他们例如不能调节其双焦镜以便清晰地看到微型显示器的全部，并且微型显示器140的边缘将会偏离焦点。此处描述的设备将这种用户从选择较大虚拟显示器内的视野解放出来，由此使得他们具有更愉悦的体验。
如图8所示，应用软件的主菜单通常位于屏幕的上部或下部。然而，这些菜单区域对于尝试使用微型显示器140的视力受限人员而言通常偏离焦点。
利用远程控制显示器设备100，可以替代地经由语音命令使得主菜单出现在视野300的中心250中，如图9所示。例如，语音命令“调用主菜单”可以强制命令的主菜单754作为覆盖出现在视野300的中心750处，而不是邻近沿着视野300的顶部753的菜单栏752。用户继而可以诸如经由进一步的口头或手部/头部移动命令来选择菜单内的命令。在选择了命令之后，该菜单继而消失，从而允许再一次查看底层信息。
现在可以理解，用户可以利用语音命令来将视野固定在虚拟区域内，以及允许手部/头部移动来控制鼠标位置，或者用户可以使得光标位置被固定，以及允许在虚拟区域内到处平移和缩放视野。用户还可以控制多大程度的移动可以转译成特定鼠标或平移/缩放命令，即，针对在较大虚拟显示器的上下文内的移动定义比例尺。
使用远程设备来进行web浏览的独特方面在于将语音命令和头部移动命令结合使用，以在web页面中导航。
现在可以理解，主机计算机呈现的虚拟显示器的仅一部分需要从主机200向远程控制设备100反馈。由此，例如，仅需要返回位于视野内的显示量。
图10示出了单目显示器设备100和示例性主机计算设备225的非限制性示例实施方式的简化框图。单目显示器设备100包括连接至显示器控制器400的微型显示器元件140，其可以是IntelTM、TexasInstrumentsTM或Advanced Micro-Devices(AMD)TM制造的数字信号处理器。控制器400连接至总线405，诸如外围部件互连(PCI)总线。在一个实施方式中，微型显示器140备选地可以连接至视频图形芯片(未示出)，该视频图形芯片连接至总线405。
单目显示器设备100还包括存储器410，诸如随机访问存储器(RAM)415和只读存储器(ROM)402，其保存可执行程序指令，以及通过总线405向控制器400传送程序指令。优选地，单目显示器设备100进一步包括发射机425和接收机430，和/或组合的收发机(未示出)，二者连接至总线405，以形成与主机计算设备225的无线接口。发射机425和接收机430还通过总线405连接至显示器控制器400，以及接收用于控制该显示器控制器400的指令。
单目显示器设备100还包括输入设备接口435，其可以提供去往无线鼠标、轨迹球或键盘、或可以通过无线链路440无线连接至PCI总线405的其他类似用户设备的接口，其中该无线链路440由接收机430接收。围绕X、Y和Z轴的横向和旋转头部移动手势可以由霍尔效应传感器447、MIM二极管448、加速计449或其他传感器/换能器检测。位于设备100上的相机440还可以向CPU 445提供指示手部移动和手势的输入。相机440可以是能够检测手部移动的光传感器或前向瞄准视频相机。输入435、相机440、音频输入495和传感器447、448、449等可以控制在单目显示器设备100、主机计算设备225或二者上的屏幕提示，其中单目显示器设备100和主机计算设备225如在此处其他地方所期望的、处于主/从联网关系。
主机计算设备225包括中央处理单元(CPU)445、具有RAM 450、ROM 455以及还包括高速缓存存储器460的存储器。主机计算设备225进一步包括收发机465和接收机470，其可以具体化为组合的收发机。主机计算设备225还可以包括主显示器475和输入设备480，二者均连接至诸如PCI总线的总线490。总线490还可以连接至有线宽带连接(未示出)、无线宽带连接485、DSL线路、线缆调制解调器、媒体播放器、音乐或视频播放器或任何其他适当的链路，以接收内容。
显示器控制器400向显示器140输出控制信号，以显示图像。这允许单目显示器设备100接收存储在主机计算设备225的高速缓存存储器460上的数据。当主机计算机225未使用时或断电时，在单目显示器设备100上查看的数据来自高速缓存存储器460，并且并未更新。与主机计算设备225处于操作时相比，此数据可能较旧并且未通过通信链路300a至300e进行刷新。设备100和主机计算设备225还可以包括音频输入/输出设备497。
备选地，在又一示例性实施方式中，单目显示器设备100可以在主机计算设备225处于开启、关闭或节电状态(诸如，睡眠或休眠状态)时，通过无线通信链路235来访问主机计算设备225。在此实施方式中，主机计算设备225以最小功率进行操作，并且周期性地扫描来自单目显示器设备100的即兴、自发的唤醒调用或命令，以触发主机计算设备225中的低层命令，以便唤醒主机计算设备225以及向单目显示器设备提供内容或服务。主机计算设备225可以配置有预定输入/输出(I/O)端口，以便针对唤醒调用或命令进行监控，该调用或命令触发低层命令以唤醒主机计算设备225。端口包括适用于通过无线通信链路235来进行无线通信的以太网端口或卡、WiFiTM端口或卡、蜂窝端口或卡，或蓝牙TM端口或卡。此端口对于单目显示器设备100也是已知的，使得唤醒命令可以适当地由主机计算设备225收发。
任何外部硬连线或外部无线接口可被访问，以允许MicrosoftWindows SideShowTM小工具访问来自休眠的主机计算设备225的数据。主机计算设备225监听特别地针对休眠的主机计算设备225以将其唤醒的特定地址号、名称或命令。在主机计算设备225处接收命令会触发用于唤醒主机计算设备225的低层命令。一旦唤醒，主机计算设备225会供应单目显示器设备100请求的任何以及所有信息和服务。
当传输完成时，单目显示器设备100可以通过无线通信链路235向主机计算设备225传输命令。在接收到该命令之后，运行在主机计算设备225上的Microsoft Windows SideShowTM小工具触发系统层命令，以引起主机计算设备225重新进入休眠，例如，直到稍后被再次需要为止。可以触发其他节电状态，包括睡眠和断电。
单目显示器设备100可以通过利用Microsoft WindowsSideShowTM的能力而向用户提供很多益处。利用运行在主机计算设备上的Microsoft Windows SideShowTM小工具，避免了用户例如不必须在到处移动或行进时携带PC 225。其PC 225运行MicrosoftWindows SideShowTM小工具的用户可以从任何地方远程地自发联系其PC 225，从而即时地接收所需要的主机计算设备225的信息内容和服务，以及继而将其PC 225恢复到休眠状态。
此外，通过允许用户在未参与时不是必须让计算机运行，同时仍然在用户需要时向用户提供针对所有或PC信息、计算服务的即时访问以及对公司计算机资源的正常访问，单目显示器设备100允许针对减小其计算机和附件功率消耗提供较大的促进。其还降低了通常的PC维护、修复乃至在携带期间的毁损。而且，减少运行未参与的PC允许针对减轻用于冷却未参加的PC的空调功率需求的较大促进，并且允许未参加的PC乃至很多服务器处于休眠，直到其被需要的那一刻。
单目显示器设备100还允许PC用户不再需要不得不等候其PC启动(例如，每个启动周期为5-10分钟并不罕见)。无论PC是否位于用户附近(例如，小于等于30英尺)以及通过蓝牙TM无线命令、WiFiTM命令或通过蜂窝无线命令乃至以太网接口的更大距离可从休眠进行访问，PC处于休眠并且准备好在用户调用时开始动作。例如，在PC在工作日的早晨或刚好在旅行之前启动之后，该PC可以保持在休眠模式，并且不是必须再次启动，直到用户完全需要或者期望为止。
此外，PC用户可以使用Microsoft Windows SideShowTM小工具来提供针对主机计算设备的服务、应用、内容和存储的远程访问，以及可以进行远程操纵，而不需要用户通过协议(诸如，远程显示器协议(RDP)和虚拟网络计算(VNC))，以及商务服务(诸如，GoToMyPC)与主机计算设备之间的交互。
图11提供了并入单目显示器设备100的电子部件的更详细视图，该单目显示器设备100连接至主机计算设备225，以通过蓝牙连接接收数字视频信号。这些部件在共同未决专利申请中进行了详细描述：2009年1月5日提交的、名为“Method And Apparatus ForTransporting Video Signal Over Bluetooth Wireless Interface”的美国申请No.12/348,627，通过参考在此将其并入。
在优选实施方式中，单目显示器设备100包括高级精简指令集计算机(RISC)机器(ARM)/数字信号处理器(DSP)512(其可以是开放多媒体应用平台(OMAP)3500系列处理器，可从Texas，Dallas的Texas Instruments获得)、存储器514、蓝牙接口516(可由可从England，Cambridge的Cambridge Silicon Radio(CSR)获得的类别2蓝牙接口来提供)、显示器驱动器519(其例如可以是可从MA，Westborough的Kopin公司获得的SSD 1508显示器驱动器)、视频层移位电路520、电池524支持的电源522、通用接收机发射器(UART)526(诸如可以用于调试)和存储器515。安全数字(SD)、极端数字(xD)、USB SD(uSD)存储器517或其他类似接口可以用于存储应用程序、内核命令或配置数据，和/或连接至诸如数码相机的设备。多个输入设备530可以与设备(例如，交换机1/交换机2/交换机3和重置输入)、相机546、霍尔效应传感器547、MIM二极管548、加速计549、追踪板和涡形齿轮以及LED输出532(led1)关联。还提供了VGA或更高质量的微型显示器元件140和音频输入和输出设备560(其可以包括麦克风输入562和立体声输出564)。
信号可以通过从单目显示器设备100到主机计算设备225使用串行端口简档(SPP)建立的蓝牙TM无线通信链路235进行发送，较之于使用任何“高级”蓝牙模式，其提供了更大的吞吐量，比已被发现是本申请所不需要的这种高级模式强加的更高层协议要高。在蓝牙TM无线电516中，通过蓝牙TM连接接收的视频信号通过USB连接518向处理器512发送。一个设计考虑在于针对已知的数据缓冲器大小来优化数据分组格式。在蓝牙TM无线电516内部的是默认大小为1000字节的分组缓冲器。这可以被修改以强制流传输视频信号仅使用约为990字节的缓冲器大小。处理器512可能期望接收的视频内容是使用所谓的基线简档或更好的简档、利用H.264(运动图像专家组(MPEG)-4部分10)格式编排进行编码的。
在优选实施方式中，处理器512可以使用多任务嵌入式操作系统。处理器512按如下方式在接收的视频信号上进行操作。使得MPEG格式容器文件(例如，MP4文件)可用。在一个优选实施方式中，这可以是专有文件格式，尽管选择的输入.MP4文件格式的特定细节在此处并不重要，只要处理器512被编程以正确地处理之即可。处理器512继而打开去往主机计算设备225的通信端口，以及通过USB接口518从蓝牙TM无线电516接收文件。
处理器512中的MP4解码器将文件剥离成相应的音频和视频流。更具体地，处理器512将输入文件H.264压缩的数字视频信号解码成YCbCr基带分量视频信号。处理器512还可以将关联的压缩音频(格式化为高级音频编码(AAC)格式信号)划分成基带立体声音频。
处理器512可以以任何适当格式向显示器驱动器519输出视频，诸如8比特的国际电信联合无线电通信部门(ITU-R)推荐BT.656或具有单独的同步信号的运动图像和电视工程师协会(SMPTE)293M 16比特YUV逐行扫描信号。解压缩的视频信号通过处理器512的内部ARM总线进行转发。ARM总线继而经由SMPTE 293M接口直接向显示器驱动器519发送内容。智能接口控制器(I2C)接口547用于配置微型显示器元件140。处理器512还向音频输出压缩/解压缩模块(CODEC)560输出基带音频。其可以获取单音或立体声音频输入，以及产生适当的立体声输出信号。
图12是根据单目显示器设备的实施方式的操作方法600流程图。在第一步中，方法开始(步骤605)。此后，单目显示器设备等待(步骤607)用户输入请求。此输入可以是来自输入设备的任何信号输出(诸如，MIM二极管、霍尔效应传感器或加速计检测到的单目显示器设备的用户头部移动生成的输出)，或者来自检测手部运动或手势的相机的任何信号输出，或者来自位于单目显示器设备外壳上的按钮、无线轨迹球、无线鼠标或无线小键盘的任何信号输出。
在一个实施方式中，使用诸如Microsoft Windows MobileTM操作系统的操作系统，以及使用手势输入和语音命令，用户可以“双击”单目显示器设备屏幕(例如，图1A的微型显示器元件140)上的图标，以指示打开电子邮件消息或打开应用。请参考图3A-图8针对特定示例的上述讨论。此后，方法600响应于该请求试图从内容源接收数据，以及该方法确定(步骤610)内容源是否位于单目显示器设备上的存储器(例如，图4的存储器410)中，例如，相机输出上，或者该内容源是否位于另一远程位置处，诸如主机计算设备(例如，图2的主机计算设备225)上。如果数据确实是本地存储的(步骤612)且不需要无线链路，则访问本地存储器(步骤615)，以及数据配置用于被获取和加载以供后续显示在显示器元件上。一旦方法600访问本地存储器(步骤615)，方法600就返回以等待新的用户输入请求(步骤607)。
然而，如果数据位于远程存储器上或者位于不在单目显示器设备上的存储器中(步骤613)，则开始蓝牙TM连接或其他之前描述的无线连接(步骤620)，以获得所请求的数据(步骤607)。如先前讨论的那样，还可以使用其他无线通信格式，本方法600仅用于示意目的。
设备的发射机(例如，图10的发射机425)可以被激活以询问主机计算设备，以及向主机计算设备的接收机(例如，图4的接收机470)发送初始配置信号(步骤625)。该主机确定蓝牙TM信号的功率是否足够以及是否是从单目显示器设备100接收的(步骤630)。一旦接收到信号，则主机发射机(例如，图10的发射机465)使用第二预定信号来向单目显示器设备接收机(例如，图10的接收机430)发送确认信号。如果未接收到信号(步骤632)，则单目显示器设备继续询问主机(步骤625)。发送更强或更定向的信号。如果主机计算设备正确地接收到信号(步骤634)，则在无线链路(例如，图1A的无线链路150)上形成双向通信数据路径(步骤635)。上行链路和下行链路信号可以通过双向连接数据路径在设备(例如，图1A的主机计算设备200和单目显示器设备100)之间传递，本方法仅仅是除了图6的非限制性方法之外、可以沿无线链路发送的信号和各种诊断性工具应用的示意。
一旦形成了双向通信数据路径(步骤635)，则可以从主机计算设备向单目显示器设备传递多媒体数据文件。在一个非限制性实施方式中，通信路径的带宽就每秒比特(bps)而言是足够的，使得当在主机计算设备处操作Microsoft Windows VistaTM操作系统时，主机显示器输出屏幕(例如，图10的主机显示器475)的图形输出在微型显示器元件(例如，图10的微型显示器元件140)处实时可见，从而如果两个显示器并排放置，光标移动基本上同时出现在两个屏幕上，以支持在单目显示器设备处对主机计算设备的远程操作。
显示器控制器(例如，图10的控制器400)从计算设备发送针对视频信号的请求(步骤640)。该请求传递至总线405，以及传递至发射机，以及继而沿着链路发送。此后，单目显示器设备确定视频信号是否是以无线方式从主机计算系统接收的(步骤645)。如果该信号是无线接收的(步骤647)，则单目显示器设备请求音频(步骤650)。如果该信号不是以无线方式接收的(步骤648)，则单目显示器设备返回以发送另一请求(步骤640)。
显示器控制器向主机计算设备发送针对音频信号的请求(步骤650)。音频和视频信号可以作为一个连续信号进行发送，本公开不限于任何这样两种信号的实施方式。该请求传递至总线(例如，图10的总线405)、传递至发射机，以及继而沿着链路发送。单目显示器设备继而确定音频信号是否是以无线方式从主机计算系统接收的(步骤655)。如果该音频信号是无线接收的(步骤647)，则单目显示器设备显示视频(步骤660)。如果该音频数据或信号不是以无线方式接收的(步骤648)，则单目显示器设备返回以发送另一请求(步骤650)。
程序指令通过显示器控制器引起单目显示器设备在微型显示器元件上显示视频(步骤660)，以及使用音频设备(例如，图10的音频输出设备495)来播放音频(步骤665)。此后，发送针对另一输入信号的请求(步骤670)。继而确定该过程是否完成(步骤675)。如果该过程完成(步骤677)，则该方法结束(步骤680)。如果该过程未完成(步骤678)，则等待另一用户输入请求(步骤607)。各种控制配置是可行的并且在本公开的范围内，本配置仅用于说明，可以执行用于对主机计算或其他外部计算设备格式的加密以及解密的多个其他步骤。
图13是指示可以如何使用单目显示器设备100、通过用户接口来控制和管理各种主机225的高层软件示意图。软件栈900包括设备应用浏览器901，其可以运行在操作系统(OS)的内核顶部上，诸如Linux内核902、绘图原语(诸如那些由Direct FB(DirectFB)栈903提供的原语)和图形工具箱(诸如Gimp工具箱(GTK)窗口工具箱904)。设备应用浏览器901允许用户通过图标和菜单接口来访问用于单目显示器设备100的应用软件。这通常包括针对特定单目显示器设备100编写的定制代码。
OS 902被移植以便在单目显示器设备100的处理器(诸如图11中所示的OMAP 3500系列ARM/DSP)上运行。内核层902以其他方式提供标准的操作系统功能。绘图原语层903可以是有点瘦的图形库，其向图形加速输入设备提供集成了处理和抽象的窗口化系统。最终的结果是图形用户显示器910，其具有用户可用的各种应用，诸如蓝牙TM发现911、计算器912、媒体播放器913和设置接口914。
在设备应用浏览器901的上下文内运行的应用可以包括话音输入921、虚拟(桌面)网络客户端922和web浏览器923。虚拟网络是允许对个人计算机(PC)进行远程控制的系统。这是通过以位图格式向另一设备导出整个屏幕显示而实现的。此位图包裹在网络协议中，并且由该设备接收和简单显示。类似地，本地设备检测到的任何鼠标移动或键盘录入数据都直接向远程PC传递以便针对其进行动作。
话音命令接口921提供或者允许语音输入命令控制应用浏览器901。由此，例如，用户可以说出由话音设备检测到的词汇“计算器”，其引起操作系统902启动计算器应用。通常，在应用浏览器的上下文内的屏幕上按钮或图标旁边显示的文本标记指示激活对应按钮的说出的词汇。数字式输入(例如，如图1B、图1C、图4和图5示出的MIM二极管、霍尔效应传感器、加速计和交换机)还可以用于导航和选择菜单功能，从而允许对应用及关联数据的全面控制和编辑。
如即将理解的，发现应用911不仅允许发现相邻蓝牙TM设备，还允许连接它们直到应用浏览器层。例如，示例性用户显示器910中示出了这样的事实，即目前存在两个已连接设备，包括桌面计算机927和黑莓TM(BlackberryTM)928。设备927、928已经通过发现应用911的操作被发现。这可以例如在单目显示器设备100的第一次上电或通过用户手动发起蓝牙TM发现过程而发起。蓝牙TM设备发现按照蓝牙TM规范继续，报告在物理层连接的任何新的蓝牙TM层设备。
然而，此时，提供附加的功能性以允许在网络层与蓝牙TM设备进行通信。具体地，告知客户端927、928打开对于单目显示器设备100而言位于本地的本地主机地址上的特定端口。该设备端口用作代理，总是寻找这种请求。在接收到请求时，其向回报告将要由个体设备927、928为进行网络层通信而使用的可用网络层地址(即，诸如TCP/IP地址)。
图14示出了也由图13的浏览器应用901提供的硬件接口功能性，其可以接收和/或控制单目显示器设备100上的各种硬件功能。这些功能可以包括单目显示器设备检测1001、电池状态1002、输出设备调整，诸如头戴式耳麦按钮1003、扬声器音量1004、麦克风音量1005、媒体流传输功能1006、帧缓冲器切换1007、设备驱动器和其他功能。
图15示出了在图1A的蓝牙链路150中实现的蓝牙协议栈，其中添加了特定的代理功能。蓝牙TM层如同在任何标准蓝牙TM设备中那样提供了蓝牙TM设备1100的发现。然而，连接至1110的单目显示器设备100也提供了允许与这种设备1112交换数据的协议信息。其也可以连接至其他类型的头戴式设备1120，诸如电话头戴式设备，其可以提供针对传入呼叫1122和传出呼叫1124的处理。
图16A至图16B和图17示出了蓝牙TM接口237提供的代理功能性的更多细节。
图16A示出了涉及去往数据源的多个直接TCP层连接的传统方式。例如，在图13的应用浏览器901的上下文中运行的每个应用(诸如，话音识别应用921、虚拟网络客户端922和web浏览器客户端923)可能都需要去往主机计算设备225提供的数据源的一个或多个TCP连接。传统系统包括去往数据源的多个直接TCP连接。
图16B示出了尽管蓝牙TM本身不提供去往因特网350或其他高层网络的任何直接连接，但是代理1230可以如何经由支持因特网的主机计算设备225来支持单目显示器设备100与因特网350之间的连接。蓝牙TM不能直接连接到因特网，其必须经由支持因特网的设备。由此，例如，诸如web浏览器923的应用通常需要主机计算设备225充当联网代理。
图17示出了优选布置，其中单个蓝牙TM链路150支持多个应用921-923。多个应用921-923需要单个蓝牙TM连接237支持多个套接字，诸如传输控制协议(TCP)连接。例如，尽管每个应用921-923可能在其他情况下需要多个TCP连接，但是替代地，在标准蓝牙TM层与常规TCP协议层之间添加的蓝牙TM代理层1310将多个请求的TCP连接聚集到单个套接字上。由蓝牙TM链路237提供的单个套接字继而向主机计算设备225传输多个连接。
在主机计算设备侧225上提供的类似相反功能性1318将分组分散到其相应的连接921’-923’。
尽管蓝牙TM本身允许主机与客户端之间的多个连接套接字，但是很多移动电话运营商施加了单个连接限制。由此，可以在很多情况中看到单个连接限制。这不仅允许更大的安全性，而且避免无线设备身陷蓝牙TM连接请求的可能性。
这种方式还允许标准的web浏览器应用923例如在无需针对其对TCP套接字的使用进行修改的情况下进行操作。由此，在单目显示器设备100上提供的蓝牙代理1310的操作和在主机计算设备225上提供的代理功能1318将运行在应用浏览器901内的应用921-923隔离，以及还将运行在主机计算设备225上的应用与这种经修改的套接字功能性隔离。例如，运行在主机计算设备225上的虚拟网络现在不需要修改。
图18示出了被提供以将设备应用浏览器901与不得不知道针对特定主机设备的内容格式规范相隔离的设备驱动器。由此，例如，针对黑莓主机225b提供黑莓服务器1401，以及针对Windows机器主机225c提供Windows Vista服务器1402。这允许将针对特定主机计算设备225的用户接口呈现为针对单目显示器设备100的通用接口。服务器1401、1402提供至少两个功能性，包括图13的蓝牙TM代理功能性1318(即，将TCP通道数据分散至多个需要的通道)和内容服务器。
图19示出了图18的服务器1401、1402针对设备内容进行的处理。这些可以包括针对每个相应的内容类型的内容格式块，其中内容包括电子邮件收件箱1501、联系人列表1502、证券报价机1503、媒体浏览器1504等。这些服务器功能1501-1504中的每一个使用页面标记语言重新调整其内容的格式。页面标记语言继而可以由单目显示器设备上的内容浏览器901进行解释。内容浏览器901现在可以一般性地解释页面标记语言，以适应单目显示器设备100的各种需求。
在备选实施方式中，诸如Microsoft Windows SideShowTM的功能可以获取来自Windows设备的格式化内容，以及根据SideShow需求对其进行格式化。Microsoft Windows SideShow是在MicrosoftTM操作系统的Windows Vista发布中引入的一种技术，其使得Windows PC能够驱动连接至主PC的各种附属显示器设备。这些设备可以与主PC分离或与之集成，例如，嵌入在膝上型计算机盖外部上的显示器等。
利用Microsoft Windows SideShowTM功能性和/或虚拟网络，单目显示器设备100还可以成为“变色龙”，实际上采纳主机计算设备225的熟悉的用户控制、相同的用户屏幕和相同的图形用户接口。即使单目显示器设备100同时接受若干主机计算设备225(即，黑莓、蜂窝电话和PC)，但是允许用户在主机设备之间切换。每次在用户做出这种切换时，用户可以看见以及仍然认出熟悉的从设备或主机和设备用户屏幕、相同的图形用户接口(GUI)和相同的熟悉的控件和命令。
现在，由此可以理解的是，单目显示器设备100可以如何按照不同的方式来观看内容，其中这些内容都可由用户通过使用与语音输入结合的头部移动和/或手势进行选择，包括针对设备本身编写的新应用，设备应用，web应用，web浏览器等，以及Microsoft WindowsSideShowTM应用或经由虚拟网络连接的本地应用。
利用蓝牙代理支持，通过原始主控设备GUI接口、屏幕、命令和控制接口进行推送的效果可以同时针对多个设备得到支持。
尽管已经参考本发明的示例性实施方式具体示出和描述了本发明，但是本领域技术人员应当理解，在本领域中，可以在不脱离所附权利要求涵盖的本发明范围的前提下，对本发明的形式和细节作出各种改变。

Claims (20)

1.一种手持便携设备，包括：
微型显示器，用于显示从本地处理器接收的可视信息；
运动检测器，用于检测用户身体部分的物理移动，以及提供运动输入；以及
位于所述手持便携设备中的所述本地处理器，以及进一步包括：
接收机，用于接收所述运动输入；
转译器，用于将所述运动输入转译成用户命令；
通信接口，用于向主机处理器转发主机命令以及用于从所述主机处理器接收回复；
显示器控制器，用于转发将在所述微型显示器上显示的信息，至少包括已处理所述用户命令的所述本地处理器的可视确认。
2.如权利要求1的设备，进一步包括：
麦克风，用于从所述用户接收音频信号，并且
其中所述本地处理器进一步包括：
话音识别器，用于处理所述音频信号以产生语音命令；并且
其中所述转译器进一步将所述语音命令与所述运动输入结合，以确定所述主机命令。
3.如权利要求1的设备，其中所述运动检测器提供指示在两个或更多维度中的运动的两个或更多运动输入。
4.如权利要求1的设备，其中所述通信接口是所述手持便携设备与所述主机处理器之间的无线链路。
5.如权利要求1的设备，其中所述运动检测器是用于检测所述用户的手部移动的相机。
6.如权利要求1的设备，其中所述运动检测器是用于检测所述用户的头部移动的头部移动追踪设备。
7.如权利要求1的设备，其中所述用户命令由所述本地处理器处理，以控制显示在所述微型显示器上的可视信息的呈现方面。
8.如权利要求7的设备，其中所述用户命令控制视野。
9.如权利要求7的设备，其中所述用户命令控制缩放、平移或比例因子。
10.如权利要求7的设备，其中所述用户命令选择项目。
11.如权利要求10的设备，其中所述项目是超链接。
12.如权利要求1的设备，其中所述用户命令作为主机命令向所述主机处理器转发。
13.如权利要求12的设备，其中所述回复导致光标移动。
14.一种用于操作手持便携设备的方法，其中所述手持便携设备具有微型显示器、运动检测器、无线通信接口和本地处理器，所述方法包括：
在微型显示器上显示从所述本地处理器接收的可视信息；
使用所述运动检测器来检测用户身体部分的物理移动以用作针对所述本地处理器的运动输入；
将所述运动输入转译成用户命令；以及
基于所述用户命令来控制在所述微型显示器上呈现的所述可视信息的方面。
15.如权利要求14的方法，其中所述可视信息的方面是视野。
16.如权利要求14的方法，其中所述可视信息的方面是缩放、平移或比例因子。
17.如权利要求14的方法，还包括：
使用所述无线接口向主机处理器转发所述用户命令。
18.如权利要求14的方法，其中所述运动检测器提供指示在两个或更多维度中的运动的两个或更多运动输入。
19.如权利要求14的方法，其中所述运动检测器是用于检测所述用户的手部移动的相机。
20.如权利要求14的方法，其中所述运动检测器是用于检测所述用户的头部移动的头部移动追踪设备。
CN2010800255829A 2009-05-08 2010-05-05 使用运动和语音命令对主机应用进行远程控制 Pending CN102460349A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US17666209P 2009-05-08 2009-05-08
US61/176,662 2009-05-08
US23788409P 2009-08-28 2009-08-28
US61/237,884 2009-08-28
PCT/US2010/033738 WO2010129679A1 (en) 2009-05-08 2010-05-05 Remote control of host application using motion and voice commands

Publications (1)

Publication Number Publication Date
CN102460349A true CN102460349A (zh) 2012-05-16

Family

ID=43050433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800255829A Pending CN102460349A (zh) 2009-05-08 2010-05-05 使用运动和语音命令对主机应用进行远程控制

Country Status (4)

Country Link
US (1) US9235262B2 (zh)
EP (1) EP2427812A4 (zh)
CN (1) CN102460349A (zh)
WO (1) WO2010129679A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324309A (zh) * 2013-06-18 2013-09-25 杭鑫鑫 可穿戴计算机
CN103480152A (zh) * 2013-08-31 2014-01-01 中山大学 一种可遥控的摇距临境移动系统
CN103543843A (zh) * 2013-10-09 2014-01-29 中国科学院深圳先进技术研究院 基于加速度传感器的人机接口设备及人机交互方法
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
CN106527709A (zh) * 2016-10-28 2017-03-22 惠州Tcl移动通信有限公司 一种虚拟场景调整方法及头戴式智能设备
CN107085489A (zh) * 2017-03-21 2017-08-22 联想(北京)有限公司 一种控制方法及电子设备
CN108958456A (zh) * 2017-05-19 2018-12-07 宏碁股份有限公司 模拟电脑的周边输入装置的虚拟实境系统及其控制方法
CN109690447A (zh) * 2016-08-09 2019-04-26 克罗普股份有限公司 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN114415932A (zh) * 2022-01-07 2022-04-29 杭州灵伴科技有限公司 头戴式显示设备控制方法、头戴式显示设备和可读介质
WO2022141192A1 (zh) * 2020-12-30 2022-07-07 广东视场科技有限公司 一种智能控制眼镜

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023812B1 (en) 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9217868B2 (en) * 2007-01-12 2015-12-22 Kopin Corporation Monocular display device
US9618748B2 (en) * 2008-04-02 2017-04-11 Esight Corp. Apparatus and method for a dynamic “region of interest” in a display system
US8909296B2 (en) * 2007-05-14 2014-12-09 Kopin Corporation Mobile wireless display software platform for controlling other systems and devices
US8855719B2 (en) * 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US9116340B2 (en) * 2007-05-14 2015-08-25 Kopin Corporation Mobile wireless display for accessing data from a host and method for controlling
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US8355671B2 (en) * 2008-01-04 2013-01-15 Kopin Corporation Method and apparatus for transporting video signal over Bluetooth wireless interface
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US8593576B2 (en) 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US8665177B2 (en) * 2010-02-05 2014-03-04 Kopin Corporation Touch sensor for controlling eyewear
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9759917B2 (en) * 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US10031576B2 (en) * 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
JP2012038191A (ja) * 2010-08-10 2012-02-23 Seiko Epson Corp 電子機器および電子機器の制御方法
US20120046768A1 (en) * 2010-08-19 2012-02-23 Sony Ericsson Mobile Communications Ab Method for providing multimedia data to a user
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9377862B2 (en) 2010-09-20 2016-06-28 Kopin Corporation Searchlight navigation using headtracker to reveal hidden or extra document data
US8736516B2 (en) 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
WO2012040086A1 (en) * 2010-09-20 2012-03-29 Kopin Corporation Miniature communications gateway for head mounted display
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US8862186B2 (en) * 2010-09-21 2014-10-14 Kopin Corporation Lapel microphone micro-display system incorporating mobile information access system
JP5606281B2 (ja) * 2010-11-08 2014-10-15 シャープ株式会社 表示装置
KR101789619B1 (ko) * 2010-11-22 2017-10-25 엘지전자 주식회사 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US20120239396A1 (en) * 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control
EP2712432A4 (en) 2011-05-10 2014-10-29 Kopin Corp HEADSET COMPUTER WITH MOTION AND LANGUAGE COMMANDS TO CONTROL AN INFORMATION DISPLAY AND REMOTE DEVICES
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8184070B1 (en) 2011-07-06 2012-05-22 Google Inc. Method and system for selecting a user interface for a wearable computing device
US8912979B1 (en) 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9250713B2 (en) 2011-12-05 2016-02-02 Microsoft Technology Licensing, Llc Control exposure
US8886546B2 (en) * 2011-12-19 2014-11-11 Verizon Patent And Licensing Inc. Voice application access
JP5710464B2 (ja) * 2011-12-27 2015-04-30 株式会社東芝 電子機器、表示方法、およびプログラム
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8947323B1 (en) 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
CN104303177B (zh) 2012-04-25 2018-08-17 寇平公司 执行即时语音翻译的方法及耳机计算装置
US8929954B2 (en) * 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US8928607B1 (en) * 2012-05-29 2015-01-06 Google Inc. Handheld input device for a computer
US9378028B2 (en) 2012-05-31 2016-06-28 Kopin Corporation Headset computer (HSC) with docking station and dual personality
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US20140002357A1 (en) * 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
EP2877909B1 (en) 2012-07-27 2018-12-26 Nokia Technologies Oy Multimodal interaction with near-to-eye display
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
KR102463080B1 (ko) * 2014-04-11 2022-11-03 삼성전자주식회사 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
US9043703B2 (en) 2012-10-16 2015-05-26 Facebook, Inc. Voice commands for online social networking systems
US9157771B1 (en) * 2012-11-05 2015-10-13 The Boeing Company Identification system and method
USD713406S1 (en) 2012-11-30 2014-09-16 Kopin Corporation Headset computer with reversible display
US9160064B2 (en) 2012-12-28 2015-10-13 Kopin Corporation Spatially diverse antennas for a headset computer
JP6423799B2 (ja) 2013-01-04 2018-11-14 コピン コーポレーション アドホックネットワーク
JP6420769B2 (ja) * 2013-01-04 2018-11-07 コピン コーポレーション 二分岐音声認識
WO2014107410A1 (en) * 2013-01-04 2014-07-10 Kopin Corporation Lifeboard-series of home pages for head mounted displays (hmd) that respond to head tracking
US9134793B2 (en) 2013-01-04 2015-09-15 Kopin Corporation Headset computer with head tracking input used for inertial control
JP2014137667A (ja) * 2013-01-16 2014-07-28 Mitsubishi Electric Corp 制御装置及び制御方法
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US20150185855A1 (en) * 2013-02-24 2015-07-02 Praveen Elak Method and apparatus to continuously maintain users eyes focused on an electronic display when either one or both are moving
EP2973556B1 (en) 2013-03-13 2018-07-11 Kopin Corporation Noise cancelling microphone apparatus
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10289219B2 (en) 2013-10-31 2019-05-14 Hewlett-Packard Development Company, L.P. Communicating with an unsupported input device
US10048748B2 (en) * 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
US10338776B2 (en) 2013-12-06 2019-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
CN106572810A (zh) 2014-03-24 2017-04-19 凯内蒂科尔股份有限公司 去除医学成像扫描的预期运动校正的系统、方法和装置
DE202014101791U1 (de) * 2014-04-15 2014-04-29 Reiner Bayer Vorrichtung für Ereignisdarstellungen beim Duell-Schießen
EP3188660A4 (en) 2014-07-23 2018-05-16 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN107210950A (zh) 2014-10-10 2017-09-26 沐择歌有限责任公司 用于共享用户交互的设备
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US10716515B2 (en) 2015-11-23 2020-07-21 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US20170150138A1 (en) * 2015-11-25 2017-05-25 Atheer, Inc. Method and apparatus for selective mono/stereo visual display
US20190238596A1 (en) * 2016-10-10 2019-08-01 Gn Audio A/S A real time communication system
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) * 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
US10814491B2 (en) * 2017-10-06 2020-10-27 Synaptive Medical (Barbados) Inc. Wireless hands-free pointer system
US11056112B2 (en) * 2019-04-03 2021-07-06 Citrix Systems, Inc. Voice-based operations
US20230153062A1 (en) * 2020-04-21 2023-05-18 Saint Louis University Verbal interface systems and methods for verbal control of digital devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084556A (en) * 1995-11-28 2000-07-04 Vega Vista, Inc. Virtual computer monitor
US20060061551A1 (en) * 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005213A (en) 1986-07-10 1991-04-02 Varo, Inc. Head mounted video display and remote camera system
US5491651A (en) 1992-05-15 1996-02-13 Key, Idea Development Flexible wearable computer
US6010216A (en) 1993-01-19 2000-01-04 Jesiek; Daniel Stephen "Hear speak" two-way voice radio communications eyeglasses
US6853293B2 (en) 1993-05-28 2005-02-08 Symbol Technologies, Inc. Wearable communication system
WO1995023994A1 (en) 1994-03-04 1995-09-08 Motorola Inc. Information display apparatus
US5642129A (en) 1994-03-23 1997-06-24 Kopin Corporation Color sequential display panels
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US5990793A (en) 1994-09-02 1999-11-23 Safety Tech Industries, Inc. Firefighters integrated communication and safety system
US6198462B1 (en) 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6369952B1 (en) 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JP3771989B2 (ja) 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US6270414B2 (en) 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
US7860725B2 (en) 1998-05-26 2010-12-28 Ineedmd.Com, Inc. Method for remote medical consultation and care
WO2000017848A1 (en) 1998-09-22 2000-03-30 Vega Vista, Inc. Intuitive control of portable data displays
US7035897B1 (en) 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US7158096B1 (en) 1999-06-21 2007-01-02 The Microoptical Corporation Compact, head-mountable display device with suspended eyepiece assembly
US6408257B1 (en) * 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
US6981229B1 (en) 2000-04-28 2005-12-27 Alias Systems Corp. System for dynamically mapping input device movement as a user's viewpoint changes
US7150526B2 (en) 2000-06-02 2006-12-19 Oakley, Inc. Wireless interactive headset
US7461936B2 (en) 2000-06-02 2008-12-09 Oakley, Inc. Eyeglasses with detachable adjustable electronics module
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US7278734B2 (en) 2000-06-02 2007-10-09 Oakley, Inc. Wireless interactive headset
US6325507B1 (en) 2000-06-02 2001-12-04 Oakley, Inc. Eyewear retention system extending across the top of a wearer's head
US7487112B2 (en) 2000-06-29 2009-02-03 Barnes Jr Melvin L System, method, and computer program product for providing location based services and mobile e-commerce
JP2002032212A (ja) 2000-07-14 2002-01-31 Toshiba Corp コンピュータシステムおよびヘッドセット型表示装置
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US6956614B1 (en) 2000-11-22 2005-10-18 Bath Iron Works Apparatus and method for using a wearable computer in collaborative applications
GB2369742A (en) 2000-11-30 2002-06-05 Nokia Mobile Phones Ltd Neck strap accessory for audio device having wired earpiece
US6798391B2 (en) 2001-01-02 2004-09-28 Xybernaut Corporation Wearable computer system
US6900777B1 (en) 2001-01-03 2005-05-31 Stryker Corporation Infrared audio/video interface for head-mounted display
US20020094845A1 (en) 2001-01-16 2002-07-18 Rei Inasaka Body worn display system
JP4649050B2 (ja) 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
WO2002077972A1 (en) 2001-03-27 2002-10-03 Rast Associates, Llc Head-worn, trimodal device to increase transcription accuracy in a voice recognition system and to process unvocalized speech
US6769767B2 (en) 2001-04-30 2004-08-03 Qr Spex, Inc. Eyewear with exchangeable temples housing a transceiver forming ad hoc networks with other devices
GB2376283B (en) 2001-06-04 2005-03-16 Hewlett Packard Co Foot activated user input
US7013009B2 (en) 2001-06-21 2006-03-14 Oakley, Inc. Eyeglasses with wireless communication features
US6778906B1 (en) 2001-08-14 2004-08-17 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for ensuring retention of situational awareness by employing an active network guidance and emergency logic (angel) system
US6583808B2 (en) 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7313246B2 (en) 2001-10-06 2007-12-25 Stryker Corporation Information system using eyewear for communication
AU2002362095A1 (en) 2001-12-05 2003-06-17 Kopin Corporation Head-mounted display system
US7110799B1 (en) 2002-06-14 2006-09-19 Symbol Technologies, Inc. Mobile terminal for interoperating with a standard or push-button enabled headset
US7512414B2 (en) 2002-07-26 2009-03-31 Oakley, Inc. Wireless interactive headset
US7330740B2 (en) 2002-10-22 2008-02-12 Broadcom Corporation Cell phone wireless speaker-microphone sleep modes
US7774075B2 (en) 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US7620433B2 (en) 2003-01-15 2009-11-17 Gn Netcom, Inc. Display headset
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040267527A1 (en) 2003-06-25 2004-12-30 International Business Machines Corporation Voice-to-text reduction for real time IM/chat/SMS
ITTO20030640A1 (it) * 2003-08-19 2005-02-20 Luigi Giubbolini Apparato d'interfaccia uomo- macchina mediante
US20050114140A1 (en) 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for contextual voice cues
EP1691547A4 (en) 2003-12-03 2008-01-16 Nikon Corp INFORMATION DISPLAY AND WIRELESS REMOTE CONTROL
KR20050102803A (ko) * 2004-04-23 2005-10-27 삼성전자주식회사 가상입력장치, 시스템 및 방법
KR100914420B1 (ko) 2004-06-04 2009-08-27 퀄컴 인코포레이티드 고 데이터 레이트 인터페이스 장치 및 방법
EP1782228A1 (en) 2004-08-03 2007-05-09 Silverbrook Research Pty. Ltd Walk-up printing
CN100399247C (zh) 2004-12-22 2008-07-02 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
US7877115B2 (en) 2005-01-24 2011-01-25 Broadcom Corporation Battery management in a modular earpiece microphone combination
US8083569B2 (en) 2005-02-04 2011-12-27 Nicholas Sotereanos Remotely controlled vehicle
US7249846B2 (en) 2005-05-03 2007-07-31 Grand Joseph B Eyewear with an image projected off of an unassisted eyewear lens to the user
US8606333B2 (en) 2005-06-10 2013-12-10 At&T Mobility Ii Llc Push to lower hearing assisted device
US7437223B2 (en) 2005-08-05 2008-10-14 The Boeing Company Heading reference command and control algorithm and cueing systems and methods for aircraft turn-to-target maneuvers
JP2009505268A (ja) 2005-08-15 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ エンドユーザプログラミングのための拡張現実感眼鏡のためのシステム、装置及び方法
TWI284481B (en) 2005-09-02 2007-07-21 Kye Systems Corp Wireless earphone device
US20070093279A1 (en) 2005-10-12 2007-04-26 Craig Janik Wireless headset system for the automobile
US20080144854A1 (en) 2006-12-13 2008-06-19 Marcio Marc Abreu Biologically fit wearable electronics apparatus and methods
US7732694B2 (en) 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
US20070220108A1 (en) 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US20070238475A1 (en) 2006-03-30 2007-10-11 Goedken Terrance J Wireless communications device with priority list
US8947531B2 (en) 2006-06-19 2015-02-03 Oshkosh Corporation Vehicle diagnostics based on information communicated between vehicles
US20080055194A1 (en) 2006-08-31 2008-03-06 Motorola, Inc. Method and system for context based user interface information presentation and positioning
US8611889B2 (en) 2006-09-26 2013-12-17 Samsung Electronics Co., Ltd. Remote handset diagnostics
US8036917B2 (en) 2006-11-22 2011-10-11 General Electric Company Methods and systems for creation of hanging protocols using eye tracking and voice command and control
EP2095178B1 (en) 2006-12-14 2015-08-12 Oakley, Inc. Wearable high resolution audio visual interface
US7484847B2 (en) 2007-01-02 2009-02-03 Hind-Sight Industries, Inc. Eyeglasses having integrated telescoping video camera and video display
JP4395792B2 (ja) 2007-01-29 2010-01-13 セイコーエプソン株式会社 プロジェクタ
US9044136B2 (en) 2007-02-16 2015-06-02 Cim Technology Inc. Wearable mini-size intelligent healthcare system
US20080239080A1 (en) 2007-03-26 2008-10-02 Moscato Jonathan D Head-mounted rear vision system
US20100020229A1 (en) 2007-04-30 2010-01-28 General Electric Company Wearable personal video/audio device method and system
US8909296B2 (en) * 2007-05-14 2014-12-09 Kopin Corporation Mobile wireless display software platform for controlling other systems and devices
US8855719B2 (en) * 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US9116340B2 (en) 2007-05-14 2015-08-25 Kopin Corporation Mobile wireless display for accessing data from a host and method for controlling
FR2916541B1 (fr) 2007-05-25 2014-11-21 Thales Sa Dispositif de visualisation tete haute pour aeronef comprenant des moyens d'affichage d'une symbologie dediee a l'evitement d'obstacles.
KR20080114391A (ko) 2007-06-27 2008-12-31 삼성전기주식회사 레이저 광원을 이용한 디스플레이 장치, 디스플레이 방법및 디스플레이 방법을 구현하기 위한 프로그램이 기록된기록매체
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US7458682B1 (en) 2007-09-06 2008-12-02 Double Hero Corporation Eyeglass with multimedia functions of music playing and remote communication
JP5116424B2 (ja) 2007-10-09 2013-01-09 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7969657B2 (en) 2007-10-25 2011-06-28 University Of Central Florida Research Foundation, Inc. Imaging systems for eyeglass-based display devices
US8072393B2 (en) 2007-11-15 2011-12-06 Symbol Technologies, Inc. User interface for a head mounted display
US8520860B2 (en) 2007-12-13 2013-08-27 Symbol Technologies, Inc. Modular mobile computing headset
US8108143B1 (en) 2007-12-20 2012-01-31 U-Blox Ag Navigation system enabled wireless headset
US20090182562A1 (en) 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
US8099289B2 (en) 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
CN102016975A (zh) 2008-03-28 2011-04-13 寇平公司 适合用作移动式互联网装置的具有高分辨率显示器的手持式无线显示装置
JP2009294728A (ja) 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US20100033830A1 (en) 2008-08-11 2010-02-11 Man Fat Yung Wearable image display device
US20100053069A1 (en) 2008-08-26 2010-03-04 Symbol Technologies, Inc. Mobile computing system facilitating adaptive display of content among a plurality of display components including at least one virtual image display component
US8547342B2 (en) 2008-12-22 2013-10-01 Verizon Patent And Licensing Inc. Gesture-based delivery from mobile device
US20100171696A1 (en) 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
KR101511193B1 (ko) 2009-02-27 2015-04-10 파운데이션 프로덕션, 엘엘씨 헤드셋 기반 원격통신 플랫폼
US20100250231A1 (en) 2009-03-07 2010-09-30 Voice Muffler Corporation Mouthpiece with sound reducer to enhance language translation
US8170262B1 (en) 2009-04-15 2012-05-01 Frank Kung Fu Liu Wireless air tube headset
CN102460349A (zh) 2009-05-08 2012-05-16 寇平公司 使用运动和语音命令对主机应用进行远程控制
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US8581856B2 (en) 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
CN102484730A (zh) 2009-06-04 2012-05-30 寇平公司 集成头戴显示器的3-d视频处理器
WO2011051660A1 (en) 2009-10-27 2011-05-05 Milan Momcilo Popovich Compact holographic edge illuminated eyeglass display
US8279861B2 (en) 2009-12-08 2012-10-02 International Business Machines Corporation Real-time VoIP communications using n-Way selective language processing
CN102812417B (zh) 2010-02-02 2016-03-02 寇平公司 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
GB2478738A (en) 2010-03-16 2011-09-21 Belron Hungary Kft Zug Branch Eye level display in communication with electronic device
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
WO2012040086A1 (en) * 2010-09-20 2012-03-29 Kopin Corporation Miniature communications gateway for head mounted display
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
WO2012040386A1 (en) 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
US8862186B2 (en) * 2010-09-21 2014-10-14 Kopin Corporation Lapel microphone micro-display system incorporating mobile information access system
US20120089392A1 (en) 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US20120110456A1 (en) 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
US8184983B1 (en) * 2010-11-12 2012-05-22 Google Inc. Wireless directional identification and subsequent communication between wearable electronic devices
US20120166203A1 (en) 2010-12-20 2012-06-28 Bio-Nexus Ltd. System and Method for Mobile Workflow Processing
EP2712432A4 (en) 2011-05-10 2014-10-29 Kopin Corp HEADSET COMPUTER WITH MOTION AND LANGUAGE COMMANDS TO CONTROL AN INFORMATION DISPLAY AND REMOTE DEVICES
US20120302288A1 (en) 2011-05-23 2012-11-29 Joe Born Cellular Telephone Docking Interface
US9131296B2 (en) 2011-09-19 2015-09-08 Apple Inc. Auto-configuring audio output for audio performance and fault detection
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8577427B2 (en) 2012-03-08 2013-11-05 Lee Serota Headset with adjustable display and integrated computing system
CN104303177B (zh) 2012-04-25 2018-08-17 寇平公司 执行即时语音翻译的方法及耳机计算装置
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9436220B2 (en) 2012-05-04 2016-09-06 Jpmorgan Chase Bank, N.A. System and method for mobile device docking station
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9100757B2 (en) 2012-07-02 2015-08-04 Apple Inc. Headset impedance detection
US9099967B2 (en) 2012-09-28 2015-08-04 Apple Inc. Increasing ground noise rejection in audio systems
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9548047B2 (en) 2013-07-31 2017-01-17 Google Technology Holdings LLC Method and apparatus for evaluating trigger phrase enrollment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084556A (en) * 1995-11-28 2000-07-04 Vega Vista, Inc. Virtual computer monitor
US20060061551A1 (en) * 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US20070265495A1 (en) * 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN103324309A (zh) * 2013-06-18 2013-09-25 杭鑫鑫 可穿戴计算机
CN103480152A (zh) * 2013-08-31 2014-01-01 中山大学 一种可遥控的摇距临境移动系统
CN103543843A (zh) * 2013-10-09 2014-01-29 中国科学院深圳先进技术研究院 基于加速度传感器的人机接口设备及人机交互方法
CN105319714B (zh) * 2014-07-31 2019-09-06 精工爱普生株式会社 显示装置、显示装置的控制方法及计算机存储介质
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
CN109690447A (zh) * 2016-08-09 2019-04-26 克罗普股份有限公司 信息处理方法、用于使计算机执行该信息处理方法的程序、以及计算机
WO2018076912A1 (zh) * 2016-10-28 2018-05-03 捷开通讯(深圳)有限公司 一种虚拟场景调整方法及头戴式智能设备
CN106527709A (zh) * 2016-10-28 2017-03-22 惠州Tcl移动通信有限公司 一种虚拟场景调整方法及头戴式智能设备
CN107085489A (zh) * 2017-03-21 2017-08-22 联想(北京)有限公司 一种控制方法及电子设备
CN108958456A (zh) * 2017-05-19 2018-12-07 宏碁股份有限公司 模拟电脑的周边输入装置的虚拟实境系统及其控制方法
WO2022141192A1 (zh) * 2020-12-30 2022-07-07 广东视场科技有限公司 一种智能控制眼镜
CN114415932A (zh) * 2022-01-07 2022-04-29 杭州灵伴科技有限公司 头戴式显示设备控制方法、头戴式显示设备和可读介质

Also Published As

Publication number Publication date
US9235262B2 (en) 2016-01-12
EP2427812A1 (en) 2012-03-14
EP2427812A4 (en) 2016-06-08
WO2010129679A9 (en) 2011-02-24
US20110001699A1 (en) 2011-01-06
WO2010129679A1 (en) 2010-11-11

Similar Documents

Publication Publication Date Title
CN102460349A (zh) 使用运动和语音命令对主机应用进行远程控制
CN102812417B (zh) 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
US8855719B2 (en) Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
JP6419262B2 (ja) Ａｓｒおよびｈｔ入力を有する補助ディスプレイとしてのヘッドセットコンピュータ（ｈｓｃ）
US10474418B2 (en) Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US20180277114A1 (en) Context Sensitive Overlays In Voice Controlled Headset Computer Displays
CN101755299A (zh) 用于从主机存取数据的移动无线显示器以及控制方法
CN101809651B (zh) 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器
WO2020192322A1 (zh) 显示方法及终端设备
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
CN111158817A (zh) 一种信息处理方法及电子设备
EP3162034B1 (en) Mobile cast receivers for computing and entertainment devices
KR20210034668A (ko) 문자 입력 방법 및 단말
US10149090B2 (en) Mobile cast receivers for computing and entertainment devices
CN111447598B (zh) 一种交互方法和显示设备
US20190279636A1 (en) Context Sensitive Overlays in Voice Controlled Headset Computer Displays
US20150220506A1 (en) Remote Document Annotation
US20150378445A1 (en) Mobile cast receivers for computing and entertainment devices
US20220360739A1 (en) Head worn wireless computer having a display suitable for use as a mobile internet device
US20190369400A1 (en) Head-Mounted Display System
Burnett Cooperative Interactive Distributed Guidance on Mobile Devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120516