CN104520787A - 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器 - Google Patents

头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器 Download PDF

Info

Publication number
CN104520787A
CN104520787A CN201380033459.5A CN201380033459A CN104520787A CN 104520787 A CN104520787 A CN 104520787A CN 201380033459 A CN201380033459 A CN 201380033459A CN 104520787 A CN104520787 A CN 104520787A
Authority
CN
China
Prior art keywords
head
smart phone
wearing
order
type computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380033459.5A
Other languages
English (en)
Other versions
CN104520787B (zh
Inventor
杰佛瑞·J.·贾寇伯森
克里斯多福·帕金森
史帝芬·A.·庞博
詹姆士·伍达尔
大卫·哈利克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kopin Corp
Original Assignee
Kopin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kopin Corp filed Critical Kopin Corp
Priority to CN201811142265.XA priority Critical patent/CN109240507A/zh
Publication of CN104520787A publication Critical patent/CN104520787A/zh
Application granted granted Critical
Publication of CN104520787B publication Critical patent/CN104520787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724097—Worn on the head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Abstract

本发明涉及人/计算机接口，且更确切地说涉及一种头戴式计算显示装置，所述头戴式计算显示装置接受声音命令并且追踪头部运动，以向在主机计算装置上执行的软件应用程序提供命令输入并且从所述软件应用程序接收显示信息。本发明的实例实施例包含一种方法以及对应系统，用于操作本机智能电话或PC应用程序，通过所述智能电话或PC的屏幕及头戴式计算显示装置同步显示所述应用程序的输出，以及使用语音及头部追踪命令来控制所述本机应用程序。本发明实现智能电话或PC应用程序的免提操作。

Description

头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
相关申请案
本申请案是2013年3月13日递交的第13/799,570号美国申请案的继续申请案，所述美国申请案主张雅各布森(Jacobsen)等人在2012年4月25日递交的名称为“改良的头戴式计算机(Improved Headset Computer)”的第61/638,419号(代理人案号0717.2161-000)美国临时申请案、雅各布森(Jacobsen)等人在2012年5月31日递交的名称为“作为具有自动语音识别和头部追踪输入的辅助显示器的头戴式计算机(HSC)(HeadsetComputer(HSC)As Auxiliary Display With ASR And HT Input)”的第61/653,474号(代理人案号0717.2163-000)美国临时申请案、以及帕金森(Parkinson)等人在2013年1月2日递交的名称为“用于处理VGH输入的智能电话应用软件编程接口(Smartphone API For Processing VGH Input)”的第61/748,444号(代理人案号0717.2204-000)美国临时申请案以及帕金森(Parkinson)等人在2013年1月4日递交的名称为“用于以与智能电话显示器不同的方式控制HC的智能电话应用软件编程接口(SmartphoneApplication Programming Interface(API)For Controlling HC Differently FromSmartphone Display)”的第61/749,155号(代理人案号0717.2203-000)美国临时申请案的权益。
本申请案与雅各布森(Jacobsen)等人在2010年5月5日递交的名称为“使用运动和语音命令的主机应用程序的远程控制(Remote Control OfHost Application Using Motion And Voice Commands)”的第12/774,179号(代理人案号0717.2098-001)美国申请案有关，所述美国申请案主张2009年5月8日递交的名称为“使用追踪和语音命令的主机应用程序的远程控制(Remote Control of Host Application Using Tracking and Voice Commands)”的第61/176,662号(代理人案号0717.2096-000)美国临时申请案以及2009年8月28日递交的名称为“使用运动和语音命令的主机应用程序的远程控制(Remote Control of Host Application Using Motion and Voice Commands)”的第61/237,884号(代理人案号0717.2098-000)美国临时申请案的权益。
以上申请案的全部教示内容以引用的方式并入本文中。
背景技术
本申请案涉及人/计算机接口，且更确切地说涉及一种头戴式计算显示装置，所述头戴式计算显示装置接受声音命令并且追踪头部运动以向在远程主机计算装置上执行的软件应用程序提供命令输入并且从所述软件应用程序接收显示信息。
如今在商业和个人生活中，例如笔记型个人计算机(PC)、智能电话以及平板计算装置等移动计算装置是用于产生、分析、传送以及使用数据的常用工具。由于随着高速无线通信技术变得随处可见而更加易于接入数字信息，因此消费者继续乐于接受移动数字生活方式。移动计算装置的普遍用途包含显示大量高分辨率计算机图形信息和视频内容，这些计算机图形信息和视频内容通常无线串流到所述装置。尽管这些装置通常包含显示屏幕，但是在此类移动装置中不易复制高分辨率的大型显示器的优选视觉体验，因为为了提升移动性而此类装置的物理大小受到限制。前述装置类型的另一缺点是用户接口依赖于手部的，其通常需要用户输入数据或使用键盘(物理的或虚拟的)或触摸屏显示器来作出选择。因此，消费者现在正寻求一种免提的高质量、便携式、彩色显示器解决方案，以加强或替换他们的依赖于手部的移动装置。
发明内容
最近开发的微型显示器可以以极小的形状因数提供大型高分辨率的彩色图片和串流视频。此类显示器的一个应用可以整合到无线头戴式计算机中，所述无线头戴式计算机佩戴在用户的头部上，具有定位在用户视场内的显示器，形式类似于眼镜、音频头戴式装置或视频护目镜。“无线头戴式计算”装置包含一或多个小的高分辨率微型显示器和光学器件以放大图像。WVGA微型显示器可以提供高级视频图形阵列(SVGA)(800×600)分辨率或扩充图形阵列(XGA)(1024×768)或甚至更高分辨率。无线头戴式计算装置包含一或多个无线计算和通信接口，从而实现数据和串流视频能力，并且比依赖于手部的装置提供更大的便利性和移动性。
关于此些装置的更多信息请查看帕金森(Parkinson)等人在2009年1月5日递交的名称为“用于控制其它系统和装置的移动式无线显示软件平台(Mobile Wireless Display Software Platform for Controlling Other Systemsand Devices)”的第12/348,646号共同待决美国申请案、雅各布森(Jacobsen)等人在2009年3月27日递交的名称为“具有适合用作移动互联网装置的高分辨率显示器的手持式无线显示装置(Handheld Wireless Display DevicesHaving High Resolution Display Suitable For Use as a Mobile InternetDevice)”的第PCT/US09/38601号PCT国际申请案以及雅各布森(Jacobsen)等人在2012年4月25日递交的名称为“改良的头戴式计算机(ImprovedHeadset Computer)”的第61/638,419号美国申请案，所述申请案中的每一者以全文引用的方式并入本文中。
本发明的实例实施例包含操作智能电话或PC应用程序的方法及用于操作智能电话或PC应用程序的对应系统，操作智能电话或PC应用程序包含在智能电话或PC上执行应用程序，所执行的应用程序源自于智能电话或PC。本发明的方法和系统产生本机应用程序的输出，用于通过智能电话或PC屏幕及头戴式计算显示装置同步显示。在一个实施例中，头戴式计算装置的显示输出是标记语言的形式。响应于请求并且接收由智能电话或PC产生的显示输出，头戴式计算装置转换所接收的显示输出用于通过头戴式显示器呈现。以语音识别和头部追踪用户接口模式操作的头戴式计算装置监控来自佩戴头戴式计算装置的终端用户的所识别用户语音(声音命令)和头部追踪命令(头部运动)。头戴式计算装置响应于所接收的语音识别和头部追踪命令(终端用户输入)将所接收的语音识别和头部追踪命令转换成等效智能电话或PC命令(例如，触摸屏、键盘和/或鼠标命令)并且将等效命令发射到智能电话或PC以控制本机应用程序。
本发明的另一实例实施例包含操作智能电话(或PC)的方法及用于操作智能电话(或PC)的对应系统，操作智能电话(或PC)包含在智能电话上执行本机图像和/或视频查看应用程序。所述实施例以语音识别和头部追踪用户接口模式操作头戴式计算装置，从而监控来自头戴式计算装置处的终端用户的用户语音识别和头部追踪命令。响应于所接收的语音识别和头部追踪命令，所述实施例在头戴式计算装置处将所接收的语音识别和头部追踪命令转换成等效智能电话命令。等效智能电话命令包含捕获头戴式计算装置的显示器上的图像或视频，将等效智能电话命令发射到智能电话以控制本机图像和视频查看应用程序，及通过头戴式计算显示装置并且通过智能电话显示器同步显示所捕获图像和/或视频。
实例实施例可进一步包含在所产生的显示输出中包含的标记语言的使用，所述标记语言例如超文本标记语言5(HTML5)。实例实施例可向终端用户呈现关于语音识别和头部追踪命令的菜单选择和提示，例如听觉和视觉提示。在主机智能电话或PC与头戴式计算装置之间的无线通信链路。可使用例如蓝牙或Wi-Fi无线标准的无线通信链路。
再者，实例实施例仍可进一步有效地实现语音识别和免提用户接口及对智能电话或PC上执行的本机应用程序的控制。
在头戴式计算机上显示来自智能电话应用程序的输出的其它实例方法及用于在头戴式计算机上显示来自智能电话应用程序的输出的对应装置。实施例在智能电话上执行应用程序，从而产生所执行应用程序的输出用于通过头戴式计算机显示。智能电话以指示头戴式计算机的动作的描述语言配置并且发射指令，以显示所执行应用程序的输出。实施例通过低带宽在头戴式计算机处接收所配置指令，并且据此响应，头戴式计算机基于要实施的所指示动作形成所产生输出的显示。动作包含以下项中的任一者：屏幕上的通知、消息、图形元素、播放多个预定声音序列中的一者以及控制头戴式计算机的组件的请求。
对应元素类型的动作，并且对于每一元素类型，指令可以指示预定用于头戴式计算机的多个型式中的一者。描述语言可以是HTML 5或其它标记语言。在头戴式装置域中于头戴式装置处呈现的所形成显示可以包含所呈现的关于语音识别/头部追踪用户接口的菜单选择和提示。菜单选择和输出可以有声地且直观地呈现给用户。通过头戴式计算机的接收以及通过智能电话的发射可以在无线通信链路上进行。无线通信链路可以是蓝牙、Wi-Fi或其它协议中的任一者。
实例方法可以进一步包含在头戴式计算机处监控来自语音识别/头部追踪用户接口的输入。响应于所接收的语音识别/头部追踪命令输入，头戴式计算机将所接收的语音识别/头部追踪命令转换成等效智能电话命令，并且将等效智能电话命令发射到智能电话以控制所执行的应用程序。通过头戴式计算机的显示可以有效地实现与智能电话的语音和免提用户交互。
附图说明
以上内容将从本发明的实例实施例的以下更具体描述中显而易见，如附图中所示，其中相同的参考符号在不同视图中始终指代相同的部分。图式不必按比例绘制，而是将重点放在说明本发明的实施例上。
图1A说明根据本发明的原理的与主机计算装置(例如，智能电话、PC等)通信的头戴式计算装置的实例实施例。
图1B是头戴式计算机的实例实施例的透视图。
图2是示出根据本发明的原理的图1A到1B的实例实施例的数据和控制通信的方块图。
图3A到3B说明根据本发明的原理的使用头戴式计算装置在主机计算装置(智能电话或PC)上执行本机应用程序的实例。
图4A到4B说明根据本发明的原理的使用头戴式计算装置在主机计算装置(智能电话或PC)上执行本机应用程序的另一实例。
图5是说明根据本发明的原理的使用头戴式计算机操作主机应用程序的实例方法的流程图。
图6是说明使用语音识别和头部追踪用户接口的头戴式计算装置可以如何用以控制在主机计算装置上执行的应用程序的实例实施例的高阶软件示意图。
图7是本发明的实施例的流程图。
具体实施方式
以下描述本发明的实例实施例。
具有至少足够用作辅助显示器和终端用户输入装置的计算和操作能力的头戴式计算机(HSC)可操作地连接到“主机”(或可替代地“主”或“控制器”)计算装置上，从而使主机上执行的常规软件应用程序能通过主机和HSC同步显示并且使用在HSC处接收的终端用户输入来控制。主机计算装置可以包含智能电话、平板计算机或个人计算机(PC’s)。HSC和主机可以使用线或优选地无线地可操作地耦合。
根据本发明的实例方法，智能电话或PC可以是一级计算装置(或主计算装置)，而HSC可以是智能电话或PC计算装置的辅助显示器和用户接口。智能电话或PC可以以常规和惯用方式使用其自身的显示器运行其自身的本机软件。HSC由于其缺乏传统的用户接口硬件，例如触摸屏、键盘和/或鼠标，因而无法单独执行此类软件应用程序。因此，为了适应免提计算，智能电话或PC可以执行第二类应用程序，所述应用程序虽然在智能电话或PC上直接运行，但是专门设计用于将HSC用作本机应用程序的显示输出，并且使用功能性地内置于HSC用户输入装置中的自动语音识别器(ASR)和头部追踪器(HT)。
在本发明的实例实施例中，HSC包含至少足够的计算和操作能力以：(i)全屏显示信息；(ii)监控头部姿势追踪并且将头部移动信息反馈到主计算机(例如，智能电话或PC)；以及(iii)监控并且处理语音，将语音识别结果反馈到主计算机。通过使HSC与主计算机(智能电话或PC)配对，主计算机可以有效地控制主要在主计算机上运行的专门创建的免提应用程序，但是使用HSC的显示器和来自HSC的扩充输入。
在一个实施例中，HSC可以采用雅各布森(Jacobsen)等人在2011年2月1日递交的名称为“具有通过运动、身体姿势和/或声音命令可控制的可拆卸附件的无线免提头戴式计算装置(Wireless Hands-Free ComputingHeadset With Detachable Accessories Controllable By Motion，Body GestureAnd/Or Vocal Commands)”的第13/018,999号共同待决美国专利申请案中描述的HSC形式，所述申请案特此以全文引用的方式并入本文中。
图1A和1B示出无线头戴式计算装置100(在本文中还被称为头戴式计算机(HSC))的实例实施例，所述无线头戴式计算装置并入有高分辨率(VGA或更好的)微型显示元件1010以及下文描述的其它特征。HSC 100可以包含音频输入和/或输出装置，包含一或多个麦克风、扬声器、地理位置传感器(GPS)、三轴到九轴自由度的定向传感器、大气传感器、健康状况传感器、数字罗盘、压力传感器、环境传感器、能量传感器、加速度传感器、位置、姿态、运动、速度和/或光学传感器、摄像机(可见光、红外线等)、多个无线电、辅助照明、测距仪或类似者，和/或经由一或多个外围端口嵌入到和/或整合到头戴式装置中和/或附接到所述装置上的传感器阵列(未在图1B中详细示出)。各个电子电路通常位于头戴式计算装置100的外壳内，包含微型计算机(单芯或多芯处理器)、一或多个有线和/或无线通信接口、存储器或存储装置、各种传感器以及外围支架(例如，“附件插座”)。
HSC 100的实例实施例可以通过识别声音命令、感测头部移动110、111、112和手势113或前述任何组合来接收用户输入。可操作地耦合或优选地整合到HSC 100中的麦克风可以用于捕获语音命令，所述语音命令随后使用自动语音识别(ASR)技术进行数字化和处理。陀螺仪、加速计以及其它微型机电系统传感器可以整合到HSC 100中并且用以追踪用户的头部移动以提供用户输入命令。摄像机或其它运动追踪传感器可以用来监控用于用户输入命令的用户的手势。声音命令自动语音识别和头部运动追踪的特征使此种用户接口具有胜过依赖于手部的其它移动装置形式。
头戴式计算装置100可用作远程辅助显示器，以用于串流从远程主机计算装置200(图1A中示出)接收的视频信号。主机200可以是(例如)笔记本型PC、智能电话、平板计算机装置、或具有足够的计算复杂度的其它计算装置，从而与HSC 100通信、执行本机应用程序、产生并且发射输出显示反馈并且从HSC 100接收用户输入命令。主机进一步能够连接到其它网络210，例如因特网。HCS 100和主机200可以经由一或多个无线协议无线地通信，例如Wi-Fi、WiMAX或其它无线电链路150。(Bluetooth是华盛顿州柯克兰华盛顿湖大道5209号邮编98033的蓝牙技术联盟有限公司(Bluetooth Sig，Inc.)的注册商标。)
图1B是示出头戴式计算机100的实例实施例的一些细节的透视图。实例实施例HSC 100大体上包含框架1000、固夹带1002、后壳1004、扬声器1006、具有内置麦克风的悬臂(或可替代地被称为臂或吊杆)1008、微型显示器子组合件1010以及外围端口1020。
头戴式框架1000和固夹带1002大体上经配置使得用户可以在用户的头部上佩戴头戴式计算机装置100。外壳1004大体上是低剖面单元，其容纳电子装置(例如微处理器、存储器或其它存储装置)、低功率无线通信装置以及其它相关联电路。扬声器1006向用户提供音频输出使得用户可以听到信息，例如多媒体演示的音频部分、或音频提示、报警、或用户命令的反馈信令识别。
微型显示器子组合件1010用以向用户呈现视觉信息，例如图像和视频。微型显示器1010耦合到臂1008上。臂1008大体上提供物理支撑使得微型显示器子组合件能够定位在用户的视场内，优选地在用户的眼睛前方，或定位在其周边视觉内，优选地略低于或略高于眼睛。臂1008还提供在微型显示器子组合件1010与容纳在外壳单元1004内的控制电路之间的电气或光学连接。
根据下文将更详细阐述的各方面，具有微型显示器1010的HSC显示装置100可以使终端用户能在由虚拟显示器400界定的大得多的区域内选择视场300(图1A)。用户通常可以控制视场300的位置、广度(例如，X-Y或3D范围)和/或放大。
虽然图1A到1B中示出的HSC 100的实例实施例是单眼微型显示器，所述单眼微型显示器在用户面部前方的视场内呈现用悬臂式吊杆支撑的单个固定的显示元件，但是应理解用于辅助显示装置HSC 100的其它机械配置也是可能的。
图2是示出HSC装置100、主机200以及在HSC装置与主机之间传播的数据的高阶细节的方块图。在HSC 100与主机计算装置200之间可以建立双向通信链路150(关于此类通信链路的更多细节请查看2013年1月15日颁布的名称为“用于通过蓝牙无线接口传输视频信号的方法和设备(Method And Apparatus For Transporting Video Signal Over BluetoothWireless Interface)”的第8,355,671号美国专利，所述专利以全文引用的方式并入本文中)。
在本发明的实例实施例中，外部“智能”装置200(在本文中还被称为“主机”装置或“控制器”)与HSC 100结合使用以向用户提供信息和免提控制。实例实施例使用在主机200与HSC 100之间的少量数据的发射，并且因此，提供用于实时控制的更可靠数据传送方法和控制方法。
优选实施例包括两个装置之间的合作，其中一者是HSC 100。另一个装置(控制器或主机)是智能装置200，所述智能装置是执行应用程序、处理数据并且向用户提供功能性的装置。实例控制器包含但不限于智能电话、平板计算机和膝上型计算机。
控制器200和HSC 100可以经过合适的传输配对，所述合适的传输通常是无线双向通信链路，例如蓝牙。因为通过此种合适的协议传送的数据量较少，所以传输可以与其它需要更高带宽的活动共享。
控制器200可以运行在软件栈的顶层处运行的软件，例如第二类应用程序，所述软件栈使所述软件能向HSC 100发送指令。为了避免必须发送用以概括HSC 100上的整个屏幕内容的数据，控制器200实际上可以发送HSC 100可以使用在HSC 100上运行的软件作解释的指令。从控制器200发送的指令可以描述要实施的动作，包含屏幕上的通知、消息和其它图形元素。此类指令还可以包含播放一组预设(预定)声音序列中的一者或控制HSC 100的其它组件的请求。
指令可以进一步包含预设“型式元素”。型式元素可以包含与如何布置显示屏幕、显示哪个文本、文字字体、字体大小和其它格式元素信息(例如图式箭头、箭头型式和大小、背景和前景色彩、包含或排除的图像等)相关的速记指令或编码。因此，对于每一元素类型(通知、消息、文本框、图片框等)，存在多个显示型式。关于在HSC 100上如何显示信息，型式元素可以允许控制器200具有较大的灵活性。以此方式，对于指定信息，在HSC 100上显示的视觉元素可以不同于在控制器200的显示器上显示的视觉元素。
在双向通信协议正传送显示器指令时可请求更高的带宽活动。更高的带宽通信量可与本发明的低带宽通信量分离。例如，HSC 100可用于视屏通话，由此发送请求以获得对显示器、摄像机和音频通信外围设备(麦克风和扬声器)的接入和控制，并且在HSC 100上显示实况视频和播放实况音频。此类请求可以是附件协议(例如，对HSC 100的低带宽指令)的一部分，但是高带宽视频通话通信量可在附件协议之外。
通过型式元素的发射，将在连接150上发射的数据量是小而简单的指令，所述指令是关于如何布置屏幕、显示哪个文本以及其它型式信息，例如图式箭头、或背景色彩、包含的图像等。另外的数据可以在同一链路150或另一连接上串流并且在屏幕1010上显示，例如视频流(如果控制器200要求)。
在另一实施例中，在建立双向通信链路之后，可以通过主机200处理器执行源自于主机计算装置的软件应用程序。本机应用程序可以产生输出图像的反馈以用于显示。因此输出图像可用于多屏幕显示，可通过主机执行第二类应用程序以为输出图像附加标记语言，例如超文本标记语言5(HTML5)。主机可将经标记显示器数据传送到HSC 100，用于通过主机装置200以及HSC 100两者的显示器同步显示(但是以相应的格式、布局、用户接口)应用程序输出。HSC 100可以处理经标记显示器数据以向HSC100的终端用户呈现可用菜单选择和提示，使得终端用户可以通过HSC 100以免提方式与在主机200上运行的应用程序相连接。例如，视觉提示可包含指示所识别的口头命令的一或多个文本框和/或指示头部追踪(和/或手部运动)命令的箭头或其它运动指示符。听觉提示可以(例如)包含所识别的口头命令的语音播报机械复述。
HSC装置100可以经由麦克风接收来自用户的声音输入，经由位置和定向传感器、摄像机或光学传感器接收手部移动或身体姿势，并且经由头部追踪电路(例如，三轴到九轴自由度的定向感测)接收头部移动输入。这些命令输入可以通过HSC装置100中的软件转换成等效主机装置200命令(例如，触摸手势、键盘和/或鼠标命令)，所述等效主机装置命令随后通过蓝牙或其它无线接口150发送到主机200。主机200随后可以根据主机操作系统以及所执行的本机应用程序软件解释经转换的等效命令，从而实施各种功能。
在多个等效命令之中，其中一个等效命令可能用于在虚拟显示器400内选择视场300(图1A)并且将所述选定的屏幕数据返回到HSC装置100。因此，应理解，极大片的虚拟显示区域可能与在主机200上运行的应用程序软件或操作系统相关联。然而，所述虚拟显示区域400中位在视场300内的仅一部分可以返回到HSC装置100并且实际上通过HSC装置100的微型显示器1010显示。
图3A和3B说明根据本发明的原理的使用头戴式计算装置100在主机计算装置200(智能电话或PC)上执行基于本机全球定位系统(GPS)地图的应用程序的实例。
在本发明的实例实施例中，至少出于说明的目的，HSC可以配备有足够的处理设备和能力以仅处理显示器数据、监控用户语音和运动输入并且将此类输入转换成等效命令。在图3的说明性实例实施例中，HSC 100未配备GPS接收器模块并且并不具有直接因特网连接。
主机计算装置200(例如，智能电话或配备GPS接收器的其它一级计算装置)可以基于其当前坐标产生地图屏幕图像。通常，智能电话200配备GPS接收器和相关联的处理软件，使得智能电话200可以提供其当前位置。此外，智能电话200通常配备因特网连通性，从而能够下载相关地图图形。地图图形可以通过在智能电话上运行的第二类应用程序进行后处理，使得经过后处理的经标记图形数据被发送到HSC 100，用于通过视场300向用户呈现并且显示。经过后处理的数据可以包含以文本形式发送到HSC100的一组识别语音命令3030，例如“卫星”、“摇摄”、“放大”和“退出”，如图3A中所示。HSC 100在接收并且处理经标记数据之后可以开始监听用户通过讲出/说出命令3030来选择命令中的一者。
当地图通过视场300在HSC 100上显示时，头部姿势移动可以通过HSC100监控，转换成等效触摸屏或键盘(物理的或虚拟的)命令，并且经由双向通信链路150直接反馈到智能电话200，用于根据基于GPS地图的应用程序进行处理。例如，如果用户的头部向左移动，那么智能电话200可以将地图向左摇摄并且向HSC显示器1010发送更新的图形。以此方式，智能电话200可以实施处理工作，而HSC 100可以提供辅助显示器和用户接口。
同时用户可以讲出有效的识别命令3030，例如“卫星”。用户可以意识到，“卫星”是通过处理从智能电话应用程序产生的经标记数据的HSC 100直观地或有声地提示的有效命令，经标记数据当由HSC 100处理时指示HSC 100监听有效命令3030。在识别命令词“卫星”时，HSC 100可以将口头语言变成等效数字命令并且将数字命令发送回到智能电话200。智能电话200随后可以通过产生新的地图视图并且将新产生的视图发送到HSC100，以用于通过微型显示器1010的视场300显示来响应所接收等效数字命令，如图3B中示出。因而，智能电话200并不需要具有声音识别能力；此功能可以通过HSC 100处理。
进一步设想HSC 100的终端用户可从存储在智能电话200的存储器或其它存储装置中的本机应用程序阵列中选择用于免提操作。HSC 100用户将能够经由屏幕上的(HSC屏幕300)菜单和相关联声音命令选择要操作的应用程序。此类菜单可由第二类应用程序产生并且以上文所描述的方式从智能电话200发送到HSC。一旦执行，第二类应用程序可确定哪个本机应用程序是与HSC 100兼容的并且可用HSC 100接入。
在HSC 100的全部操作期间，主机计算装置200(智能电话或PC)的正常功能性可以继续。此方法允许HSC 100是比先前已知的(HSC)实施例简单得多的装置，而不会放弃由终端用户感知的任何功能性。计算智能主要通过主机200提供。然而，应理解，HSC 100的所有的发展可保持可用，例如使用头部追踪和输入命令经由头部追踪和语音命令的组合提供免提操作和导航等。
图4A和4B说明根据本发明原理的使用头戴式计算装置100在主机计算装置(智能电话或PC)200上执行本机应用程序(例如，电子邮件应用程序)的另一实例。
在图4A和4B的实例中，至少出于说明目的，HSC 100配备有足够的处理设备和能力以主要处理显示数据、监控用户语音和运动输入并且将此类输入转换成等效命令；HSC 100未配备因特网连接。
主机计算装置200(此处描绘为)基于其本机电子邮件应用程序产生屏幕图像。(iPhone是美国加利福尼亚州库比蒂诺市(Cupertino，CA)的苹果公司(Apple Inc.)的注册商标。)通常，iPhone(或智能电话)200配备电子邮件应用程序及相关联的处理和通信能力，使得iPhone 200可经由因特网连接接入电子邮件服务器。电子邮件应用程序显示器输出2010a的图形反馈通过在智能电话200上运行的第二类应用程序进行后处理，使得经过后处理的经标记图形数据被发送到HSC 100，用于通过视场300向用户呈现并且显示。经过后处理的数据可包含以文本形式发送到HSC 100的一组识别语音命令3030，例如“回复”、“全部回复”、“清除”、“下一条”、“收件箱”和“退出”，如图4B中所示。HSC 100在接收并且处理经标记数据之后可以开始监听用户讲出(说出命令3030中的一或多者)命令3030。
当电子邮件应用程序通过视场300在HSC 100上显示时，头部姿势移动可通过HSC 100监控，转换成等效触摸屏或键盘(物理的或虚拟的)命令，并且直接反馈到智能电话200，用于根据电子邮件应用程序进行处理。例如，如果用户的头部向左移动，如通过箭头3031提示，那么HSC 100产生并且发射对应的智能电话200的可兼容命令。作为响应，智能电话200可以返回到“收件箱”并且向HSC 100发送更新的图形用于在显示器1010处呈现。以此方式，智能电话200可实施处理工作，而HSC 100可提供辅助显示器和用户接口。
同时用户可讲出有效识别命令3030，例如，如先前描述的“回复”。在识别命令词，例如“回复”后，HSC 100可将口头语言变成等效数字命令并且将所产生的命令发送回到智能电话200。智能电话200随后可通过产生表示回复消息的更新图形来响应所接收的等效命令，并且将回复消息屏幕视图2010b(为HSC 100域而修改)发送到HSC 100，以用于通过微型显示器1010的视场300显示。
图5是根据本发明的原理操作主机计算装置200应用程序的方法500的高阶流程图。在第一步中，所述方法开始(步骤501)。其后，主机装置200可执行本机应用程序(步骤511)，本机应用程序随后可产生输出图像的反馈(还被称作显示输出)(步骤513)。所产生的输出图像的反馈可通过主机显示屏幕以合适的格式显示(步骤519)。接着，可以监视装置200处的用户输入，以用于将通过本机应用程序执行的用户指令(例如，控制命令)(步骤521)。如果检测到用户命令，例如触摸屏输入或键入输入，那么可根据本机应用程序执行此类命令(步骤511)。否则，确定主机200处理是否完成(步骤523)。如果处理尚未完成，那么可根据本机应用程序继续执行(步骤511)。如果处理完成，那么所述方法可以结束(步骤530)。
与步骤511和513并行(或连续，即在步骤511和513之前或之后)，可在主机装置200与HSC 100之间建立双向通信链路(步骤505)。同样与步骤511、513和505并行(或连续，即在步骤511、513和505之前或之后)，HSC 100可以自动语音识别(ASR)和头部追踪(HT)操作模式来操作，在此期间作为用户命令来监视并且识别终端用户输入(例如，口头的语言命令和/或头部运动)(512)。在开始以ASR/HT模式操作(512)之后，HSC 100可从主机200请求在主机200上执行本机应用程序的显示输出(步骤514)。
HSC辅助应用程序(第二类应用程序)可接收来自HSC 100的输入请求和由所执行的本机应用程序产生的显示输出，并且随后为显示器输出数据附加标记指令(步骤515)。随后可经由所建立的通信链路(在图2中示出为150)将附加的经标记显示器数据发射到HSC 100(步骤517)。HSC 100接着可确定显示输出(如通过主机200修改/标记)是否被接收(步骤518)。如果输出未被接收，那么可再次做出请求(步骤514)。如果输出被接收，那么可转换所接收的显示器输出数据，以用于通过微型显示器1010呈现(步骤520)。
接下来，通过HSC显示器(例如，微型显示器1010)呈现并且显示所转换数据(步骤522)。通过主机显示器(步骤519)及通过HSC显示器(步骤522)显示由本机应用程序产生的输出实质上可以同步(但是以各自对应的域/格式)发生。在通过HSC显示器显示由本机应用程序产生的输出(步骤522)之后，HSC 100确定在HSC处的用户输入(ASR/HT)是否已经被识别(步骤524)。如果已经检测到HSC 100处的终端用户输入(ASR/HT)(步骤524)，那么可将此类输入转换成等效主机装置200命令并且作为用户输入发射到主机装置(步骤526)。如果未确定HSC 100处的终端用户输入，那么HSC 100确定HSC 100处理是否完成(步骤528)。如果HSC 100处的处理尚未完成，那么可根据ASR/HT模式继续操作所述处理(步骤512)。如果HSC 100处理完成，那么所述方法可结束(步骤530)。
图6是指示使用语音识别和头部追踪用户接口的HSC 100可以如何用以控制在主机计算装置200上执行的应用程序的高阶软件示意图。HSC软件栈6100可以包含：操作系统(OS)的内核，例如Linux操作系统内核6101；用于在执行应用程序期间实施内置于编程语言中的功能的库和运行时间库，例如库/运行时间栈6102中的那些库；用于实施应用程序的标准结构的应用程序框架，例如应用程序框架6103；以及可在OS内核、库和框架的上层运行的应用程序，例如HSC显示器应用程序6104。HSC显示应用程序6104可以允许终端用户将HSC 100用作辅助显示器和免提用户接口，并且可含有图标和菜单接口。
在HSC显示器应用程序6104的背景内运行的应用程序可包含语音识别输入6121、头部追踪输入6122、用于将经标记显示输出(来自主机200)及将ASR/HT输入(在HSC 100处)转换成等效主机200命令的转换模块6123、以及允许在HSC 100与主机装置200之间建立双向通信链路的虚拟网络连接6124。
主机软件栈6200可包含：操作系统(OS)的内核，例如Linux操作系统内核6201；用于在执行应用程序期间实施内置于编程语言中的功能的库和运行时间库，例如库/运行时间栈6202的那些库；用于实施应用程序的标准结构的应用程序框架，例如应用程序框架6203；可在OS内核、库和框架的上层运行的应用程序，例如本机应用程序6204；以及在栈和本机应用程序6204的上层运行的第二类应用程序，例如HCS辅助显示器接口应用程序6205。如上文所详细描述，HCS辅助显示器接口应用程序6205可允许终端用户将HSC 100用作辅助显示器和免提用户接口，以控制执行主机200的本机应用程序6204。在HCS辅助显示器接口应用程序6205的背景内运行的应用程序可包含允许在主机装置200与HSC 100之间建立双向通信链路的虚拟网络连接6124。主机软件栈6200可以比HSC软件栈6100更广泛且更复杂。
图7示出本发明的实例实施例的高阶流程图。图7是说明在头戴式计算机上显示来自智能电话应用程序的输出的替代方法700的步骤的高阶流程图。在头戴式计算机上显示来自智能电话应用程序700的输出的方法700可包含：在智能电话上执行应用程序(步骤710)；产生所执行应用程序的输出用于通过头戴式计算机显示，包含智能电话以指示头戴式计算机的动作的描述语言配置并且发射指令以显示所执行应用程序的输出(步骤720)；以及通过低带宽通信链路在头戴式计算机处接收所配置指令，并且响应于所接收的所配置指令，头戴式计算机基于要实施的所指示动作(指令)形成或呈现所产生输出的显示，其中动作包含以下项中的任一者：屏幕上的通知、消息、图形元素、播放多个预定声音序列中的一者以及控制头戴式计算机的组件的请求(步骤730)。
动作可以是对应的元素类型，并且对于每一元素类型，指令可指示预定用于头戴式计算机的多个型式中的一者。型式可以是型式元素。在头戴式装置域中呈现的所形成显示可包含所呈现的关于语音识别/头部追踪用户接口的菜单选择和提示。此类菜单选择和输出可有声地且直观地呈现给用户。在智能电话与头戴式计算机之间的通信链路可以是无线通信链路，例如，蓝牙、Wi-Fi或其它通信协议。
在图7中说明的替代实例方法可以进一步包含：在头戴式计算机处监控来自语音识别/头部追踪用户接口的输入，响应于接收语音识别/头部追踪命令输入，在头戴式计算机处将所接收的语音识别/头部追踪命令转换成等效智能电话命令，并且将等效智能电话命令发射到智能电话以控制所执行的应用程序。此方法可有效地实现用户对所执行应用程序的语音(声音命令)和免提(头部运动追踪)控制。
可以使用计算机程序产品配置本发明的其它实例实施例；例如，控制件可在软件中进行编程以实施本发明的实例实施例。本发明的其它实例实施例可包含含有指令的非暂时性计算机可读媒体，所述指令可由处理器执行，并且当执行时所述指令使处理器能够完成本文所描述的方法。应理解，本文所描述的方块图和流程图中的元件可以软件、硬件、固件或未来确定的其它类似实施方案来实施。另外，本文所描述的方块图和流程图中的元件可以任何方式在软件、硬件或固件中组合或分割。如果在软件中实施，那么软件可以用可支持本文所揭示的实例实施例的任何语言写出。软件可存储在任何形式的计算机可读媒体中，例如，随机存取存储器(RAM)、只读存储器(ROM)、光盘只读存储器(CD-ROM)等。在操作中，通用或应用程序特定的处理器以所属领域中很好理解的方式加载并且执行软件。应进一步理解，方块图和流程图可包含以不同方式布置或定向或以不同方式呈现的更多或更少的元件。应理解，实施方案可指示说明本发明的实施例的执行的方块图、流程图和/或网络图及方块图和流程图的数目。
本文中所引用的所有专利、公开申请案及参考的教示均以全文引用方式并入。
虽然本发明已经参照其实例实施例特定示出和描述，但所属领域的技术人员应理解，在不脱离由所附权利要求书涵盖的本发明的范围的情况下，可以在其中进行形式和细节的各种改变。

Claims (32)

1.一种操作智能电话应用程序的方法，所述方法包括：
在智能电话上执行本机应用程序；
产生所述本机应用程序的输出，用于通过所述智能电话及通过头戴式计算机同步显示；
响应于在所述头戴式计算机处接收所产生的所述输出，转换所接收的所述输出，用于在所述头戴式装置域中呈现；
以语音识别和头部追踪用户接口模式操作所述头戴式计算机；
在所述头戴式计算机处监控来自终端用户的用户语音识别和头部追踪命令；
响应于所接收的语音识别和头部追踪命令，在所述头戴式计算机处将所述所接收的语音识别和头部追踪命令转换成等效智能电话命令，并且将所述等效智能电话命令发射到所述智能电话以控制所述本机应用程序。
2.根据权利要求1所述的方法，其中用于通过所述头戴式计算机显示的所述所产生的输出包含标记语言文件。
3.根据权利要求2所述的方法，其中所述标记语言是超文本标记语言5(HTML5)。
4.根据权利要求1所述的方法，其中所述转换所接收的所述输出用于在所述头戴式装置域中呈现是引起向所述终端用户呈现关于所述语音识别和头部追踪用户接口命令的菜单选择和提示。
5.根据权利要求4所述的方法，其中所述菜单选择和提示有声地且直观地呈现给所述终端用户。
6.根据权利要求1所述的方法，其中通过所述头戴式计算机的所述接收及通过所述头戴式计算机的所述发射以无线方式实施。
7.根据权利要求6所述的方法，其中通过所述头戴式计算机的所述接收及通过所述头戴式计算机的所述发射使用蓝牙或Wi-Fi标准以无线方式实施。
8.根据权利要求1所述的方法，其中通过所述头戴式计算机的所述转换有效地实现与所执行的本机智能电话应用程序的语音识别和免提用户交互。
9.根据权利要求1所述的方法，其中：
所述所执行的本机智能电话应用程序采用触摸型用户接口命令；并且
所述头戴式装置转换成等效智能电话命令包含从语音识别和头部追踪命令转换成触摸型命令。
10.根据权利要求1所述的方法，其中所述所执行的本机智能电话应用程序是图像和/或视频查看应用程序，并且由所述头戴式计算机发射的所述等效智能电话命令包含用以通过所述智能电话显示图像和/或视频的命令。
11.根据权利要求1所述的方法，其中所述本机智能电话应用程序经配置以接收从所述头戴式计算机驱动的多媒体内容。
12.一种操作智能电话显示器的方法，所述方法包括：
在智能电话上执行本机图像和视频查看应用程序；
以语音识别和头部追踪用户接口模式操作头戴式计算机；
在所述头戴式计算机处监控来自终端用户的用户语音识别和头部追踪命令；
响应于所接收的语音识别和头部追踪命令，在所述头戴式计算机处将所接收的所述语音识别和头部追踪命令转换成等效智能电话命令，所述等效智能电话命令包含捕获在所述头戴式计算机的微型显示器上显示的图像或视频；
将所述等效智能电话命令发射到所述智能电话以控制所述本机图像和视频查看应用程序；并且
通过所述头戴式计算机及通过所述智能电话显示所捕获的所述图像或视频。
13.一种双显示器系统，所述双显示器系统包括：
智能电话，所述智能电话包含本机显示器和智能电话通信模块；
本机应用程序，所述本机应用程序通过所述智能电话执行，以产生通过所述智能电话通信模块传送到头戴式计算装置的显示输出，用于通过所述智能电话本机显示器及通过头戴式计算装置同步显示；
所述头戴式计算装置包含微型显示器和头戴式通信模块；
语音识别和头部追踪用户接口，所述语音识别和头部追踪用户接口由所述头戴式计算装置用于接收终端用户命令；
转换模块，所述转换模块通过所述头戴式计算装置响应于接收所传送到所述头戴式通信模块的所述显示输出来执行，以转换所述显示输出用于通过所述微型显示器呈现，并且将所接收的所述终端用户命令转换成等效智能电话命令；并且
所述头戴式通信模块将所述等效智能电话命令传送到所述智能电话通信模块以控制所述本机应用程序。
14.根据权利要求13所述的双显示器系统，其中所述显示输出包含标记语言文件。
15.根据权利要求14所述的双显示器系统，其中所述标记语言是超文本标记语言5(HTML5)。
16.根据权利要求13所述的双显示器系统，其中用于通过所述微型显示器呈现的所述显示输出包含用于所述终端用户的关于语音识别和头部追踪用户接口的菜单选择和提示。
17.根据权利要求16所述的双显示器系统，其中所述菜单选择和提示有声地且直观地呈现给所述终端用户。
18.根据权利要求13所述的双显示器系统，其中所述智能电话通信模块和所述头戴式通信模块是无线通信模块。
19.根据权利要求18所述的双显示器系统，其中所述无线通信模块是蓝牙或Wi-Fi模块。
20.根据权利要求13所述的双显示器系统，其中所述头戴式计算装置有效地实现所述语音识别和头部追踪用户接口，以控制所述本机应用程序。
21.根据权利要求13所述的双显示器系统，其中所述本机应用程序使用触摸型用户接口命令，并且所述转换模块将所接收的所述语音识别和头部追踪用户接口的终端用户命令转换成所述触摸型用户接口命令。
22.根据权利要求13所述的双显示器系统，其中所述本机智能电话应用程序是图像和/或视频查看应用程序，并且所述等效智能电话命令包含用以通过所述智能电话的所述本机显示器显示图像和/或视频的命令。
23.根据权利要求13所述的双显示器系统，其中所述本机智能电话应用程序经配置以从所述头戴式计算装置接收多媒体内容。
24.一种在头戴式计算机上显示来自智能电话应用程序的输出的方法，所述方法包括：
在所述智能电话上执行应用程序；
产生所执行的所述应用程序的输出以用于通过头戴式计算机显示，包含所述智能电话以指示所述头戴式计算机的动作的描述语言配置并且发射指令，以显示所执行的所述应用程序的所述输出；并且
通过低带宽在所述头戴式计算机处接收所配置指令，并且据以响应，所述头戴式计算机基于要实施的所指示动作形成所产生的所述输出的显示，其中所述动作包含以下项中的任一者：屏幕上的通知、消息、图形元素、播放多个预定声音序列中的一者以及控制所述头戴式计算机的组件的请求。
25.根据权利要求24所述的方法，其中所述动作是对应的元素类型，并且对于每一元素类型，所述指令指示预定用于所述头戴式计算机的多个型式中的一者。
26.根据权利要求24所述的方法，其中所述描述语言是HTML5或其它标记语言。
27.根据权利要求24所述的方法，其中所述在所述头戴式装置域中呈现的所形成显示包含所呈现的关于语音识别/头部追踪用户接口的菜单选择和提示。
28.根据权利要求27所述的方法，其中所述菜单选择和提示有声地且直观地呈现给用户。
29.根据权利要求24所述的方法，其中通过所述头戴式计算机的所述接收及通过所述智能电话的所述发射在无线通信链路上进行。
30.根据权利要求29所述的方法，其中所述无线通信链路是蓝牙、Wi-Fi或其它协议中的任一者。
31.根据权利要求24所述的方法，其进一步包含：
在所述头戴式计算机处监控来自语音识别/头部追踪用户接口的输入；
响应于接收所述语音识别/头部追踪命令输入，在所述头戴式计算机处将所接收的所述语音识别/头部追踪命令转换成等效智能电话命令，所述等效智能电话命令；并且
将所述等效智能电话命令发射到所述智能电话以控制所述所执行的应用程序。
32.根据权利要求31所述的方法，其中所述通过所述头戴式计算机的所述发射有效地实现对所执行的所述应用程序的语音和免提用户控制。
CN201380033459.5A 2012-04-25 2013-04-11 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器 Active CN104520787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811142265.XA CN109240507A (zh) 2012-04-25 2013-04-11 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201261638419P 2012-04-25 2012-04-25
US61/638,419 2012-04-25
US201261653474P 2012-05-31 2012-05-31
US61/653,474 2012-05-31
US201361748444P 2013-01-02 2013-01-02
US61/748,444 2013-01-02
US201361749155P 2013-01-04 2013-01-04
US61/749,155 2013-01-04
US13/799,570 2013-03-13
US13/799,570 US8929954B2 (en) 2012-04-25 2013-03-13 Headset computer (HSC) as auxiliary display with ASR and HT input
PCT/US2013/036221 WO2013162908A2 (en) 2012-04-25 2013-04-11 Headset computer (hsc) as auxiliary display with asr and ht input

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811142265.XA Division CN109240507A (zh) 2012-04-25 2013-04-11 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器

Publications (2)

Publication Number Publication Date
CN104520787A true CN104520787A (zh) 2015-04-15
CN104520787B CN104520787B (zh) 2018-10-16

Family

ID=49477759

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380033459.5A Active CN104520787B (zh) 2012-04-25 2013-04-11 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
CN201811142265.XA Pending CN109240507A (zh) 2012-04-25 2013-04-11 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811142265.XA Pending CN109240507A (zh) 2012-04-25 2013-04-11 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器

Country Status (6)

Country Link
US (2) US8929954B2 (zh)
EP (1) EP2845075B1 (zh)
JP (2) JP6177883B2 (zh)
KR (1) KR20150023293A (zh)
CN (2) CN104520787B (zh)
WO (1) WO2013162908A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454194A (zh) * 2016-09-14 2017-02-22 惠州Tcl移动通信有限公司 一种基于vr设备的视频方法及系统
CN106959752A (zh) * 2017-03-16 2017-07-18 王昇洋 利用立体声引导和评估头部运动的头戴装置
CN108958457A (zh) * 2017-05-19 2018-12-07 宏碁股份有限公司 模拟携带式装置的感测信号的虚拟实境系统及其控制方法
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN113805653A (zh) * 2021-08-27 2021-12-17 瑞欧威尔(上海)智能科技有限公司 一种ai头戴式计算机

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010527557A (ja) 2007-05-14 2010-08-12 コピン コーポレーション ホストからのデータにアクセスする移動無線表示器およびそれを制御する方法
EP2427812A4 (en) * 2009-05-08 2016-06-08 Kopin Corp REMOTE CONTROL OF A HOST APPLICATION THROUGH MOTION AND LANGUAGE COMMANDS
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
KR20130116107A (ko) * 2012-04-13 2013-10-23 삼성전자주식회사 단말의 원격 제어 방법 및 장치
EP2842055B1 (en) 2012-04-25 2018-06-27 Kopin Corporation Instant translation system
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9904360B2 (en) * 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US10209955B2 (en) * 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9383816B2 (en) 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US9466296B2 (en) * 2013-12-16 2016-10-11 Intel Corporation Initiation of action upon recognition of a partial voice command
EP3087798A4 (en) 2013-12-28 2017-08-30 Intel Corporation System and method for device action and configuration based on user context detection from sensors in peripheral devices
US9811991B2 (en) 2014-06-27 2017-11-07 Harman International Industries, Incorporated Do-not-disturb system and apparatus
US9876985B2 (en) * 2014-09-03 2018-01-23 Harman International Industies, Incorporated Providing a log of events to an isolated user
CN104836904A (zh) * 2015-04-08 2015-08-12 惠州Tcl移动通信有限公司 基于智能穿戴设备对移动终端提示信息的处理方法及系统
EP3367879A4 (en) 2015-10-30 2019-06-12 University of Massachusetts SYSTEM AND METHODS FOR EVALUATING IMAGES AND OTHER SUBJECTS
US10095473B2 (en) 2015-11-03 2018-10-09 Honeywell International Inc. Intent managing system
KR20180055189A (ko) 2016-11-16 2018-05-25 삼성전자주식회사 자연어 처리 방법 및 장치와 자연어 처리 모델을 학습하는 방법 및 장치
US10692489B1 (en) * 2016-12-23 2020-06-23 Amazon Technologies, Inc. Non-speech input to speech processing system
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
JP6538107B2 (ja) * 2017-05-22 2019-07-03 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP2019036914A (ja) * 2017-08-21 2019-03-07 ウエストユニティス株式会社 連携表示システム
EP3486753B1 (en) * 2017-11-21 2022-05-04 Bellevue Investments GmbH & Co. KGaA Method for realtime 360 degree video perspective view path determination
JP7395513B2 (ja) 2018-06-13 2023-12-11 リアルウェア，インコーポレーテッド バイナリアプリケーションのユーザインターフェースのカスタマイズ
EP3663904A1 (en) * 2018-12-07 2020-06-10 Iristick nv Portable mobile mode for headset
JP6994005B2 (ja) * 2019-06-05 2022-01-14 株式会社コロプラ 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
CN112073777B (zh) * 2019-06-10 2022-06-28 海信视像科技股份有限公司 一种语音交互方法及显示设备
CN112073776B (zh) * 2019-06-10 2022-06-24 海信视像科技股份有限公司 语音控制方法及显示设备
US11922096B1 (en) * 2022-08-30 2024-03-05 Snap Inc. Voice controlled UIs for AR wearable devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735019A (zh) * 2004-08-14 2006-02-15 三星电子株式会社 使用消息通信显示内容的方法和系统
CN101444087A (zh) * 2006-05-09 2009-05-27 株式会社尼康 头戴式显示器
CN101755299A (zh) * 2007-05-14 2010-06-23 寇平公司 用于从主机存取数据的移动无线显示器以及控制方法
WO2012040107A1 (en) * 2010-09-20 2012-03-29 Kopin Corporation Advanced remote control of host application using motion and voice commands

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005213A (en) 1986-07-10 1991-04-02 Varo, Inc. Head mounted video display and remote camera system
US5491651A (en) 1992-05-15 1996-02-13 Key, Idea Development Flexible wearable computer
US6010216A (en) 1993-01-19 2000-01-04 Jesiek; Daniel Stephen "Hear speak" two-way voice radio communications eyeglasses
US6853293B2 (en) 1993-05-28 2005-02-08 Symbol Technologies, Inc. Wearable communication system
JPH08510568A (ja) 1994-03-04 1996-11-05 モトローラ・インコーポレイテッド 情報表示装置
US5642129A (en) 1994-03-23 1997-06-24 Kopin Corporation Color sequential display panels
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US5990793A (en) 1994-09-02 1999-11-23 Safety Tech Industries, Inc. Firefighters integrated communication and safety system
US6198462B1 (en) 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6369952B1 (en) 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
JP3771989B2 (ja) 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US5929748A (en) * 1997-06-12 1999-07-27 Microsoft Corporation Automated home control using existing electrical lines as a communications medium
WO1999001838A2 (en) 1997-07-03 1999-01-14 Koninklijke Philips Electronics N.V. Apparatus and method for creating and controlling a virtual workspace of a windowing system
US6270414B2 (en) 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
US7860725B2 (en) 1998-05-26 2010-12-28 Ineedmd.Com, Inc. Method for remote medical consultation and care
EP1116211A4 (en) 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US7035897B1 (en) 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US20060061551A1 (en) 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
CA2375519A1 (en) 1999-06-21 2000-12-28 The Microoptical Corporation Eyeglass display lens system employing off-axis optical design
US7158096B1 (en) 1999-06-21 2007-01-02 The Microoptical Corporation Compact, head-mountable display device with suspended eyepiece assembly
JP2001100878A (ja) 1999-09-29 2001-04-13 Toshiba Corp マルチモーダル入出力装置
US6538676B1 (en) 1999-10-04 2003-03-25 Intel Corporation Video token tracking system for overlay of metadata upon video data
US6621508B1 (en) * 2000-01-18 2003-09-16 Seiko Epson Corporation Information processing system
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US6981229B1 (en) 2000-04-28 2005-12-27 Alias Systems Corp. System for dynamically mapping input device movement as a user's viewpoint changes
US7461936B2 (en) 2000-06-02 2008-12-09 Oakley, Inc. Eyeglasses with detachable adjustable electronics module
US6325507B1 (en) 2000-06-02 2001-12-04 Oakley, Inc. Eyewear retention system extending across the top of a wearer's head
US8482488B2 (en) 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US20120105740A1 (en) 2000-06-02 2012-05-03 Oakley, Inc. Eyewear with detachable adjustable electronics module
US7150526B2 (en) 2000-06-02 2006-12-19 Oakley, Inc. Wireless interactive headset
US7278734B2 (en) 2000-06-02 2007-10-09 Oakley, Inc. Wireless interactive headset
US7487112B2 (en) 2000-06-29 2009-02-03 Barnes Jr Melvin L System, method, and computer program product for providing location based services and mobile e-commerce
JP2002032212A (ja) 2000-07-14 2002-01-31 Toshiba Corp コンピュータシステムおよびヘッドセット型表示装置
US6956614B1 (en) 2000-11-22 2005-10-18 Bath Iron Works Apparatus and method for using a wearable computer in collaborative applications
GB2369742A (en) 2000-11-30 2002-06-05 Nokia Mobile Phones Ltd Neck strap accessory for audio device having wired earpiece
US6798391B2 (en) 2001-01-02 2004-09-28 Xybernaut Corporation Wearable computer system
US6900777B1 (en) 2001-01-03 2005-05-31 Stryker Corporation Infrared audio/video interface for head-mounted display
US20020094845A1 (en) 2001-01-16 2002-07-18 Rei Inasaka Body worn display system
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
JP4649050B2 (ja) 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
WO2002077972A1 (en) 2001-03-27 2002-10-03 Rast Associates, Llc Head-worn, trimodal device to increase transcription accuracy in a voice recognition system and to process unvocalized speech
US6769767B2 (en) 2001-04-30 2004-08-03 Qr Spex, Inc. Eyewear with exchangeable temples housing a transceiver forming ad hoc networks with other devices
GB2376283B (en) 2001-06-04 2005-03-16 Hewlett Packard Co Foot activated user input
US7013009B2 (en) 2001-06-21 2006-03-14 Oakley, Inc. Eyeglasses with wireless communication features
US6961912B2 (en) 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
CN1335702A (zh) * 2001-08-06 2002-02-13 北京邮电通信设备厂 配装有头戴式显示装置插接口的移动电话机
US6778906B1 (en) 2001-08-14 2004-08-17 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for ensuring retention of situational awareness by employing an active network guidance and emergency logic (angel) system
US6583808B2 (en) 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US7313246B2 (en) 2001-10-06 2007-12-25 Stryker Corporation Information system using eyewear for communication
JP4114859B2 (ja) 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7035091B2 (en) 2002-02-28 2006-04-25 Accenture Global Services Gmbh Wearable computer system and modes of operating the system
US7110799B1 (en) 2002-06-14 2006-09-19 Symbol Technologies, Inc. Mobile terminal for interoperating with a standard or push-button enabled headset
US7494216B2 (en) 2002-07-26 2009-02-24 Oakely, Inc. Electronic eyewear with hands-free operation
US7330740B2 (en) 2002-10-22 2008-02-12 Broadcom Corporation Cell phone wireless speaker-microphone sleep modes
US7774075B2 (en) 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US7620433B2 (en) 2003-01-15 2009-11-17 Gn Netcom, Inc. Display headset
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7806525B2 (en) 2003-10-09 2010-10-05 Ipventure, Inc. Eyeglasses having a camera
US7760898B2 (en) 2003-10-09 2010-07-20 Ip Venture, Inc. Eyeglasses with hearing enhanced and other audio signal-generating capabilities
US20040267527A1 (en) 2003-06-25 2004-12-30 International Business Machines Corporation Voice-to-text reduction for real time IM/chat/SMS
CN101770073B (zh) 2003-12-03 2013-03-27 株式会社尼康 信息显示装置
KR20050102803A (ko) 2004-04-23 2005-10-27 삼성전자주식회사 가상입력장치, 시스템 및 방법
WO2005122509A1 (en) 2004-06-04 2005-12-22 Qualcomm Incorporated High data rate interface apparatus and method
IL162572A (en) 2004-06-17 2013-02-28 Lumus Ltd High brightness optical device
US7284192B2 (en) 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
CA2576010C (en) 2004-08-03 2011-07-26 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7976480B2 (en) 2004-12-09 2011-07-12 Motorola Solutions, Inc. Wearable auscultation system and method
CN100399247C (zh) 2004-12-22 2008-07-02 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
US7877115B2 (en) 2005-01-24 2011-01-25 Broadcom Corporation Battery management in a modular earpiece microphone combination
CN1815437A (zh) * 2005-02-04 2006-08-09 乐金电子(中国)研究开发中心有限公司 一种外置头戴式手机显示装置及方法
US8083569B2 (en) 2005-02-04 2011-12-27 Nicholas Sotereanos Remotely controlled vehicle
EP1848966A1 (en) 2005-02-17 2007-10-31 Lumus Ltd Personal navigation system
US7249846B2 (en) 2005-05-03 2007-07-31 Grand Joseph B Eyewear with an image projected off of an unassisted eyewear lens to the user
US8606333B2 (en) 2005-06-10 2013-12-10 At&T Mobility Ii Llc Push to lower hearing assisted device
TWI284481B (en) 2005-09-02 2007-07-21 Kye Systems Corp Wireless earphone device
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US20070093279A1 (en) 2005-10-12 2007-04-26 Craig Janik Wireless headset system for the automobile
US20080144854A1 (en) 2006-12-13 2008-06-19 Marcio Marc Abreu Biologically fit wearable electronics apparatus and methods
US20070265495A1 (en) 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US7732694B2 (en) 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
JP5007510B2 (ja) * 2006-02-13 2012-08-22 コニカミノルタビジネステクノロジーズ株式会社 文書処理装置および文書処理システム
US20070220108A1 (en) 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US20070238475A1 (en) 2006-03-30 2007-10-11 Goedken Terrance J Wireless communications device with priority list
US8947531B2 (en) 2006-06-19 2015-02-03 Oshkosh Corporation Vehicle diagnostics based on information communicated between vehicles
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080055194A1 (en) 2006-08-31 2008-03-06 Motorola, Inc. Method and system for context based user interface information presentation and positioning
US8212859B2 (en) 2006-10-13 2012-07-03 Apple Inc. Peripheral treatment for head-mounted displays
EP2095178B1 (en) 2006-12-14 2015-08-12 Oakley, Inc. Wearable high resolution audio visual interface
US7547101B2 (en) 2007-01-02 2009-06-16 Hind-Sight Industries, Inc. Eyeglasses with integrated telescoping video display
US7798638B2 (en) 2007-01-02 2010-09-21 Hind-Sight Industries, Inc. Eyeglasses with integrated video display
US7484847B2 (en) 2007-01-02 2009-02-03 Hind-Sight Industries, Inc. Eyeglasses having integrated telescoping video camera and video display
JP4395792B2 (ja) 2007-01-29 2010-01-13 セイコーエプソン株式会社 プロジェクタ
US20080239080A1 (en) 2007-03-26 2008-10-02 Moscato Jonathan D Head-mounted rear vision system
US20100020229A1 (en) 2007-04-30 2010-01-28 General Electric Company Wearable personal video/audio device method and system
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US8909296B2 (en) 2007-05-14 2014-12-09 Kopin Corporation Mobile wireless display software platform for controlling other systems and devices
IL183637A (en) 2007-06-04 2013-06-27 Zvi Lapidot Head display system
EP2165234A1 (en) 2007-06-07 2010-03-24 Panagiotis Pavlopoulos An eyewear comprising at least one display device
KR20080114391A (ko) 2007-06-27 2008-12-31 삼성전기주식회사 레이저 광원을 이용한 디스플레이 장치, 디스플레이 방법및 디스플레이 방법을 구현하기 위한 프로그램이 기록된기록매체
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
CN101809651B (zh) * 2007-07-31 2012-11-07 寇平公司 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器
US7458682B1 (en) 2007-09-06 2008-12-02 Double Hero Corporation Eyeglass with multimedia functions of music playing and remote communication
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
JP5116424B2 (ja) 2007-10-09 2013-01-09 任天堂株式会社 ゲームプログラムおよびゲーム装置
US7969657B2 (en) 2007-10-25 2011-06-28 University Of Central Florida Research Foundation, Inc. Imaging systems for eyeglass-based display devices
US8072393B2 (en) 2007-11-15 2011-12-06 Symbol Technologies, Inc. User interface for a head mounted display
US8520860B2 (en) 2007-12-13 2013-08-27 Symbol Technologies, Inc. Modular mobile computing headset
US8108143B1 (en) 2007-12-20 2012-01-31 U-Blox Ag Navigation system enabled wireless headset
US8355671B2 (en) 2008-01-04 2013-01-15 Kopin Corporation Method and apparatus for transporting video signal over Bluetooth wireless interface
WO2009120984A1 (en) 2008-03-28 2009-10-01 Kopin Corporation Handheld wireless display device having high-resolution display suitable for use as a mobile internet device
US8099289B2 (en) 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
JP2009294728A (ja) 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US7959084B2 (en) 2008-07-01 2011-06-14 Symbol Technologies, Inc. Multi-functional mobile computing device utilizing a removable processor module
US20100033830A1 (en) 2008-08-11 2010-02-11 Man Fat Yung Wearable image display device
US20100053069A1 (en) 2008-08-26 2010-03-04 Symbol Technologies, Inc. Mobile computing system facilitating adaptive display of content among a plurality of display components including at least one virtual image display component
AT10520U3 (de) 2008-09-05 2013-10-15 Knapp Systemintegration Gmbh Vorrichtung und verfahren zur visuellen unterstützung von kommissioniervorgängen
JP5154363B2 (ja) * 2008-10-24 2013-02-27 クラリオン株式会社 車室内音声対話装置
US8249243B2 (en) 2008-11-13 2012-08-21 Aspect Software, Inc. Method of remotely operating contact center systems
US8547342B2 (en) 2008-12-22 2013-10-01 Verizon Patent And Licensing Inc. Gesture-based delivery from mobile device
US7997723B2 (en) 2008-12-31 2011-08-16 Nokia Corporation Display apparatus and device
US20100171696A1 (en) 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
FR2941786B1 (fr) 2009-02-03 2011-04-29 Laster Dispositif portable d'affichage tete haute et de realite augmentee
US20100250231A1 (en) 2009-03-07 2010-09-30 Voice Muffler Corporation Mouthpiece with sound reducer to enhance language translation
US20100238184A1 (en) 2009-03-19 2010-09-23 Michael Janicki Method and apparatus for three-dimensional visualization in mobile devices
JP5389493B2 (ja) 2009-03-25 2014-01-15 オリンパス株式会社 眼鏡装着型画像表示装置
JP5245981B2 (ja) 2009-03-30 2013-07-24 ブラザー工業株式会社 ヘッドマウントディスプレイ
CN201393284Y (zh) * 2009-04-03 2010-01-27 周业如 穿戴式无线音视频交互系统
US8170262B1 (en) 2009-04-15 2012-05-01 Frank Kung Fu Liu Wireless air tube headset
US8212855B2 (en) 2009-04-29 2012-07-03 Embarq Holdings Company, Llc Video conferencing eyewear
EP2427812A4 (en) 2009-05-08 2016-06-08 Kopin Corp REMOTE CONTROL OF A HOST APPLICATION THROUGH MOTION AND LANGUAGE COMMANDS
JP2009179062A (ja) 2009-05-14 2009-08-13 Seiko Epson Corp 露光装置および画像形成装置
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US8581856B2 (en) 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US20110090135A1 (en) 2009-10-21 2011-04-21 Symbol Technologies, Inc. Interchangeable display device for a head-mounted display system
US9503555B2 (en) 2009-10-21 2016-11-22 Symbol Technologies, Llc Mounting device couplable to a human head
EP2494388B1 (en) 2009-10-27 2018-11-21 DigiLens Inc. Compact holographic eyeglass display
US8279861B2 (en) 2009-12-08 2012-10-02 International Business Machines Corporation Real-time VoIP communications using n-Way selective language processing
CN102812417B (zh) 2010-02-02 2016-03-02 寇平公司 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120056846A1 (en) 2010-03-01 2012-03-08 Lester F. Ludwig Touch-based user interfaces employing artificial neural networks for hdtp parameter and symbol derivation
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US8545013B2 (en) 2010-04-27 2013-10-01 Kopin Corporation Wearable electronic display
JP2012002568A (ja) * 2010-06-15 2012-01-05 Brother Ind Ltd ナビゲーションシステム、携帯機器及び携帯機器用プログラム
JP5630141B2 (ja) * 2010-08-18 2014-11-26 ブラザー工業株式会社 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法
EP2437163A1 (en) * 2010-09-09 2012-04-04 Harman Becker Automotive Systems GmbH User interface for a vehicle system
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US8862186B2 (en) 2010-09-21 2014-10-14 Kopin Corporation Lapel microphone micro-display system incorporating mobile information access system
WO2012040386A1 (en) 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
US8994610B2 (en) 2010-11-08 2015-03-31 Symbol Technologies, Inc. User configurable headset
US8184983B1 (en) 2010-11-12 2012-05-22 Google Inc. Wireless directional identification and subsequent communication between wearable electronic devices
US20120166203A1 (en) 2010-12-20 2012-06-28 Bio-Nexus Ltd. System and Method for Mobile Workflow Processing
US20120188245A1 (en) 2011-01-20 2012-07-26 Apple Inc. Display resolution increase with mechanical actuation
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US20120302288A1 (en) 2011-05-23 2012-11-29 Joe Born Cellular Telephone Docking Interface
US9131296B2 (en) 2011-09-19 2015-09-08 Apple Inc. Auto-configuring audio output for audio performance and fault detection
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8577427B2 (en) 2012-03-08 2013-11-05 Lee Serota Headset with adjustable display and integrated computing system
EP2842055B1 (en) 2012-04-25 2018-06-27 Kopin Corporation Instant translation system
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
US9436220B2 (en) 2012-05-04 2016-09-06 Jpmorgan Chase Bank, N.A. System and method for mobile device docking station
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9100757B2 (en) 2012-07-02 2015-08-04 Apple Inc. Headset impedance detection
US9099967B2 (en) 2012-09-28 2015-08-04 Apple Inc. Increasing ground noise rejection in audio systems
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9548047B2 (en) 2013-07-31 2017-01-17 Google Technology Holdings LLC Method and apparatus for evaluating trigger phrase enrollment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735019A (zh) * 2004-08-14 2006-02-15 三星电子株式会社 使用消息通信显示内容的方法和系统
CN101444087A (zh) * 2006-05-09 2009-05-27 株式会社尼康 头戴式显示器
CN101755299A (zh) * 2007-05-14 2010-06-23 寇平公司 用于从主机存取数据的移动无线显示器以及控制方法
WO2012040107A1 (en) * 2010-09-20 2012-03-29 Kopin Corporation Advanced remote control of host application using motion and voice commands

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN106454194A (zh) * 2016-09-14 2017-02-22 惠州Tcl移动通信有限公司 一种基于vr设备的视频方法及系统
CN106454194B (zh) * 2016-09-14 2020-10-27 惠州Tcl移动通信有限公司 一种基于vr设备的视频方法及系统
CN106959752A (zh) * 2017-03-16 2017-07-18 王昇洋 利用立体声引导和评估头部运动的头戴装置
CN108958457A (zh) * 2017-05-19 2018-12-07 宏碁股份有限公司 模拟携带式装置的感测信号的虚拟实境系统及其控制方法
CN113805653A (zh) * 2021-08-27 2021-12-17 瑞欧威尔(上海)智能科技有限公司 一种ai头戴式计算机

Also Published As

Publication number Publication date
US20130288753A1 (en) 2013-10-31
KR20150023293A (ko) 2015-03-05
WO2013162908A2 (en) 2013-10-31
CN109240507A (zh) 2019-01-18
EP2845075B1 (en) 2019-10-23
JP6177883B2 (ja) 2017-08-09
WO2013162908A3 (en) 2014-01-30
EP2845075A2 (en) 2015-03-11
JP2015515701A (ja) 2015-05-28
CN104520787B (zh) 2018-10-16
US20150072672A1 (en) 2015-03-12
JP2017188156A (ja) 2017-10-12
US8929954B2 (en) 2015-01-06
US9294607B2 (en) 2016-03-22
JP6419262B2 (ja) 2018-11-07

Similar Documents

Publication Publication Date Title
CN104520787A (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
CN102812417B (zh) 具有可由运动、身体姿势和/或口头命令控制的可拆卸附件的无线免提计算头戴式送受话器
US10318011B2 (en) Gesture-controlled augmented reality experience using a mobile communications device
KR101643869B1 (ko) 휴대 단말기 및 그 동작 방법
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
CN103180800B (zh) 使用动作及语音命令的主机应用程序的高级远程控制
KR101636723B1 (ko) 휴대 단말기 및 그 동작 방법
CN107003739A (zh) 对接系统
CN103167338A (zh) 一种基于移动终端的智能电视输入控制系统及方法
US20120229509A1 (en) System and method for user interaction
KR20170049199A (ko) 디스플레이 장치 및 디스플레이 장치의 화면 표시 제어 방법
KR20190069877A (ko) 전자 장치 및 그의 입력 제어 방법
CN110221795B (zh) 一种屏幕录制方法及终端
CN105940371A (zh) 用户可配置的话音命令
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
KR20220154763A (ko) 이미지 처리 방법 및 전자 장비
US20110163949A1 (en) Control system using portable electronic device for performing operations
CN112241199B (zh) 虚拟现实场景中的交互方法及装置
WO2023025204A1 (zh) 远程控制方法、装置及第一、第二控制端
US20150220506A1 (en) Remote Document Annotation
CN116438503A (zh) 电子装置和电子装置的操作方法
WO2016062032A1 (zh) 一种分体式可穿戴设备
US11503361B1 (en) Using signing for input to search fields
CN112954480A (zh) 数据传输进度的显示方法和数据传输进度的显示装置
CN117258296A (zh) 虚拟对象的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant