CN101128794B - 手持式基于视觉的绝对指向系统 - Google Patents
手持式基于视觉的绝对指向系统 Download PDFInfo
- Publication number
- CN101128794B CN101128794B CN200680006415.3A CN200680006415A CN101128794B CN 101128794 B CN101128794 B CN 101128794B CN 200680006415 A CN200680006415 A CN 200680006415A CN 101128794 B CN101128794 B CN 101128794B
- Authority
- CN
- China
- Prior art keywords
- handheld apparatus
- display
- mark
- image
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Abstract
本发明描述一种涉及识别个别一个或一个以上固定标记的一个或一个以上图像的方法。每一标记定位在显示器上或定位成接近显示器。所述图像出现在手持式装置内的像素化传感器上。所述方法还涉及确定所述显示器上或接近所述显示器的在所述识别期间由所述手持式装置所指向的位置。所述方法还涉及从所述手持式装置发送从所述识别个别一个或一个以上固定标记的所述一个或一个以上图像获得的信息。所述方法还涉及触发由电子设备电路响应于所述手持式装置发送指示需要一行动的信号而采取的所述行动。
Description
相关申请案
本发明涉及并主张以下申请案的权利:2005年7月21日申请的题为“HandheldVisionBasedAbsolutePointingSystem”的第11/187,435号美国非临时申请案;和2005年7月21日申请的题为“ElectronicEquipmentForHandheldVisionBasedAbsolutePointingSystem”的第11/187,405号美国非临时申请案;和2005年7月21日申请的题为“HandheldDeviceForHandheldVisionBasedAbsolutePointingSystem”的第11/187,387号美国非临时申请案;以及2005年1月12日申请的题为“ElectronicVisionBasedRemoteControlSystem”的第60/593,413号美国临时申请案。
技术领域
本发明的领域涉及电子系统技术,且更明确地说涉及一种手持式基于视觉的绝对指向系统。
背景技术
图1和图2展示用于控制电子设备的最相干类型的手持式装置。图1展示鼠标101,其控制光标102在计算机的显示器100上的位置。鼠标101通常具有安装在其下侧的跟踪球(trackball),其用于将其“在上面滚动”的水平表面103上鼠标的位置转译成显示光标102的计算机显示器100上的位置。典型的鼠标将把描述鼠标的跟踪球的滚动活动的数据传输(例如,以无线方式经由射频(RF)发射器,或以电子方式经由电缆)到计算机。所述计算机进而将此信息转译成光标102的适当的屏幕位置。鼠标101还包含按钮,其在光标102与计算机屏幕200上显示的“按钮”或“菜单”或其它特征重叠或指向所述“按钮”或“菜单”或其它特征时可在计算机上触发某些行动。
图2涉及用于控制娱乐相关电子设备的手持式装置。当前,就电视而言,典型的系统包含耦合到外部“盒(box)”203的电视,所述外部“盒”203具有经设计以向电视提供某一类型的“信号”的电路。这种电路的实例包含有线TV接收器电路、卫星TV接收器电路、盒式磁带录像机(VCR)电路、数字视频光盘(DVD)播放器电路、游戏装置电路、计算机的电路、音乐播放器电路(例如,CD播放器电路、立体声接收器电路等)。未来数年期间,预期越来越多的上述电路将集成到电视中而不是位于外部盒中。
不论提供电视信号的电路的封装和位置如何,通常使用远程控制201在电视显示器200上作出用户选择。作出选择的机会通常呈现为叠加于电视信号上(或与其集成)的某种软件产生的用户接口。所述用户接口通常包含有边界的区域和/或图标(例如,区域/图标204、205)。通常,这些区域/图标204、205中的一者在所述用户被认为已暗示所述特定的区域/图标时被“突出显示”。为了暗示特定的区域/图标,用户按压“指向”待突出显示/暗示的下一区域/图标位于电视显示器200上的方向的多个箭头按钮202中的一者。远程控制201通常还包含“选择”按钮,其当被用户按压时触发电视的电路或外部盒电路采取符合突出显示的区域/图标所表示的内容的某一行动(通常经由红外(IR)码的传输)。
图3展示数码相机也已被集成到手持式装置中。除了标准“手持式数码相机”外,数码相机也已被集成在具有不同于拍摄图片的传统或主要目的的设备中。例如,现在可获得具有集成的数码相机的手机。图3展示处于拍摄数码图片302的过程中的手机301。
发明内容
本发明描述一种涉及识别个别一个或一个以上固定标记的一个或一个以上图像的方法。每一标记定位在显示器上或定位成接近显示器。所述图像出现在手持式装置内的像素化传感器(pixilatedsensor)上。所述方法还涉及确定所述显示器上或接近所述显示器的在所述识别期间所述手持式装置所指向的位置。所述方法还涉及从所述手持式装置发送根据识别个别一个或一个以上固定标记的所述一个或一个以上图像而获得的信息。所述方法还涉及触发由电子设备电路响应于所述手持式装置发送指示需要一行动的信号而采取的所述行动。
附图说明
附图的各图中以举例而非限制的方式说明本发明,附图中相似参考指示类似元件,且其中:
图1展示计算机鼠标(现有技术);
图2展示远程控制(现有技术);
图3展示具有集成的数码相机的手机(现有技术);
图4a到图4c展示对绝对指向的不同描绘;
图5a展示具有集成的相机的手持式装置的实施例,所述集成的相机用于实现手持式装置相对于电子设备显示器的绝对指向;
图5b到图5e展示用于计算绝对指向位置的标记的各种布局;
图6a到图6d展示由手持式装置的相机关于手持式装置面对电子设备显示器的方式所捕获的不同图像;
图7a到图7c展示可经执行以实现例如图5a的手持式装置的手持式装置的绝对指向的不同过程;
图8展示用于确定手持式装置在显示器上的绝对指向位置的三维坐标系统;
图9展示用于确定手持式装置在显示器上的绝对指向位置的过程;
图10a和图10b展示当已知手持式装置的绝对指向向量和滚动位置时能够实施的“虚拟拨号盘”功能;
图11展示能够实现相对于电子设备显示器的绝对指向控制的手持式装置的设计的实施例;
图12展示可以图11所呈现的设计实施的示范性光学传递功能;
图13a和图13b展示可形成的且导向手持式装置的传感器的不同标记大小;
图14展示确定通过手持式装置的传感器观察到的标记位置的方法;
图15展示通过手持式装置的传感器观察到的标记图像的示范性集合;
图16展示针对两个不同指向方向的传感器视场;
图17展示用于一个标记系统的显示器和所述显示器的相应的传感器图像;
图18展示校准和“实际使用”手持式装置指向情形;
图19展示在两个不同方向上辐射的标记;
图20展示用于滚动手持式装置的传感器上的标记图像;
图21a和图21b展示三个标记系统;
图22展示四个标记系统;
图23a到图23e展示含有处理器的不同结构。
具体实施方式
1.0绝对手持式装置指向
现在,描述一种与电子设备一起使用的“绝对指向”手持式装置。来自手持式装置的绝对指向可涉及:1)确定显示器上或接近显示器的手持式装置正指向的位置;和2)在所述位置处呈现某种图像(例如,光标、图标、突出显示区域、菜单选择),和/或根据所述位置处提供的用户接口特征触发某种行动。举例来说,在简单的光标的情况下,手持式装置指向于显示器表面处,且光标显示在显示器上手持式装置正指向的位置处。如果手持式装置移动以便指向显示器上新的位置,那么光标显示在所述新的位置处。
来自手持式装置的绝对指向还可(或单独)涉及:1)确定接近显示器的手持式装置正指向的位置(例如,放置成接近显示器的特定电子设备的位置);和2)在显示器上呈现某种图像(例如,光标、图标、突出显示区域、菜单选择),和/或从所述位置处触发某种行动(例如,促使特定电子设备因其正被指向的缘故而呈现图像或采取某一特定行动)。来自手持式装置的绝对指向还可(或单独)涉及:1)确定正指向特定器具(例如,灯)或其它类型的电气设备;和2)在所述器具或其它类型的电气设备处触发某种行动。为了简洁起见,以下论述将主要(但不完全)涉及上文最初描述的绝对指向使用情况,其中手持式装置指向显示器并在显示器上所述位置处或从显示器上所述位置引起某一活动。
在触发某种行动的情况下,手持式装置可指向作为显示器上显示的用户接口(例如,图标或菜单选择)的一部分的特征。此处,将所述特征理解为意味着,通过经由用户接口控制的电子设备将采取某种行动(例如,选择电视信号、打开文件、启动软件例行程序等)。如果持有手持式装置的用户采取某种行动(例如,按压手持式装置上的按钮或“迅速移动(jerk)”他/她的手腕),那么信号就从手持式装置发送,所述信号最终解译为意味着用户需要所述特征所表明的行动。
图4a到图4c例示手持式装置401与显示器400′之间的绝对指向的实例,其中,在图4a到图4c的每一者上,手持式装置401位于不同的位置并指向不同的显示器位置(“X”)。图4a到图4c的每一者展示其各自手持式装置401和显示器400′定向的正视图(i)、俯视图(ii)和侧视图(iii)。正视图4a(i)、4b(i)、4c(i)从显示器400′前方并面对显示器400′的角度展示其各自手持式装置401和显示器400′的定向。
俯视图4a(ii)、图4b(ii)、图4c(ii)从显示器400′上方径直俯视到达显示器400′和手持式装置401的顶部的角度展示其各自手持式装置401和显示器400′的定向。侧视图4a(iii)、图4b(iii)、图4c(iii)从离开显示器的“左”手侧直视显示器侧部和手持式装置侧部401的角度展示其各自手持式装置401和显示器400′的定向。此处,术语“左”是从站立在显示器400′前方并面对显示器400′的观察者的角度取用的。
注意,这些描绘指示+y′方向是相对于显示器400′表面的观察者垂直移动的方向,+x′方向是相对于显示器表面的观察者向右400′水平移动的方向,且+z′方向是从显示器400′表面的前方径直移开的方向。
图4a展示当手持式装置401在显示器的左手侧下方并指向显示器的右上角附近的位置时的第一组透视图。图4b展示当手持式装置401在显示器的右手侧下方并指向显示器的左下角附近的位置时的第二组透视图。图4c展示当手持式装置401在显示器的左手侧上方并指向显示器的右下角附近的位置时的第三组透视图。重要的是,在简单的光标操作的情况下,将使光标出现于在图4a(i)、图4b(i)和图4c(i)中观察到的每一“X”位置处。在触发某种活动的情况下,某种用户接口或图标可呈现于在图4a(i)、图4b(i)和图4c(i)中观察到的每一“X”位置处。
图5a展示能够实现如刚才上文参看图4a到图4c所描述的绝对指向的手持式装置501、显示器500'和电子设备503的更详细的实施例。手持式装置501包含相机和无线发射器505。从由手持式装置的相机捕获的图像取得或处理的信息由手持式装置的无线发射器传输到无线接收器508,或者,可使用例如通用串行总线(USB)或RS-232串行电缆的有线连接来实现手持式装置与电子设备503之间的通信。负责控制光标在显示器500上的呈现和/或在显示器500′上呈现用户接口的电子电路(例如,处理器507或控制器或不执行程序代码的电路)接收由手持式装置501发送的信息。电子电路可集成在各种类型的电子设备中。举例来说,电子设备503可以是以下各项中的任一者:a)电视;b)卫星TV接收器;c)有线TV接收器;d)VCR;e)DVD播放器;f)计算机;g)CD播放器;h)音乐接收器和/或播放器;i)视频游戏盒或含有游戏电路的某一其它类型的设备;j)IPTV接收器和/或电视;k)从例如上文a)到j)中列举的那些电子设备的一者或一者以上接收信号的“接收器”;l)家庭和/或办公自动化设备(例如,包含用于“接通”和“断开”家用开关的电路的设备)。
根据某些基本可能的操作,响应于接收到此信息,电子电路促使光标(或其它图像)呈现在手持式装置501正指向的显示器位置处,和/或促使处于手持式装置501正指向的显示器位置处的用户接口特征以某一方式突出显示。此处,注意,可由传感器检测的固定标记504′_1和504′_2定位成接近显示器500′。如下文紧接着将参看图6a到图6d所描述:1)手持式装置的相机观察这些固定标记504′_1到504′_2的位置;和(2)通常,从手持式装置501的面506的角度来看,这些位置中的至少一者或一者以上随着手持式装置的位置和指向方向而“变化”。
通过用手持式装置的相机捕获这些固定标记504′_1到504′_2的位置,且通过自动执行使观察到的标记位置与显示器表面上的所指向位置相关的数学关系式(在手持式装置处,利用上文提及的电子电路,两者的组合等),可使光标出现在所指向的显示器位置处,和/或可根据所指向的显示器位置处呈现的用户接口特征触发某种行动。图5a中的固定标记是一种可能的两个标记的布置。包括相对于彼此以及相对于显示器500′放置在其它位置的一个、两个、三个、四个或更多标记的其它布置是可能的。
如上所述,可使用各种数目的标记的各种布置来实现绝对指向。本质上,如果手持式装置沿着某一轴“移动”,那么从手持式装置的传感器的角度来看,标记的定位将沿着同一轴“移动”。举例来说,如果手持式装置沿着x轴移动,那么手持式装置的传感器的沿着x轴的标记的像素位置将变化。因此,标记的特定放置可依据不同实施例而不同。此外,增加标记数目实现较精确地计算手持式装置的指向位置的能力。然而,如下文章节4.0中进一步更详细描述,在仅使用单个标记的情况下可构想出至少一些应用的充分的准确性。
图5b到图5e探究单个标记(图5b)、两个标记(图5c)、三个标记(图5d)和四个标记(图5e)的实施例的一些可能的标记布局布置。对于图5b到图5e中观察的实施例中的每一者来说,标记与显示器之间的距离可变化(当然,所述距离不应使标记无法由手持式装置看到)。此外,也可能将标记定位在显示器本身上。
图5b展示沿着显示器的侧部放置单个标记514的实施例。在替代方法中,可将标记放置在显示器的角落中或附近。图5c(i)展示沿着显示器的同一侧定位两个标记515_1、516_1的两个标记的实施例。图5c(ii)展示沿着不同的显示器侧部定位标记对515_2、516_2的每一者的另一实施例。在其它实施例中,两个标记的实施例的一个或两个标记可定位在显示器的一个或一个以上角落中或附近(例如,通过将标记对放置在同一角落附近,或将第一标记放在第一显示器角落处且将第二标记放在另一显示器角落处)。在两个标记系统中,标记对可放置在相同或不同的z′位置。
图5d(i)到图5d(iv)展示各种三个标记的实施例。图5d(i)展示沿着不同显示器侧部定位的三个标记的每一者。图5d(ii)展示沿着同一显示器侧部定位的三个标记的每一者。图5d(iii)展示沿着同一显示器侧部的三个标记,其中所述标记中的两者具有相同的y′轴位置。图5d(iv)展示沿着同一显示器侧部的三个标记,其中一个标记具有与其它两个标记不同的z′位置。各种其它布置也是可能的。一般来说,只要三个标记可被手持式装置看到且其各拥有唯一的x′、y′、z′位置,就可实施可行的系统。
图5e(i)到图5e(iii)展示各种四个标记的实施例。根据图5e(i)的方法,所述标记的每一者沿着显示器的不同侧部定位。根据图5e(ii)的方法,所述标记的每一者定位在显示器的不同角落。根据图5e(iii)的方法,一个以上标记沿着显示器的同一侧部定位。与两个和三个标记的系统一样,只要三个标记可被手持式装置看到且其各拥有唯一的x′、y′、z′位置,就可实施可行的系统。
图6a到图6d展示对于相对于显示器表面的不同手持式装置位置和指向定向(类似于图4a到图4c)来说,通过手持式装置的相机观察到的两个标记的系统的标记图像。图6a到图6d的每一者包含四个子图(i)到图(iv)。图6a(i)、图6b(i)、图6c(i)和图6d(i)的每一者包含对应于手持式装置的相机的“图像捕获”部分的像素化传感器610上观察到的显示器标记604′_1和604′_2的示范性图像604_1、604_2。图6b(ii)、6c(ii)和6d(ii)的每一者展示各个手持式装置位置和指向方向的前视图,图6b(iii)、图6c(iii)和图6d(iii)的每一者展示各个手持式装置位置和指向方向的俯视图,且图6b(iv)、图6c(iv)和图6d(iv)的每一者展示各个手持式装置位置和指向方向的侧视图。
上文通过各图4a到图4c所描述的(x′,y′,z′)坐标系统保持用于图6a到图6d的(ii)、(iii)和(iv)子图。对于(i)子图,引入新的坐标轴(x,y)来表示像素化传感器的特定像素位置。此处,+y方向对应于沿着传感器的表面垂直向上移动,且+x方向对应于沿着传感器的表面水平向右移动。像素化传感器可通过例如CMOS、CCD或光电二极管阵列的各种技术来制造。
首先参看图6a,注意,图6a(ii)到图6a(iv)指示手持式装置601直接面对显示器600′的中心。因此,显示器600′上由手持式装置601指向的位置602′对应于显示器600′的中心。在此位置中,标记604′_1和604′_4在手持式装置的传感器610上将呈现为图像604_1和604_2。此处,在像素位置x′=10,y′=14处观察到标记图像位置604_1;在像素位置x′=16,y′=10处观察到标记图像位置604_2。
在操作之前,需要进行初始校准程序以便确定将传感器610上检测到的标记位置转化成显示器600′上手持式装置正指向的位置的数学关系式内出现的变量的值。存在若干种可执行校准的方式,且任何特定程序可取决于所使用的系统的特定实施例。根据一种校准方法,用户指向一个或一个以上界定的位置(通常,在屏幕上或附近),且手持式装置将标记图像604_1、604_2位置记录在传感器阵列610上(下文章节4.0中给出特定校准程序的更详细描述)。在涉及较少标记的实施例中,校准程序可涉及依次指向屏幕上(例如,相对的角落处)临时显示的可见标记(通常为两个)。
校准之后,可参考其初始校准位置来界定传感器610表面上观察到的标记图像604_1、604_2位置响应于手持式装置的位置和指向方向的变化而发生的变化;所述初始校准位置又可与显示器600′上手持式装置601正指向的位置相关。
图6b(i)展示当手持式装置601保持定位在显示器的中心前方(如图6a中)但指向显示器的顶部中心时观察到的传感器图像。由于手持式装置601的垂直指向方向变化但相对于图6a的水平位置固定,所以标记图像604_1和604_2的x坐标值与其在图6a(i)中的值相比将保持不变(即,分别对于标记图像604_1和604′_2来说,x′=10和16);但是,其y'坐标值的每一者相对于其在图6a(i)中的值将增加。此外,图6b(i)的标记图像604_1与604_2之间的垂直距离与图6a(i)中的此距离相比将被压缩(即,图6b(i)中16-13=3个像素,而图6a(i)中14-10=4个像素)。
图6b(i)的标记图像位置的观察到的变化可数学上与显示器600′上手持式装置的正确指向位置相关;其又可用于在指向位置处产生光标或根据指向位置处出现的用户接口特征触发行动。下文标题为“绝对手持式装置指向的数学关系式”的章节4.0中进一步更详细提供对此类数学关系式的详尽论述。
一般来说,使用的标记越多,所指向的显示器位置就可确定得越精确,但需要更多处理。章节4.0中提供适于实施一个、两个、三个和四个标记系统的数学关系式。尽管章节4.0中提供的关系式主要提供用于通过分析检测到的标记图像位置来确定显示器位置上或接近显示器位置的手持式装置的绝对指向方向、位置和定向的关系式,但理论上也可能通过分析标记图像大小和形状来增强这些系统的准确性。
图6c(i)展示当手持式装置601“上升”到处于其在图6b中的位置正上方的位置、但如图6(a)中直接面对显示器600时观察到的传感器图像。因为手持式装置601物理上相对于其在图6(a)和图6(b)中的位置上升并如图6(a)中直接面对显示器,所以标记图像604_1和604_2的x坐标值将再次保持不变,但图6c(i)的标记图像604_1与604_2之间的垂直距离与图6b(i)中的此距离相比将稍许扩展(即,图6c(i)中17-13.5=3.5,而图6a(i)中16-13=3)。
同样,图6c(i)的标记图像位置的观察到的变化可数学上与显示器600′上手持式装置的正确指向位置相关;其又可用于在指向位置处产生光标或根据指向位置处出现的用户接口特征触发行动。
图6d(i)展示当手持式装置601从其在图6c中的位置径直向其左侧移动、但调节其指向方向以便保持指向图6c中所指向的相同显示器位置602′时,观察到的传感器图像。因为手持式装置沿y轴不作出任何变化,所以图6d(i)中标记图像604_1和604_2的y′坐标值与其在图6c(i)中的值相比保持不变。此外,因为手持式装置的面沿x′轴和z′轴两者均已作出相当大的变化,所以标记图像的x坐标值与其在图6c(i)中的值相比发生相当大变化。同样,图6d(i)的标记图像位置的观察到的变化可数学上与显示器600′上手持式装置的正确指向位置相关;其又可用于在指向位置处产生光标或根据指向位置处出现的用户接口特征触发行动。
图7a到7c展示可由具有不同系统设计的绝对指向手持式装置系统执行的方法。最值得注意的是,各种设计之间的差异涉及由手持式装置执行的处理的程度。参看图5a以及图7a,图7a描绘一种方法,其中手持式装置501不仅捕获标记图像数据,而且还执行将观察到的标记图像位置转译成显示器500上特定的所指向位置所需的所有数学关系式计算。
因此,手持式装置501将显示器上所指向位置的坐标传输714到无线接收器508。整个过程包含手持式装置501:1)用其相机捕获711标记图像数据;2)识别712相机的像素化传感器上各个标记图像的位置;3)通过用数学关系式进行计算来确定713显示器上手持式装置的所指向位置;4)将所指向位置发送714到无线接收器508。负责控制显示器500上的显示内容的电子电路接着可促使所指向位置处出现某一效果715(例如,光标、突出显示菜单特征等)。
图7b描绘一种方法,其中手持式装置501不通过用数学关系式进行计算来确定显示器上手持式装置的所指向位置,但除了用其相机捕获721标记图像数据外,还识别722相机的像素化传感器上各个标记图像的位置。因此,手持式装置501将标记位置传输723到无线接收器508。负责控制显示器500上的显示内容的电子电路接收标记位置,并通过用数学关系式进行计算来确定724显示器上手持式装置的所指向位置;且接着可促使所指向位置处出现某一效果725(例如,光标、突出显示菜单特征等)。
图7c描绘一种方法,其中手持式装置501既不确定显示器上手持式装置的所指向位置,也不识别相机的像素化传感器上各个标记图像的位置。而是,手持式装置501仅仅用其相机捕获731标记图像,并将描述这些图像的信息传输732到无线接收器508。负责控制显示器500上的显示内容的电子电路接收标记图像数据,且:1)识别733相机的像素化传感器上各个标记图像的位置;2)通过用数学关系式进行计算来确定734显示器上手持式装置的所指向位置;以及4)接着可促使所指向位置处出现某一效果735(例如,光标、突出显示菜单特征等)。
在图7a到图7c的每一者中,注意,随着时间变化重复捕获711、721、731图像数据,使得可以快速规律性确定显示器上新的所指向位置(例如,使得在显示器500上可至少准流畅地跟踪光标的移动)。此外,注意,图7a到图7c的每一者例示使得显示器上所指向位置处出现一效果的过程。二者择一或以组合方式,可从手持式装置发送手持式装置的“按钮按压”或“滚动行动”形式的额外信息,以便触发电子设备采取某种行动。举例来说,如果所指向位置对应于显示的图标或菜单,且如果从手持式装置发送的针对所指向位置的信息也包含某种按钮按压或滚动行动,那么负责确定显示内容的电路可解译从手持式装置发送的信息的集合,从而意味着用户已选择所述图标或菜单项。
尽管下文章节4.0中进一步更详细提供详细的数学关系式,但图8a到图8d和图9提供至少在某些实施例中可应用于可用的数学关系式的某些较层次的细节,所述可用的数学关系式将观察到的标记图像位置转译成显示器800′的表面上或接近显示器800′的表面的特定所指向位置802′。图8a到图8d说明可在一组特定的可适用的数学关系式中界定和应用的各种三维概念。
根据图8a的描绘和图9的流程,显示器800′上所指向位置802的确定涉及:1)确定901比例因数(M);且2)执行902数学关系式,所述数学关系式使用比例因数M将观察到标记的传感器轴位置转译成显示器上手持式装置正指向的相应的轴位置。在一种方法中,计算第一比例因数Mx以用于一个装置/显示器坐标轴对(x,x′),且计算第二比例因数MY以用于第二装置/显示器坐标轴(y,y′)。因此,图9中观察的过程本质上执行了两次,一次针对x,x′轴对,且另一次针对y,y′轴对。
比例因数Mx本质上是沿x轴的传感器上标记的位置的观察到的变化(相对于沿x轴的特定传感器位置),与显示器上沿x′轴的所指向位置的位置变化(相对于沿x′轴的显示器上的特定位置)之间的比率;其中在校准期间确定特定的传感器和显示器位置。如下文章节4.0中更详细描述,如果从观察到的标记图像搜集到关于手持式装置的额外细节,那么可使比例因数的精确度改进。明确地说,如果确定手持式装置相对于显示器的位置(例如,显示器的中心802与手持式装置的前方之间的距离L820)和/或手持式装置相对于显示器的定向(例如,手持式装置的901的视角θ),那么可增强比例因数的精确度。
根据各种实施例:1)在计算手持式装置偏转或手持式装置偏转的变化时,跟踪标记图像位置的向左或向右移动;和2)在计算手持式装置位置时,跟踪标记图像位置的相对间隔。一般来说,所有标记图像位置之间的间隔与距显示器的距离成反比,且不同对的标记图像位置的相对间隔取决于手持式装置相对于显示器表面所成的角度。
图8a和图8b还指示可从标记图像位置跟踪手持式装置定向的另一特性,称为手持式装置的“滚动”Φ。此处,手持式装置的滚动对应于手持式装置围绕其指向向量(例如,从手持式装置的前方突出的向量,其与显示器的截距对应于显示器上的所指向位置)的轴旋转。在计算手持式装置的滚动Φ时,检测标记图像位置的共同旋转。在一实施方案中,假定指向向量源自手持式装置的传感器阵列的中心。图8a和8d展示手持式装置的倾斜γ。也可确定手持式装置的有效倾斜或有效倾斜的变化,以便更准确地界定显示器上的所指向位置。
由于传感器轴在装置滚动期间相对于屏幕轴旋转,所以计算出的光标位置可能将受到滚动动作的影响,因此导致适当光标放置过程中的偏移误差。然而,如果在用于确定显示器上的光标位置的算法中适当说明传感器阵列的旋转,那么手持式装置的滚动对其指向向量计算没有影响。另外,根据一个实施方案,手持式装置的滚动可用于触发由电子设备采取的某种行动。举例来说,可将用户的“手腕扭动”解译为“按钮按压”(例如,用户将手持式装置指向图标或用户接口菜单项,并接着扭动他/她的手腕来“选择”所述图标或菜单项)。图10a和图10b例示跟踪手持式装置的滚动行动的另一有用的应用。图10a和图10b涉及“虚拟拨号盘”功能。根据虚拟拨号盘实施方案,拨号盘1010的描绘显示于显示器上。图10a中,将拨号盘说明为设定为值“低”1011。
如果用户将手持式装置指向拨号盘并扭动他/她的手腕,那么拨号盘可被显示以便结合用户的手腕旋转而旋转。因此,如图10b中所看到,用户已将手持式装置指向拨号盘并顺时针方向扭动他/她的手腕1002。作为响应,显示的虚拟拨号盘1010顺时针方向旋转直到认为用户的手腕旋转“停止”为止;根据图10b,其处于设定值“中等”1011处。根据另一实施方案,预期用户在手持式装置旋转期间按压手持式装置上的按钮以便激活拨号盘1010的旋转(即,用户必须结合手腕旋转而按压按钮)。因此,手持式装置发送:1)显示器上的所指向位置(或可用来确定显示器上的所指向位置的信息);2)手持式装置的滚动位置(或可用来确定手持式装置的滚动行动的信息);3)表示用户正按压按钮的信息。
根据一种方法,标记本身充当手持式装置的传感器检测到的光的来源(例如,标记实施为LED)。在其它实施方案中,手持式装置充当手持式装置的传感器检测到的光的来源。举例来说,根据一个此类方法,手持式装置包含红外(IR)“闪光灯”,其将IR光照耀到显示器的区域中,且每一标记实施为“无源”反射器。可使用额外的图像处理来增强信噪比。举例来说,可从所反射图像中减去手持式装置可检测的所发射的光的特性,以本质上改进检测到的标记图像的信噪比。在另一实施例中,对闪光灯进行“闪控”,使得刚好在检测标记图像之前取得待从每一检测到的标记图像中减去的所发射的光的表示。并且,可将IR滤光器放置在相机上方以帮助拒绝非想要的光。
可从反射标记的使用中受益的其它应用包含通过使用(例如)家庭和/或办公自动化电路将单个手持式装置应用于多个器具。根据一种方法,反射参考标记位于待控制的器具上或附近,且对于每一装置来说,反射标记布置成预定的空间图案。手持式装置接着可通过辨别特定器具的特定图案来辨别所述特定器具。此处,注意,所述器具中的一者或一者以上甚至可能不具有显示器。更好地来说,器具本身和/或其远程使用可能过分简单化(例如,仅具有几个状态,例如“开”和“关”),使得指向器具和在手持式装置上进行一次或几次按钮按压的简单动作足以实现装置的使用。此类器具的实例包含灯、收音机和电视。
各种格式可用于识别特定装置/器具的空间标记图案。实例包含与条形码(即,通用产品码)和简单的开/关二进制码中使用的那些格式类似的格式。每器具所需的标记的数目将取决于需要识别的不同器具的数目和/或所使用的图案格式。对于大多数家用应用,此数目很可能会较小(小于五)。当将手持式装置指向器具(例如,灯)并按压手持式装置上的适当按钮(且/或对装置做出适当手势)时,手持式装置经编程以直接或通过中央命令单元(例如,电子设备503(如X10))通过无线传输(例如,RF或IR)将适当命令发送到器具,所述中央命令单元实际上将命令直接发送到所指向的器具。
根据一种方法,在包中发送命令,所述包包含正指向的器具的身份(即,手持式装置经编程而具有识别每一特定器具的图案辨别能力)。在替代方法中,手持式装置将图像图案和手持式装置行动(例如,按钮按压、滚动行动等)或命令发送到另一装置(例如,上文提及的中央命令单元)。接着另一装置:1)辨别所指向的器具;和2)将命令发送/转发到所指向的器具。可将多种命令传送到器具,包含简单的通电/断电和增加/减少不同的器具性质(例如,光强度、炉温、音量等)。
在手持式装置直接命令器具的情况下,或在中间单元(例如,上文提及的命令单元)以无线方式命令器具的情况下,所述器具将需要配置有某种命令检测和功能实行电路,其在相当程度上可视为家庭和/或办公自动化电路(例如,具有耦合到处理器/控制器的无线接收器的集成电路(具有可执行代码),和/或耦合到开关的逻辑状态机电路(无可执行代码),或其它功能实行电路(例如,“选择”或“设定”电路(例如,通道设定/选择、温度设定/选择、音量设定/选择等))。还应注意,通过使用手持式装置进行的对过分简单化器具的远程控制可与显示器上所指向位置的显示分离或组合而实施。
2.0手持式装置硬件设计实施例
图11和图12涉及一种手持式装置的硬件设计。根据图11,手持式装置可包含孔径1101(定位在手持式装置正面上)、包含各种光学组件(例如,透镜、漫射器、滤光器等)的光学通道1102,和像素化传感器1103。孔径1101、光学通道1102和传感器1103一起形成数码相机,其输出1109耦合到处理器或控制器1104(或者,数码相机的输出值可写入到存储器1105中,从存储器1105处读取所述输出值并将其提供到处理器或控制器1104)。
在处理器/控制器1104上执行程序代码1106,使得可执行各种功能(例如,标记图像位置检测、用于将检测到的标记图像位置与特定的所指向的显示器位置相关的数学计算、用于将检测到的标记图像位置与手持式装置的滚动位置相关的数学计算,有线或无线通信接收和发射协议等)。图11中未展示用于存储手持式装置的程序代码的非易失性存储器装置,也未展示耦合到处理器/控制器1104的一个或一个以上按钮。在一实施例中,存储器1105由动态随机存取存储器(DRAM)单元组成(由于其低成本和低功率消耗的缘故)。
将控制器理解为具有特殊目标指令集的处理器。将处理器理解为经设计以执行程序代码1106指令的逻辑电路。存在不同形式的处理器和控制器,例如,微处理器、微控制器、嵌入式处理器和嵌入式控制器。处理器或控制器还耦合到无线收发器电路1107;所述无线收发器电路1107又耦合到发送/接收无线信号的天线1108。可以了解的是,处理器/控制器1104可用专门逻辑电路代替,所述专门逻辑电路经设计以执行可适用的数学计算和/或标记图像位置检测功能。
根据符合图7a的流程,来自像素化传感器1103的数据由处理器/控制器1104处理以检测像素化传感器1103上的标记图像位置。处理器/控制器1104接着执行数学计算以将标记图像位置与特定的所指向的显示器位置相关。处理器/控制器1104接着准备识别所指向位置的数据以用于无线传输,并促使将所述数据转发到无线收发器电路1107,所述无线收发器电路1107又促使从无线装置发送所述数据。
无线收发器电路包含发射和接收电路两者。在较简单的实施例中,电路1107是无线发射器电路(即,手持式装置未设计成接收和处理除了进入相机孔径的电磁辐射以外的无线信号)。存在各种无线解决方案,例如,无线通用串行总线(USB)、Z波、IR、IEEE802.15.1(BLUETOOTH)、IEEE802.15.4(ZigBee)或IEEE802.11(WiFi)标准,以及例如USB或RS-232串行标准的有线解决方案。在另一可能的实施方案中,手持式装置通过布线而不是以无线方式将信息发送到电子设备。因此,无线收发器1107和天线1108由驱动器电路1107和耦合到可适用的电子设备的布线代替。
根据符合图7b的流程,来自像素化传感器1103的数据由处理器/控制器1104处理以检测像素化传感器1103上的标记图像位置。处理器/控制器1104接着准备识别标记图像位置的数据以用于无线传输,并促使将所述数据转发到无线收发器电路1107,所述无线收发器电路1107又促使从无线装置发送所述数据。
根据符合图7c的流程,准备来自像素化传感器1103的数据以用于由处理器/控制器1104进行无线传输,并促使将所述数据转发到无线收发器电路1107,所述无线收发器电路1107又促使从无线装置发送所述数据。在符合图7c的替代实施例中,处理器/控制器1104由仅将像素化传感器数据转发到无线收发器电路1107的电路代替。注意,可以了解的是,无线收发器电路1107可由驱动器电路代替,所述驱动器电路用于通过朝向显示器敷设电缆而驱动来自手持式装置的电信号。
图12展示手持式装置的相机的示范性光学通道设计。根据图12的描绘,“带通滤波器”本质上形成有像素化传感器1103的光学传递功能和内置到手持式装置的光学通道1102中的光学滤光器的传递功能。根据图12的特定实施例,像素化传感器1103是基于硅的CMOS装置。也可使用其它传感器类型,例如CCD和光电二极管阵列。CMOS装置具有光学传递功能1203,其本质上对应于在接近940nm的峰值响应以上在其通带的高端下降(roll off)的低通滤波器。使光学通道1102包含红外(IR)高通滤波器1202,其在940nm以下在其通带的低端下降。例如Kodak Wratten87C、Hoya IR-85或其等效物的市售IR通过滤波器(IR-pass filter)适于此目的。
这两个滤波器1202、1203的组合产生约940nm的窄通带1210。此处,返回参看图5,如果使标记504_1到504_4本身为IR发射器(例如,发光二级管(LED)),那么理想地,像素化传感器1103将在其输出1109处提供较强的检测到的“信号”,所述“信号”主要对应于从标记504_1到504_4接收的电磁辐射,其中通过手持式装置的孔径1101接收的其它电磁辐射产生极少杂音。
然而,其它光学方法是可能的。举例来说,手持式装置501可经设计以包含其自身的IR发射器,且标记504_1到504_4可仅实施为镜(或,进一步说,IR反射镜)。光学通道1102本身的传递功能可以是特定的通带(例如,通过包含高通滤波器和低通滤波器两者)。此外,可以了解的是,通过具有对应于高通滤波器而非低通滤波器的传递功能的像素化传感器,可使光学通道1102的传递功能对应于低通滤波器。
并且,可以了解的是,相机的经设计要实现的通带整体上(即,光学通道和像素化传感器1103两者)可能仅是高通滤波器或低通滤波器。在其它实施例中,可在硬件中执行极少的滤光或不执行滤光,相反,由处理器/控制器1104或利用专门的逻辑电路在软件中执行滤光(如果存在的话)。用于形成标记图像的电磁辐射的波长是设计选择的问题。除了处于IR光谱(约800-950nm)内的光谱外,还可使用针对标记图像的其它可能的波长范围。一般来说,基于市售光源和传感器,使用光谱的可见到近IR(约400-1000nm)区域是优选的。虽然基于硅的检测器阵列(例如,CMOS和CCD)最适于此波长范围,但可使用例如砷化镓和锗的其它材料以进一步扩展到IR中。
注意,如下文参看图13b更详细描述,可使光学通道1102包含漫射器或“焦点未对准的”光学路径以有意地使标记图像模糊,使得其更易于检测。较大的标记大小可允许较准确地确定标记的真正中心位置。这可使用产生子像素分辨率的插值算法来实现。
3.0图像标记检测处理方法
图13a、图13ab、图14和图15涉及标记图像位置检测处理方法。根据图7a和图7b的系统方法,由手持式装置执行标记图像位置检测。根据图7c的系统方法,由与负责控制显示器上的显示内容的电子设备相关联的电路(或至少耦合到所述电路的电路)执行标记图像位置检测。
图13a展示由标记图像的辐射照明的像素化传感器的描绘。举例来说,如果手持式装置的相机的通带对应于带通滤波器(例如,如参看图12所描述),使得(理想地)像素化传感器仅响应来自标记的电磁辐射,那么像素接收的标记辐射的量将决定所述像素的输出值。根据一个实施例,每一像素具有8位输出,从而允许256个不同的强度值。
在(理想地)仅标记图像辐射照射到像素化传感器上的情况下,被来自标记的辐射完全照明的那些像素将产生逼近256的“高”输出值,仅被来自标记的辐射部分照明的那些像素将产生约128的“中等”输出值,且未从标记接收任何辐射的那些像素将产生约0的“低”输出值。当然,手持式装置定位得距标记越远,所陈述的值可能降低。图13a已将被来自标记的辐射照明的那些像素区域描绘为“暗”。显然,可观察到变暗的圆。因此,理想地,圆内的像素的值将逼近256,所述圆外围处的像素的值将约为128,且圆外的像素的值将约为0。在此情况下,这些值的与其相应像素的二维(x,y)坐标相关的集合对应于标记的图像(或者,像素化传感器的输出信号针对此标记图像)。
图13b展示大于图13a的标记图像的标记图像的表示1302。此处,如在光学领域中所充分理解的,光可聚焦为光的较小“点”。图13a表示当光学通道1102中的光学处理经设计以将标记图像聚焦为较小图像时的标记图像。相比而言,图13b展示当光学通道1102包含漫射器或有意地设计有定位在光学通道的输出焦点之前或之后的传感器1103因而有意地使标记图像模糊时的所述同一标记图像。通过有意使标记图像模糊,标记图像较易于通过标记位置检测算法检测。
这种反直觉的结果(即,当标记图像未明确地聚焦时,检测标记图像位置的分辨率得以改进)是由于图像中存在较多像素(即,数据)的缘故。通过适当处理此图像数据,有可能执行高分辨率插值,所述高分辨率插值可实现对图像的真正中心的较准确的确定。这允许随着用户改变他/她的指向方向或定向而进行更好且更平稳的跟踪。用于实现此分辨率增加的折衷办法是传感器上峰值信号较弱,因此,在信号太弱以致无法检测之前可容许的标记图像扩展的量存在限制。实际上,标记图像大小与信号强度之间存在最佳平衡,其取决于若干系统因素,例如,标记图像信号强度、传感器敏感度、传感器上的噪音和背景信号、标记间隔,和标记到用户的最大距离(标记图像一旦在传感器上开始彼此冲击就不得进一步加宽)等。
图14和图15涉及标记位置检测技术。图14展示检测由手持式装置的传感器呈现的多个标记图像的位置的过程。图15提供传感器的输出信号的示范性描绘。根据图14的过程,在传感器的输出信号中检测1401标记图像(在简单情况下,例如图15的标记1505'_1的“标记”)。此处,可(例如)通过识别传感器的像素阵列的具有提供“高”输出值(预定阈值以上)的足够数目的相邻像素的区域来辨别标记。
一旦识别出标记,就进一步处理所查明的标记1504′_1周围的区域1402、1502内的像素数据,以识别标记的“位置”。图13b的标记图像1302可视为与区域1504′_1相关联的数据的示范性说明。回忆一下,每一像素位置具有随着照明像素位置的来自标记的辐射的量增加而增加的相关联的强度值,图13b的标记图像1302可视为强度值的阵列。
如图14所描绘,沿x轴将强度值“水平”求和1403′_1,从而针对所提取的数据区域1504′_1中的每行数据,产生所述行的总计强度值。由于标记图像的形状的缘故,这些总计强度值在所提取的数据区域1504′_1的垂直扩展区域上的分布将近似“钟形曲线”1305的分布(例如,高斯或类高斯分布)。类似地,沿y轴将强度值“垂直”求和1403′_2,从而针对所提取的数据区域1504′_1中的每列数据,产生所述列的总计强度值。
同样,由于标记图像的形状的缘故,这些总计强度值在所提取的数据区域1504′_1的水平扩展区域上的分布将近似另一“钟形曲线”1303的分布。接着,将曲线拟合函数1404_1、1404_2应用于这些分布1303、1305中的每一者以为其每一者界定经拟合的连续曲线1304、1306。接着,将水平拟合曲线1304的最大值取作标记图像1405_1的位置的x坐标值1307(x0),且将垂直拟合曲线1306的最大值取作标记图像1405_2的位置的y坐标值1308(y0)。接着,针对下一标记重复1407所述过程,直到已查明所有标记并确定其位置为止。除了简单的峰值检测外,还可使用其它中心确定方法,且所述其它方法尤其在束分布不是平滑或对称函数的情况下可能是有益的。
一个此类方法基本上确定拟合曲线的宽度(例如,极大半宽-FWHM),并将标记中心取为FWHM点之间的中心位置。在此情况下,中心可能与峰值位置不同。也可使用此方法的其它变化形式。使用这些标记中心确定算法,子像素分辨率似乎是可能的。可实现的分辨率受到信号中的噪音和数字传感器中取样的位的数目限制。举例来说,以8位数字化取样的无噪音信号将允许小于0.005的像素空间分辨率。信号取平均可使此分辨率增加更多。实际上,系统噪音和背景信号的存在导致通常范围在0.01与0.1像素之间的减小的分辨率。
4.0绝对手持式装置指向的数学关系式
下文提供用于实现对于1、2、3和4标记系统的绝对手持式装置指向和位置跟踪的各种数学方法的详细论述。
4.1 1-标记实施例:
根据1-标记实施例的一种方法,主要任务是将位于手持式装置中的传感器的指向方向与显示器上所需的光标位置相关。这通常是涉及显示器(x′,y′)和光标(x,y)两者的水平和垂直坐标的二维问题。由于所述轴正交,所以相关等式可分离,且可为每一轴独立地导出公式。因此,首先提供针对水平轴(x′和x)的计算。接着将这些计算扩展到垂直轴(y′和y)。
图16展示坐标系统和符号规约。从“俯视图”角度来看,说明水平维度中两个不同的指向方向,以展示变量如何相关。类似情形可适用于垂直维度中。使传感器1603与显示器1600′坐标相关的基本等式是:
(1)x′CUR-x′REF=Mx·[x0-xREF」
其中x0是传感器1603的坐标原点或对应于所需的指向方向的坐标(在优选实施例中,x0在传感器1603上的中心像素附近,或更好地说,传感器的视场1604的中心在光标x′CUR处);xREF是传感器1603上参考标记图像的位置(其随着传感器1603移动而移动);x′REF是参考标记相对于显示器1600′的实际位置;x′CUR是显示器1600′上所需的光标位置(其也随着传感器1603移动而移动);Mx是确定传感器1603与显示器1600′坐标之间的映射的放大比例因数(scale factor)或比例常数(proportionality constant)。M取决于若干系统因素(例如,传感器相对于显示器的位置、传感器视场、显示器大小,和传感器相对于显示器的定向),且一般来说,x,x′和y,y′坐标对于M(Mx和My)可具有不同的值(量值和符号)。
等式(1)表示参考标记到显示器光标的距离1605_1、1605_2以及参考标记图像到传感器原点的距离1606_1、1606_2在其各自局部坐标系统中线性相关(即,成比例),且比例常数或比例因数为M。
为了将(1)转化为用于跟踪和移动显示器光标的实际算法,根据一个实施方案,使用在相对于屏幕的特定位置处执行的初始校准例行程序来确定(1)中的若干因数。实际上,x和y位置将对应于传感器1603上的像素数目,且x′和y′位置将对应于显示器1600′上的像素数目。还注意到,像素数目与各自坐标系统中像素的总数目相关,且因此应相应地使x(y)和x′(y′)规格化。
校准期间确定的(1)中的因数为Mx、x0和x′REF(其中,xREF是传感器1603上所测量的参考标记像素数目,且x′CUR是算法的输出——显示器光标的像素数目)。一般来说,x0可以是对应于传感器1603上的原点的任何特定像素数目,然而,最自然地会使用近似中心。举例来说,阵列大小为640×480的传感器将具有x0~320和y0~240。然而,对于一个实施方案,这些值不需要在校准之前明确地确定。实际上,在校准期间自动确定x0和y0,如下文将展示。
因此,MX和x′REF是校准期间明确地确定的两个因数。一种确定x′REF的方法可以是物理上测量其x′位置和显示器1600′上相应的相关像素数目。注意,参考标记不必物理上位于显示器1600′本身内。
一种同时确定x′REF和Mx的较简单且较准确的方法是使用显示器1600′上已知位置处显示的两个可见校准参考点。一般来说,校准参考点将具有不同的x和y坐标,例如位于屏幕的相对角落处。通过将传感器1603依次指向两个校准参考点并针对每一参考点记录传感器1603上相应的标记图像位置(使得记录一对参考标记图像位置——一个针对第一校准参考点且另一个针对第二校准参考点),可针对所述用户位置确定Mx和x′REF两者。在此程序中,x′CALA和x′CALB表示已知的校准参考点位置,且xREFA和xREFB是参考标记的相应记录的传感器图像位置。这些量分别替换等式(1)中的x′CUR和xREF:
使这两个等式进行减法运算产生Mx的以下表达式:
其中,Δx′CAL是显示器上校准参考点的间隔(以像素计)(x′CALA-x′CALB),且ΔxREF是传感器上相应的标记图像位置的所测量的间隔(以像素计)(xREFA-xREFB)。一旦从等式(4)中确定Mx,接着就可从等式(2)或(3)中确定x′REF:
(5)x′REF=x′CALA-Mx·[x0-xREFA]=x′CALB-Mx·[x0-xREFB]
或者,可通过将等式(2)和(3)两者求和并除以2来获得x′REF:
将等式(6)代入等式(1)中并将各项重新整理产生依据所测量的量的光标位置的公式:
其中,Mx是从等式(4)中确定的。等式(7)的右手侧的第一项表示相对于给定指向方向的参考标记图像的实际像素位置(xREF),在校准期间传感器上标记图像的平均像素位置(1/2(xREFA+xREFB)),均以Mx按比例缩放。其基本上确定显示器1600′上光标将随着参考图像在传感器1603上移动而移动的量。右手侧的第二项是屏幕上校准参考点的平均像素位置,且其表示为了实现视线指向(line-of-sightpointing)而施加到光标位置的任何偏移。
图17展示显示器1700′和传感器1703参考系中各个(x和y)坐标的实例。
注意,等式(7)与x0无关,因为其在将(6)代入(1)中时消去。这是基于等式(1)中的x0与等式(2)和(3)中的x0相同的假定。一般来说是这样,但情况不一定如此。换句话说,有效x0将由校准程序期间的指向方向确定。校准期间指向的任何偏移(有意或无意的)均将导致使用期间光标的相等偏移。
如之前所陈述,上述分析关注于水平维度。类似的推导可应用于垂直维度,且等式(1)-(7)在垂直坐标中具有等价的对应形式。因此,通过下式确定y和y′维度中所得的光标位置:
从等式(4)了解到,M(Mx和My两者)是校准期间用户相对于显示器1600'的位置的函数(ΔxREF取决于用户的位置)。因此,如果用户的位置改变,那么M将相应地改变。非常近似地且在大多数情况下,M随着用户距显示器的距离L从其初始化值L0变化而线性地变化。
其中M0是对应于L0的校准比例因数。
根据本方法,参看图18,从传感器1803到参考点1810′_1、1810′_2的中点1811′(例如,显示器1800′的中心)测量L和L0。因此,如果用户移动距显示器1800′或执行初始校准的参考点的距离的两倍那样远,那么M也将加倍。另外,M还取决于用户相对于显示器1800′的视角的变化。可通过在等式(9)中添加三角校正因数来说明视角变化:
其中,θ0是对应于初始校准条件的视角(从屏幕法线测量到的),θ是用户已移动之后的当前视角,且d是显示器上的校准参考点1810_1、1810_2(以实单位(例如,cm或mm)测量)之间的距离(沿x或y轴)。等式(10)是视角和距离变化对比例因数M的影响的准确表达式。然而,在大多数情况下,括号中最后一项是小校正因数,其可被消掉而不会引起M的实质或显著误差。因此,可使用M的近似且简化的表达式:
如在等式(10)中可看到,括号中的项接近1且在以下一般条件下可忽略:当校准期间(θ0)和使用期间(θ)视角相对较小时,或当d与L和L0相比较小时。在典型的操作条件下,用户的视角变化小于~250,且距屏幕的距离至少是校准标记间隔的两倍。在此情况下,由于使用等式(11)而引入的误差小于~1%,其完全在正常情况下用户的感知能力以下。在校准接近θ0=0之后用户移动到系统的操作范围(通常θ~45°)的边缘且用户移动成非常接近屏幕(d~L)的极端条件下,误差为~12%,其可能可由一些用户察觉到。
实际上,可通过校准更接近操作位置(例如,θ0更接近45°)来减小此误差。一般来说,如果预期极端操作条件,需要非常高的指向准确性,或者不可能或不需要进行临时的再校准,那么可使用准确的公式(等式(10))以便使指向误差最小化。但是,对于大多数情况来说,等式(11)适于确定正确的校准比例因数。并且,回忆M具有用于等式(7)和(8)中的x和y分量两者。因此,等式(10)和(11)中出现的视角具有分别确定Mx和My的x和y分量两者。并且,注意,等式(10)和(11)假定运动仅在一个平面中进行,或θ仅具有x或y分量。任意运动的一般情况涉及更复杂的等式且在稍后章节中加以解释。图18所示的x′维度中等式(10)和(11)的几何条件指示手持式装置相对于显示器1800′和参考点1810_1、1810_2从初始校准位置(对应于θ0和L0)向最终位置(对应于θ和L)移动。
如上文所提及,一种说明距离和视角变化的方法将是,当用户的位置改变足以产生指向准确性的显著误差时重复校准过程。在不知道(直接或间接地)L、L0、θ和θ0的情况下,再校准是随着用户的位置改变补偿M的唯一选择。因此,为了避免需要再校准,有必要有效地测量L、L0、θ和θ0,使得可使用等式(10)或(11)。当然,这些因数的直接物理测量将允许校准校正;但是,此方法在实践中并不特别可行。然而,通过向系统添加一个或一个以上参考标记,有可能将距离和视角确定两者并入到基本指向能力中。除了允许自动和动态校准校正外,对多个参考点所实现的额外自由度的敏感度开发了新的能力。2-标记布置的分析是下一章节的主题。
4.2 2-标记实施例:
通过向系统添加第2固定标记,可解决(I)中描述的校准校正问题。可这样做是因为,可在用户相对于屏幕移动时监测标记图像间隔。标记图像间隔的变化可用于确定等式(10)或(11)中的校正因数,而不用明确地知道距离或视角。接着可实时修改M,而无需再校准程序。然而,因为M的变化取决于L和θ两者,所以不可能在没有额外信息的情况下分离距离和视角变化对M的影响。尽管仅可感测并说明其组合的影响,但这对于校准校正来说已足够。下一章节中描述的第三标记的添加允许独立地检测距离和视角。
可以与章节4.1中描述的方式类似的方式在2-标记实施例中执行自动校准校正。在此情况下,由于不必分离距离和视角变化的影响,所以等式(10)和(11)不是必需的。对于校准校正来说重要的仅是标记图像的间隔的变化,而不论所述变化是由距离变化还是视角变化产生。因此,仅需要等式(4)来随着用户移动修改M。在此情况下,等式(4)中的ΔxREF变为传感器上两个参考标记的图像之间的间隔(而不是显示器校准标记间隔)。随着用户相对于屏幕移动,比例因数M将随着ΔxREF变化而自动调节。此动态校准与上文描述的初始校准之间的关键差异是以下事实:用于校准的两个标记在操作期间一直被感测,且因此用户无需执行4.1中描述的校准程序以便在移动之后更新比例因数M。
在一个实施例中,将两个参考标记放置成彼此足够接近并足够接近显示器,使得在所有操作条件下其两者均保持在传感器的视场内。另一方面,其应充分分离使得其可在距显示器最远的操作距离处或在最大视角处进行空间分辨。存在可用于上文参看图5c描论述的参考标记的多种布置(例如,屏幕的相对角落上各一个、居于邻近侧的中心、在同一侧彼此接近等)。每一布置具有其潜在的优点;然而,实践中,两个标记通常位于屏幕的同一侧并分开几厘米(通常5到15cm)。
这种布置是最便利的,因为其允许将两个标记放置在同一罩壳中并用线连在一起以便由单个电源供电。尽管可使用显示器的任一侧,但通常最便利的是将标记设备放置在显示器顶部并接近水平中心。准确的位置并不重要,只要标记组合件在校准之后不会明显移动即可。还应注意,如果两个参考标记具有相同的x′或y′坐标,那么不存在关于正交坐标的额外空间信息,且因此,在此情况下,仅可沿着一个轴执行动态校准校正。然而,对于用作远程控制装置来说,大多数用户的移动将沿着水平(x′)轴,且因此,允许对Mx进行动态校准的具有相同x坐标的两个参考标记对于大多数应用来说是足够的。
基本上,两个参考标记提供关于装置的位置和定向(即,自由度或DOF)的额外空间信息。除了动态校准外,此信息还可用于依赖于对装置的DOF的测量和跟踪的多种其它功能。可使用2-标记实施例跟踪的两个额外DOF是装置滚动(即,围绕传感器的z轴或装置与屏幕之间的线旋转)和距屏幕的距离。如上文所陈述,角度和距离敏感度在2-标记布置中实际上是耦联的,如等式(10)和(11)中所说明。然而,在用户的视角在操作期间不改变许多的情况下,2-标记布置可有效地用于使用等式(9)和(4)的变化形式来监测距离变化:
其中,在此情况下,ΔrREF是传感器上两个参考标记的图像的所测量的间隔,且ΔrREFO是对应于传感器与实际标记本身之间的中点之间的已知距离L0的两个参考标记的图像的间隔。一般来说,传感器上标记的图像之间的间隔的标准公式是 其中Δx是传感器上两个标记的图像的x坐标的差,且Δy是传感器上两个标记的图像的y坐标的差。
使用等式(12)进行距离测量的程序是,记录在传感器与实际标记之间的中点之间的已知距离L0(其可被测量)处,传感器上标记图像之间的间隔ΔrREFO。其后,使用等式(12)跟踪L。并且,由于ΔrREFO和L0是常数,所以可将其组合为系统常数,所述系统常数可凭借经验确定(例如,初始地)并插入等式(12)中。也可能通过使用系统的其它已知方面在不执行上述初始测量的情况下确定并跟踪L。举例来说,如果成像透镜的焦距(或等效地,光学系统的视场和传感器大小)以及实际的参考标记间距Δr′REF是已知的,那么原则上,通过下式确定传感器到屏幕(或放置在屏幕附近的参考标记)的距离:
其中,f是成像透镜焦距,ΔrREF是传感器上参考标记图像的间距,XS是x维度中的传感器大小,且tanθ1/2是传感器系统的半角视场(视场的一半)的正切。
依据关于系统的哪些信息是已知的,等式(13)中的任一表达式可用于确定L。举例来说,典型的布置可能具有10cm的参考间隔、50°的视场,和x维度中具有总共640像素的传感器。对于x维度中40像素的所测量的参考图像间隔,等式(13)提供距屏幕的距离为1.71m。随着用户移动,ΔrREF将相应地变化,且对用户的距离进行跟踪。
等式(12)和(13)基本上是等效的,且可使用任一者。然而,等式(12)将系统参数并入直接测量的量L0和ΔrREFO中,且是一种在先前不了解系统的情况下确定适当比例因数的方式。并且,等式(13)假定用户的视角为0°。另外,可使用说明倾斜观看的类似于(10)和(11)的等式。等式(12)基本上通过直接校准测量程序来说明用户的视角(只要视角在校准之后不变)。
可能使用2-标记实施例测量并跟踪视角以及距离。关键是存在唯一取决于视角(优选为量值和符号两者)并允许角度与距离分离的参考标记的一个或一个以上特性。一个此类特性是在不同方向上定向的两个标记的相对信号强度。图19展示一个此类布置,其中标记沿x′轴指向不同方向。还展示作为相对于屏幕法线的角度的函数的每一标记的强度分布1901、1902。在此布置中,随着用户移动到直视图的一侧或另一侧,来自两个参考标记的相对信号强度(即,两个所测量信号的比率)将与视角成比例而变化,且所述比率对于直视图的每一侧将不同。
以此方式,由于所述比率不取决于距离,所以可确定角度且所述角度与上述距离测量分离。一种实施此配置的直接方法将是,通过用传感器测量并记录针对屏幕的法线轴的每一侧多种已知视角的来自每一标记的信号强度来校准系统。接着计算每一角度的信号比率,且可从数据中产生函数或查找表。或者,如果参考信号的空间分布是已知的,那么可产生或估计信号比率与视角的分析表达式。举例来说,如果每一参考源的角分布为高斯(光源的常见形式),那么两个源的信号比率与视角R(θ)是简单的指数函数,其衰减率取决于每一分布的宽度Δθ以及所述源之间的角距2θ0,其两者均可使用校准程序来测量或确定。
根据以上等式(14),A1是第一参考标记1903的峰值信号强度,且A2是第二参考标记1904的峰值信号强度。
等式(14)和图19假定两个标记具有相同的分布宽度和相对于屏幕法线的倾斜角。可针对任意倾斜和不同宽度的一般情况修改表达式,但图19的对称布置是最普通的。使用此方法也可能实现参考标记的其它信号分布,此方法产生信号比率与视角之间的一对一关系。此方法的主要缺点是,必须使每一参考标记的指向方向偏移,使得其间的角度是其角分布的有效分数。这结果是对于系统的视角减小。
视角减小量近似等于标记的指向轴之间的角距,且因此需要使此间隔最小化。然而,如在等式(14)中所见,角度敏感度R随着角距而增加,因此视角范围与视角分辨率之间存在固有的折衷。还应注意,除非标记在x和y两个方向上均成角度,否则上述“成角度标记”配置将在一个维度中运作,其影响进一步减小了有效视角。最后,只要两个标记(例如,LED)的光功率(A1和A2)的任何变化相关使得其在任何视角的比率(等式(14)中A1/A2)随着时间的变化均保持恒定(例如,其功率均降级10%),使用标记信号比率的方法就较好地运作。
然而,如果标记的功率或空间分布任一者与另一者不同地变化(例如,由于不相等的功率降级的缘故),那么引入视角校准的误差,且应执行再校准。此潜在问题的一种可能的解决方案将是,使用较不可能发生相对信号变化的反射(例如,回复反射器(retro-reflector))标记设计。因此,虽然成角度标记配置原则上允许在2-标记实施例中独立地确定距离(根据标记间隔)和视角(根据信号比率),但所引入的减小的视角、增加的复杂性和潜在误差限制了其在实践中的有用性。单独感测和跟踪距离和视角的优选方法使用三个或四个标记。接下来的章节中描述这些实施例。可使用2-标记布置测量的另一DOF是“滚动”,其为围绕装置的z轴(垂直于传感器阵列的平面的轴)的旋转。对此DOF的跟踪指示用户在将装置指向屏幕时已使装置旋转(例如,通过扭动手腕)的量值和方向。测量和跟踪装置滚动的能力引入可通过简单的手腕动作实现的新的功能和控制的可能性。作为两个标记的参考标记图像坐标的函数,滚动角Φ的一般表达式是:
其中,Δxi=xi 2-xi 1且Δyi=yi 2-yi 1,且i=0对应于与Φ=0滚动角相关联的坐标,且i=1对应于与滚动角Φ相关联的坐标。Φ=0滚动角通常对应于正常操作条件,其中用户正用手持式装置竖直指向屏幕且手腕处于其中间位置。视需要,通过针对装置的其它定向再校准Δx0和Δx0的值可能存在其它Φ=0滚动角定向。
等式(15)是相对于显示器的参考标记的任意(x′,y′)坐标的一般表达式。等式(15)的符号规约是,装置的顺时针方向旋转(当指向屏幕时,从装置的后部观看)对应于正滚动角。图20说明对于任意2-标记布置,滚动中涉及的几何结构。在2-标记实施例的许多布置中,标记相对于屏幕边缘水平或垂直地放置。在水平放置的参考标记的特殊情况下,Δy0=0,且因此等式(15)缩减为:
且在垂直放置的参考标记的情况下,Δx0=0,且等式(15)缩减为:
因此,可使用结合适当等式(15)-(17)实时测量的传感器上两个标记的参考标记图像坐标来测量并跟踪滚动角。注意,一般来说,Δxi和Δyi均可取决于用户的视角(他/她相对于屏幕的位置),且因此,甚至在装置滚动无变化的情况下,表观Φ也可随着视角而变化。因此,当使用等式(15)时,用于Δx0和Δy0的值必须对应于与用于Δx1和Δy1的那些视角近似相同的视角。这可通过周期性地再校准以记录新的用户位置的Δx0和Δy0的新值来实现。
对滚动角的敏感度的一个结果是,随着装置旋转,其参考系也相对于屏幕的参考系旋转。这具有产生参考标记的表观旋转的效果,视装置的指向方向而定,所述表观旋转可导致指向方向表观平移。因此,如果不进行校正,那么即使装置的z轴(指向方向)不变化,装置滚动也可能导致无意的光标移动。另外,由于传感器的坐标轴旋转,所以装置旋转时发生的指向方向的任何变化均将导致光标移动方向的误差,所述误差与滚动角成比例。举例来说,如果装置滚动为45度且用户接着以水平方式改变指向方向,那么光标将相对于屏幕轴而不是水平地移动45度。
为了适当地说明和校正传感器坐标轴的旋转,应在跟踪算法中去除装置滚动的影响,使得光标位置和运动正确地对应于装置的真实指向方向。滚动补偿程序的第一步骤是,使用等式(15)-(17)(无论哪一者均合适)准确地感测滚动角。为了补偿滚动并正确地维持光标位置,通过使原始(x,y)坐标围绕传感器原点(x0,y0)旋转Φ来产生传感器的新的参考系。在大多数情况下,对应于指向方向的原点是阵列中的中心像素。涉及围绕点(x0,y0)旋转角度Φ的坐标转换的一般表达式是:
xφ-x0=(x-x0)·cosφ+(y-y0)·sinφ
(18)yφ-y0=-(x-x0)·sinφ+(y-y0)·cosφ
其中,(x,y)是原始坐标(旋转之前),且是经转换的坐标(旋转之后)。同样,此处使用的符号规约是,传感器的顺时针方向旋转(当其指向屏幕时)对应于正Φ。等式(18)确定经旋转的坐标系统。为了补偿旋转并维持适当的光标位置,必须将等式(18)转换回原始坐标系统:
x-x0=(xφ-x0)·cosφ+(yφ-y0)·sinφ
(19)y-y0=(xφ-x0)·sinφ+(yφ-y0)·cosφ
等式(19)将所测量的参考标记图像坐标转换回旋转之前的坐标系统。应用此转换具有两个效果:其维持正确的屏幕光标位置,且其随着旋转的装置的指向方向变化而产生屏幕光标的适当跟踪方向。每一标记图像的经转换的(x,y)坐标接着用于光标跟踪算法中(例如,等式(7)和(8)中的xREF和yREF)。还应注意,用于光标跟踪的比例因数Mx和My可能需要根据所测量的滚动角进行修改。在大多数情况下,光学系统的放大率对于x和y是相同的(通常使用球面透镜)。然而,由于Mx和My是依据像素数目来界定的,所以转换中应考虑传感器的像素尺寸。一般来说,在光标跟踪算法中,Mx转换为且My转换为其中,px和py是各自的传感器像素尺寸。使用等式(19)与等式(15)结合的程序允许在装置以任何滚动角旋转时通过2-标记实施例进行准确的指向和跟踪。
注意,在2-标记实施例中,由于传感器上存在两个参考标记图像,所以可稍许修改使用上文在一个标记方法中所论述的等式的指向和跟踪算法来虑及第2标记。原则上,等式(1)-(8)中的每一者具有两个版本-每一标记一个版本。然而,由于标记相对于彼此是固定的,所以每一等式的两个版本只是相对于彼此在空间上移位,且因此包含用于指向和跟踪的冗余数据。因此,仅一组等式实际上可用于指向和跟踪。当然,多标记实施例中的额外标记可用于额外的DOF(例如,视角、距离和滚动),但可仅用一个标记来实现基本指向。
因此,多标记实施例中的指向的另一方法使用1-标记布置的等式的等效形式。可使用这些等式的若干形式——各具有优缺点。最简单的方法将是,使用对应于标记之一(例如,2-标记实施例中的标记1)的等式进行校准和跟踪两者。类似方法可用于3-标记和4-标记布置。或者,可使用由实际参考图像中的一些或全部图像构成的参考图像坐标。这种方法的简单实例将是两个或两个以上标记的“质心(centerofmass)”坐标或平均坐标。因此,对于n个标记来说,有效参考坐标将是:
其中,xREFi是第i个参考标记的传感器上的参考标记图像坐标。类似表达式将适用于y坐标。
接着,将有效参考坐标用于上文章节4.1中针对一个标记实施例描述的指向和跟踪算法。参考坐标的其它加权平均值也可用作光标跟踪的参考点。n-标记实施例中使用平均坐标作为参考的潜在益处是产生较准确且稳定的参考点,因为个别标记坐标的任何随机波动都将趋于达到平均数。并且,由于存在每一标记的身份不清楚的情况,所以最好可能是将平均位置视为参考。举例来说,装置可能倾斜或颠倒,在此情况下,标记图像与参考1和2的对应变得不明确,这将导致屏幕光标位置的偏移。折衷办法是跟踪算法的复杂性稍许增加,但大多数情况下所需的增加的计算量相当小。
在两个参考标记位于不同的x′和y′坐标处(例如,以对角方式定位在屏幕的相对角落处)的情况下,可能除了上述动态校准调节外,还使用两个参考标记而不是章节4.1中描述的可见显示器校准点来执行初始校准。这种用于校准所述装置的替代程序具有的潜在优点是,校准可能较快且较简单(且在此程序的一个版本中,可完全避免单独的校准步骤)。然而,在这些替代方法的每一者中,光标跟踪等式均需要一些修改。上文章节4.1中针对1-标记布置中的指向和跟踪而描述的基本推导对于2-标记布置仍有效,只是现存在两组等式,一个等式对应于一个参考标记。此额外的参考信息依据各种可测量系统参数产生光标位置的两个不同但等效的表达式。每种方法均具有其益处和缺点。下文展示每种方法的相关结果。不展示与针对1-标记的推导类似的详细推导。
在一种方法中,使用“单步骤”校准程序,其中用户将手持式装置指向屏幕上的已知位置(x′0,y′0)。用户所指向的单个可见标记或图标可显示在显示器上以有助于校准准确性,但这并不是必需的,尤其当使用例如屏幕中心或角落的容易定位的位置时。当用户正指向(x′0,y′0)时,记录两个标记的相应的传感器坐标(x0 REFA,y0 REFA)和(x0 REFB,y0 REFB)。接着根据所测量的量确定屏幕光标位置:
尽管执行校准步骤,但容易地测量所测量的量,且其不取决于对参考标记的物理位置的了解。本质上,等式(21)通过跟踪传感器上平均参考标记位置相对于平均参考点位置的移动来确定相对于已知参考“点”(例如,显示器的中心)的正确光标位置;所述平均参考点位置又对应于已知的显示器参考点。
不需要单独校准步骤的另一方法使用参考标记的实际已知位置。此情况下光标位置的等式是:
其中,(x′REFA,y′REFA)和(x′REFB,y′REFB)是参考标记的位置(在屏幕坐标系统中以像素测量),且(x0,y0)是对应于手持式装置的光轴的传感器的原点。其通常(但不一定)在传感器的中心像素附近。举例来说,如果光轴不平行于传感器法线轴,那么传感器原点可能从中心像素偏移。这可能发生在透镜轴不位于传感器中心处时。使用这种方法,一旦已知标记位置(且其保持固定),就不需要校准程序。然而,如果参考标记移动且在等式(22)中未说明新的位置,那么此方法可能容易出现误差。如果参考标记移动,那么基于校准的方法将仅需要简单的再校准。
对于上述两种光标跟踪方法中的每一者,比例因数M相同:
等式(23)是等式(4)的等效形式,其中使用两个参考标记的已知间隔(Δx′REF)代替Δx′CAL,且ΔxREF是传感器上两个参考标记的图像的间隔。注意,ΔxREF=Δx0 REF,因为标记图像间隔不取决于(非常近似地)指向方向。类似的论点适用于y坐标。还应注意等式(4)与(23)之间的符号差异。这是由于两种校准方法的差异的结果——依次指向两个校准标记(等式(4))与单个步骤记录两个参考标记(等式(23))。用于校准及光标指向和跟踪的上述三种方法(2步骤、1步骤和无校准)的每一者具有相关联的优点和缺点,且任一者均可在2-标记实施例中适当条件下使用。然而,当两个参考标记沿x'或x'轴对准时,需要章节4.1中描述的基本2步骤方法。
4.3 3-标记实施例:
尽管存在原则上允许检测所有六个DOF的2-标记布置,但其相对于检测所有六个DOF的实际实施方案来说各具有一些限制。通过使用3-标记布置或4-标记布置,感测所有六个DOF可能较易于实施。通过添加第3参考标记,可利用允许距离与视角分离的额外空间信息。可以与2-标记实施例类似的方式实现指向和旋转(滚动)跟踪。当将第3标记添加到2-标记布置并放置在同一z′坐标处(例如,屏幕的三个角落的每一者附近的标记位置)时,仅存在超越2-标记布置的最少额外信息(例如,屏幕的邻近侧附近的标记)。在此情况下,第3标记仅增加用于使距离与视角分离的逐渐有价值的参考数据。
然而,依然存在视角的不确定性(屏幕中心的左与右或上与下)。通过将第3标记从x′-y′平面(屏幕的平面)移出到不同的z′坐标,因而在无不确定性的情况下执行完全的指向和定向跟踪变得可能。标记将在传感器的视场内(即,用户正指向屏幕附近某处),且用户将在标记的视场内(例如,用户不能站得离侧部太远或不能站在屏幕后方)。典型的标记视场为(+/-)30-45度,其与用户自身的实际屏幕视角一致。此章节将关注后者“平面外”3-标记布置。另外,之后通过从上文章节4.2中提供的2-标记分析延伸而关注“平面内”3-标记布置。
图21a和图21b中展示平面外布置。利用所述布置,传感器上的标记图像位置允许在x和y维度两者中测量视角的量值和符号两者(其它3-标记和2-标记布置仅允许视角量值检测)。一种布置(图21a和图21b中所示)的所有三个标记2101_1、2101_2和2101_3均在显示器2100′的同一侧并彼此紧密靠近。这具有的实际优点是,所述标记可放置在常见外壳中并容易由单个电源供电。其也可减小传感器的所需视场。然而,一个标记放置在x′-y′平面外的三个标记的任何布置均是可接受的。以下等式假定距屏幕的距离比标记间隔大得多或用户视角较小(参看等式(36))的远场条件。在计算x′和y′的视角时,下文导出两组等式。在第一组中,给出简化的表达式,其在用户处于x′-z′平面或y′-z′平面中或附近的常见但特定的情况下有效。这些条件允许在将所测量的标记间隔与距离和视角相关的基本等式中将θx或θy设定为0,因此产生相对简单的公式。此情况是相关的,因为许多实际情况可涉及用户被限于这些平面或这些平面附近。在这些情况下,可能有用的是,实施与较复杂的一般解决方案相比较简单的公式。在第二组中,针对任意用户位置给出一般表达式,同样使用远场近似。参看图21a,依据系统常数和可测量的标记坐标,x'维度中视角的表达式(假定θy≈0)为:
其中,d是沿x′维度两个外标记(1和3)之间的实际标记间隔,D是z′维度中中间标记(2)相对于标记2101_1和2101_3的偏移,且 是传感器2103上标记图像i和j之间的间隔。括号中的第二项表示中心标记(2)不放置成与外标记(1和3)的每一者等距的标记的不对称布置情况下的潜在恒定偏移。在此情况下,通过当直接定位在显示器2100′前方(θx=0)时执行标记间隔的测量来确定偏移项。或者,可通过给测量值加上恒定“偏移角”或从测量值中减去恒定“偏移角”来说明偏移。可从不对称布置的几何结构中简单地确定偏移角θx0。
其中,δr′0是中心标记从外标记的中点发生的偏移。使用等式(25),视发生偏移的方向,给测量值加上偏移角或从测量值中减去偏移角。对于图21a和21b及等式(24)中所示的几何结构,符号规约是,正视角对应于屏幕中心的右手侧,同时面对屏幕的观看侧。因此,如果中心标记在中点左侧,那么从测量值中减去偏移角,且如果中心标记在中点右侧,那么给测量值加上偏移角。还应注意,如果使用等式(25)说明任何偏移,那么等式(24)中的偏移项因其执行相同功能而被消掉(δr0 ij=0)。
然而,在图21a和图21b的布置中,标记2101_1到2101_3对称放置,且偏移项消去或变小而可以忽略。并且,对于图21a和图21b所示的优选布置,标记水平布置(沿x′维度),因此除非手持式装置旋转,否则θx计算中通常将不存在y坐标,在此情况下,等式(24)缩减为仅是x坐标的函数。然而,如果装置在视角测量期间旋转,那么标记图像坐标可能具有x和y分量两者,在此情况下,使用等式(24)。注意,尽管标记图像坐标和间隔取决于用户距屏幕的距离,但等式(24)不取决于用户距屏幕的距离。这是因为,公式规格化,使得距离变化同等地影响分子和分母两者。
使用图21a和21b的布置,其中三个标记沿着x′轴,显然,存在使中心标记图像2遮蔽外标记图像1、3中的一者的角度,且因此,为了获得较大视角,标记图像2移动越过标记图像1或3,从而导致标记身份和因此视角的不确定性。可通过使D相对于d较小使得在较大视角(在系统的正常视场以外的视角)出现不确定性来解决此问题。此简单方法的缺点是,如从等式(24)可看到,角分辨率由于减小D而减小。可通过将D设定为足够小使得在正常视场的边缘处发生遮蔽以便使分辨率最大化来实现折衷方法。此方法是否充分取决于若干因素,例如,所需的角分辨率、视场、距显示器的距离、和标记间隔(d)。对于典型的指向应用来说,很可能可使D足够小以避免遮蔽且仍提供充分的角分辨率。举例来说,d=15cm、D=5cm、提供可用(未遮蔽)视场>50度、全视场为45度、分辨率为0.1像素的400像素传感器(在距屏幕距离为3米处)的系统,角分辨率在直视图附近将为~0.7度,在场边缘附近(~45度)减小到~1度。这对应于横向移动~3.7cm。这一分辨率对于许多应用来说是足够的。
在需要通过增加D获得较高分辨率的情况下,避免对分辨率的损害的解决方案是,将标记中的一者或一者以上移出x′-z′平面以便防止所有视角处的遮蔽和不确定性。此方法的最简单布置使中心标记2101_2与外标记处于不同高度(即,偏移于连接标记2101_1与2101_3的线上方或下方)。对于此布置,避免了上述遮蔽,且标记图像的身份不存在不确定性——标记图像2将始终位于(例如)标记图像1和3上方。接着可视需要或实际情况使D较大,以便改进分辨率。重要的是要注意,δrij可为正或负,这取决于标记图像的相对位置。明确地说,如果x2在x1与x3之间,那么等式(24)中所有δrij均为正。然而,如果x2<x1,那么δr21<0,且如果x2>x3,那么δr32<0。在标记沿x′(标记水平)和x(无装置滚动)轴布置的典型情况下,那么不存在δrij的y分量,且不存在δrij的平方根的符号不确定性。在标记2101_2的y′偏移的一般情况下,应修改进入视角θx的等式中的标记图像2的坐标(x2,y2)的表达式来说明所述偏移。标记图像2的新坐标是两条线(一条连接标记图像1和3,且一条穿过标记图像2并与第一条线垂直)之间的交叉点的坐标。本质上,这些是在无偏移的情况下标记图像2的坐标。明确地说,用替换等式(24)中坐标(x2,y2)的值,其中
且
是连接标记图像1和3的线的斜率,且与滚动角Φ相关(参看等式(16))。在手持式装置在视角测量期间不旋转的典型情况下,m=0,且缩减为其为无偏移情况下标记图像2的坐标的预期结果。
偏移布置的主要目的是,允许在标记2图像移动到标记图像1或3以外时任意视角的高分辨率。此情况在装置滚动时存在标记识别中的潜在不确定性,因为标记图像2的y坐标可能大于或小于标记图像1和3的y坐标,且正是使用标记图像2的所述y坐标来将其与其它标记图像进行区分的。在正常使用时不可能出现此情况,因为其仅在同时存在大视角(当标记在标记图像1或3以外时)和大滚动角时才发生。可能发生此情况的视角和滚动角的特定值取决于布置的细节。此潜在问题的一种解决方案是,使用标记图像的除了其y位置以外的某一特性将其与其它标记图像进行区分。举例来说,可将标记2101_2调制(反复加电和断电)或设定为与标记2101_1和2101_3不同的恒定功率电平。以此方式,可针对任何视角或滚动角确定标记图像2的身份。
在旋转的传感器的情况下使用等式(26)来确定的一种替代方法是,如2-标记布置中所述来确定装置的旋转或滚动角。可使用标记图像1和3以获得Φ(与斜率m相关)并接着执行等式(18)和(19)中描述的坐标转换来完成此目的。以此方式,可使用的较简单(m=0)的表达式来确定θx。
也使用“平面外”布置来跟踪y′维度中的视角。图21b中说明几何结构。随着用户垂直移动(在y′维度中),中心标记图像在传感器的y维度中相对于外标记图像移位。此位移(经适当规格化)用于确定θy。y维度中视角的简化等式(假定θx≈0)是:
其中,δy是中心标记图像(2)的y坐标从其直视图(θy=0)处的y坐标发生的位移。一般来说,所述位移可具有x和y坐标两者,使得 其中(x2,y2)是中心标记图像2的传感器坐标,且是对应于连接外点(1和3)的线与穿过标记图像2的此线的法线的交叉点的标记图像2坐标(参看等式(26))。
在标记沿x和x′轴两者定向的正常情况下,位移的表达式简化为 在传感器旋转或标记未水平放置的情况下,那么位移的较一般表达式与等式(26)结合使用。符号规约是,正视角对应于用户相对于直视图垂直移动。在中心标记2101_2与外标记2101_1和2101_3处于不同高度(y′)的情况下,可将说明y′偏移的角偏移添加到等式(27)。容易从几何结构中确定此角偏移θy0:
其中,δy′0是中心标记2101_2的y′相对于外标记2101_2、2101_3的y′坐标发生的实际偏移。一旦从等式(27)中确定θy的值,就视标记偏移的方向而定,给测量值加上或从测量值中减去偏移角。使用针对等式(27)描述的规约,在中心标记2101_2处于外标记2101_1、2101_3上方的情况下,必须加上偏移角,且在中心标记2101_2处于外标记下方的情况下,必须减去偏移角。
结果发现,在相同条件下,角分辨率对于垂直(θy)轴与对于上述水平轴是相同的。还应注意,对于θy,不存在标记的遮蔽或不确定性,且因此D可能大到什么程度没有基本限制。因此,可通过增加D来获得θy的极其高的分辨率。然而,实践中,物理约束通常将对D施加上限。
还应注意,通过使图21a和图21b中的整个几何结构旋转90度使得三个标记(与在z'中移位的中心标记)垂直对准,而将θx与θy的表达式颠倒。最后,注意,此处描述的平面外布置的两个基本假定是,测量期间用户正指向显示器或显示器附近,且标记(至少标记2101_1和2101_3)布置成与屏幕边缘近似平行或垂直。如果标记在与显示器边缘所成的一角度处对准,那么将必须修改等式以说明此角度。更好地说,θx与θy的测量实际上参考标记轴,因此如果标记轴与屏幕轴不相符,那么必须考虑两组轴之间的角偏移,且等式较复杂。由于这个原因,正常且优选的布置如图21a和图21b中使标记与屏幕对准。
如上所述,以上等式和论述涉及用户处于θx=0或θy=0平面中的情况(图21a和图21b)。随着用户移出这些平面,使用这些等式的位置跟踪过程中的误差增加。对于较小的角度偏差,角度误差可在可容忍范围内较小。举例来说,如果用户在y′方向上移动+/-10°,那么在x′方向上,通过使用等式(24)引起的误差对于20°-45°范围内的视角可为2°-3°。一般来说,所述视角将通过使用特殊情况解决方案而低估不足。此误差量对于许多应用可能是可接受的;然而,随着用户进一步移出既定平面,误差可能快速增加。在任意用户位置的一般情况下,θx=0或θy=0条件无效,且可使用包含θx和θy两者的基本等式。在任意位置的一般情况下,标记2成为平行及垂直于连接标记1和3的线而移位。用于此情况的相应图式本质上是图21a和图21b的组合。使用远场近似使所测量的标记图像间隔Rij和L、θx及θy相关的基本等式是:
其中,
Rij=δrij/δrij 0是规格化为其校准值的标记图像间隔,L0是执行校准的距屏幕的已知距离,且α是从标记的布置确定的几何常数:
从标记布置的顶部观看,角α本质上是连接标记1和3以及1(或3)和2的线所对着的角。除了远场条件外,等式(29)-(30)中还使用三个额外假定。这些等式假定标记对称布置(标记2沿x′轴在标记1与3之间的中间位置),且标记2与标记1和3(如从前方观看)成一直线,如图21所示(优选布置)。虽然可能放松这些条件,但随着添加更多常数相应的基本等式明显变得更加复杂。此外,在实践中,可使用与上文针对θx=0和θy=0解决方案描述的那些方法类似的方法较简单地处理涉及不对称或垂直移位标记的布置。概括来说,可在最初或在校准程序期间确定例如等式(25)和(28)中的那些偏移角的偏移角,并接着向自下文针对任意用户位置提供的等式计算出的视角加上所述偏移角或从中减去所述偏移角。然而,在优选布置中,偏移将较小而可忽略或为零,且可直接使用下文给出的解决方案。另外,等式(29)-(30)假定标记1和3沿x′轴对准,其为优选布置。对于沿y′对准的标记1和3,可使用本质上使θx与θy互换的相应的一组等式。标记沿任意轴对准的其它布置是可能的,且可导出相关联的基本等式,但所述等式较复杂且涉及额外因数。
等式(29)由一组三个独立等式以及可对L、θx和θy求解的三个未知数组成。解为:
其中
Δ≡R32 2-R21 2
(34)∑≡R32 2+R21 2
且K=2sinαcosα。如从这些等式可看出,根据直接测量的量和系统常数确定θx。一旦根据等式(32)确定θx,就使用等式(32)来确定θy,且接着使用等式(33)来确定L。该组等式(31)-(34)确定任何任意点的用户位置(假设标记可由传感器检测)。然而,存在若干特殊情况,且下文予以说明。
由于等式(31)中正切函数的重复性,对于|θx|>45°,θx的量值和符号均可能存在不确定性。通过将来自等式(31)的结果与Δ的符号进行比较来解决这些不确定性。直接根据Δ的符号确定θx的正确符号。因此,如果根据等式(31)计算出的θx的符号不同于Δ的符号,那么必须给计算出的θx的值加上90°或从中减去90°,以便确定正确的θx。举例来说,如果根据等式(31)计算出的θx的值为-40°但Δ>0(指示θx>0),那么给计算出的值加上90°,从而产生经校正的θx为50°。这种情况在实践中可能较罕见,因为其仅在大视角时才发生;然而,将此步骤包含在用于确定θx的算法中是一件简单的事。并且,θy的符号不是根据等式(32)直接确定的。在此情况下,使用标记#2的相对位置来确定θy的符号。以与等式(27)中使用的方式类似的方式,一旦根据等式(32)计算出θy的量值,就可使用δy的符号来确定θy的符号。
在θy=0的特殊情况下,可展示(使用三角和代数恒等式)等式(31)缩减为与等式(24)相同的表达式(无偏移项)。同样,在θx=0的情况下,等式(31)和(32)缩减为
其也可展示为与等式(27)等同。最后,在θx=+/-90°的特殊情况下(其中,用户基本上处于屏幕的平面中(z′=0)),等式(32)分解且不能使用。实践中,此情况事实上将决不会发生,因为其在屏幕和标记的视界外。然而,在用户处于屏幕的平面中或附近(且标记可检测)时需要位置信息的不太可能的情况下,那么可根据基本等式(29)-(30)容易地导出θy的单独表达式。
此处描述的3-标记平面外布置能够确定装置的所有相关DOF——屏幕上的指向位置、距屏幕的距离、滚动角、和相对于屏幕的视角。这些参数的组合完全界定手持式装置的位置和定向。确定这些参数的一般程序本质上是先前章节中描述的那些内容的综合。使用章节4.1中描述的程序确定装置的指向方向(明确地说,装置的指向向量与屏幕的交叉)。如之前注意到,在多个标记的情况下,其中任一者可用作显示器光标参考。然而,在3-标记布置中,由于标记2101_2通常位于中心且在显示器上居于中心,所以自然地将将其用作光标参考点。或者,可使用三个参考标记的中心或平均位置(类似于2-标记布置)。注意,随着用户的视角改变,由于平面外几何结构的缘故,参考位置存在稍许偏移,但此偏移通常相当小且在典型的指向应用中不太可能被察觉到。必要时,可使用依赖于小视角的校正因数来减小指向过程中的任何偏移。接着使用此章节中描述的程序确定视角。
在章节4.2中针对2-标记布置描述的程序之后进行滚动角的确定。通常,将标记2101_1和2101_3用作用于确定Φ的两个参考标记,但可使用任意对标记,只要其位置是已知且固定的。如章节4.2中所论述,在标记不沿x′或x轴对准的情况下,表观滚动角可取决于视角。如章节4.2中所描述,一旦视角已改变,就可在Φ=0条件下通过再校准手持式装置来避免此情况。回忆等式(15)中的Δx0和Δy0对于θx和θy具有已知相依性,也可能自动校准或从滚动中去除视角影响。因此,由于可独立于滚动角来测量θx和θy(由于仅使用标记间隔的量值而不使用其定向),所以可从滚动测量中去除其影响。由于滚动角取决于标记图像的x和y坐标而不仅仅是其间隔,所以必须确定视角对x和y的影响。这可使用等式(29)来完成,等式(29)假定Δy0=0(在θx=θy=Φ=0的校准条件下,标记图像沿x轴水平对准)。明确地说,在典型的远场条件下,所测量的Δx0随cos(θx)而变化,且Δy0随sin(θx)sin(θy)而变化。因此,将分别通过用Δx0cos(θx)和Δx0sin(θx)sin(θy)对其进行替换来修改滚动等式中出现的Δx0和Δy0的值,以虑及视角。在远场近似无效或需要较高准确性的情况下,将需要与等式(10)类似的较确切的表达式。还应注意,可能使用等式(26)中的公式化同时确定滚动角与视角,因为所述等式中的m与滚动角相关且基本上等同于等式(16)。然而,这仅适用于水平对准的标记的情况;对于任意对准的标记,将必须相应地修改m的表达式(参看等式(15))。
由于距离测量取决于对视角敏感度(但视角测量如果适当进行的话,则不取决于距离),所以应在已测量视角之后确定距离。并且,由于滚动角测量可能取决于视角,所以应在滚动角之前确定视角。然而,由于距离和滚动角本质上彼此不相依,所以可以任一次序对其进行确定。对于用于一般情况的直视图或等式(33),可使用2-标记布置中使用的相同表达式(等式(12)和(13))来确定标记距离。标记同样,可使用任意对标记,但优选方法通常将使用标记2101_1和2101_3来确定距离L。
4.44-标记实施例:
如章节4.3中所述,3-标记实施例能够检测所有相关DOF,且因此对于需要装置指向和位置跟踪两者的大多数(如果不是全部)应用来说将是充分的。然而,可能存在3-标记实施例的优选(平面外)布置不可能、不可行或不合需要的情况。举例来说,优选的3-标记几何结构的主要缺点是,标记之一必须相对于另外两者向后或向前设定,且通过增加此偏移来增强视角测量的分辨率。这可导致标记之一偏移较大而不便利的距离的布置,所述距离可能由于空间约束的缘故而不可能实现。
章节4.3中所述的大视角处的遮蔽效果的可能性也可能是一个缺点。虽然使遮蔽标记垂直移位可解决此问题,但这确实稍微增加了复杂性并需要稍许较多空间用于标记组合件。并且,在标记放置在显示器屏幕顶部(或者,也许在下方)并从屏幕平面稍许向后设定的典型布置中,对于足够大的角度,垂直视角之一可能部分或完全不确定。此潜在问题的一个解决方案将是,延伸标记使其超过屏幕平面,但这可能不便利或不可行。因此,虽然这些潜在缺点在许多情况下都不重要,且优选的3-标记实施例在大多数情况下运作良好,但存在可能必需或需要“平面内”几何结构的可能的情况。在这些情况下,某些4-标记布置可使用避免3-标记实施例的一些或全部缺点的简单的几何结构来提供所需的DOF敏感度。最后,4-标记实施例在一些情况下可具有一些额外优点。
由于上述1-标记、2-标记和3-标记实施例能够跟踪指向、滚动角和(在许多情况下)屏幕距离,所以4-标记实施例论述的主要焦点将放在视角的量值和符号的测量。然而,由于所测量的标记图像坐标是距离和视角两者的函数,所以两者均将通过分析进行确定。其它DOF大体上是先前描述的方法的简单变化形式。尽管存在多种可能的4-标记几何结构(参看图5e),但此章节将关注图5e(ii)中以及图22中所示的优选布置。在此几何结构中,将参考标记放置在屏幕的四个角落中的每一者处或附近。可使用标记更靠近在一起并处于屏幕的一侧的等效矩形布置(如优选的2-标记和3-标记实施例中);然而,优选的4-角落布置存在一些技术上以及实践上的优点。下文将描述这些优点。
4-标记布置的主要益处是,其允许在x和y两者上分离距离与视角测量,以及确定角符号(例如,在屏幕左侧还是右侧)。回忆在章节4.2中描述的基本2-标记实施例中,这些变量存在固有联系且不能单单基于标记图像坐标来分离。如在其它实施例中,基本测量涉及确定四个标记图像坐标,和根据那些坐标确定其间隔。使用各种图像间隔来计算距离和视角。对于4-标记布置,存在两种基本操作模式或方案。一种此处称为“远场”,且另一种称为“近场”。两种方案的解决方案是互补的且依赖于图像间隔的不同测量值。将远场界定为用户距每一标记的距离近似相同且可认为是相等的区域。这在标记间隔比用户距屏幕(即,标记)的距离小得多时或用户位于小视角处(即,接近屏幕中心)时发生。从数学上来说,以下条件成立时可界定为远场:
注意,此条件与等式(10)括号中的最后一项相关,且使其可被忽略从而产生等式(11)的条件对应于远场。等式(36)必须小到什么程度取决于能容忍的距离或角度误差。如果我们假定距离或角度的至多1%误差是可接受的,那么可估计特定的远场条件。为了估计远场的“最糟情况”,我们假定大视角为+/-45度。在此情况下,用户可距屏幕近达L~3.5d,并维持视角测量的误差小于1%。
在大多数情况下,视角较小,且在更小的距离处满足远场条件。举例来说,对于+/-12度的典型视角,上文界定的远场在L~d处开始,从而意味着用户可距屏幕近达标记间隔且仍在远场内。且由于在优选的4-标记实施例中,标记间隔d接近屏幕尺寸,所以用户可能远离约一个屏幕宽度并保持在远场内。如章节4.1中所论述,远场的重要性在于,其允许距离和视角的计算中的有用近似。这些远场近似大大简化了分析并允许DOF的闭合解。另外,由于远场距离与标记间隔成比例,且d通常比2-标记实施例和3-标记实施例小得多,所以这些实施例在正常操作下将几乎始终满足远场条件。因此,先前章节中使用的分析均假定远场条件。
相比之下,近场方案存在于等式(36)中远场条件无效的区域中,或等同地来说,在用户距标记中的每一者的距离不能假定为相等时存在。在此方案中,远场解决方案的误差可能超过可接受的限制,且可使用依赖于距每一标记中的距离的变化的近场解决方案。随着用户移动得距标记更远,近场解决方案变得较不敏感且可使用远场解决方案。在大多数情况下,远场解决方案将适于确定距离和视角。然而,远场解决方案所固有的是对视角符号的不敏感度。虽然近场解决方案(其在一些假定内基本上准确)对视角变化相当不敏感,但其对角的符号敏感。因此,在许多情况下,使用较敏感的远场解决方案来确定视角的量值,且使用近场解决方案来确定角的符号或方向。
图22展示4-标记实施例的基本几何结构。使用常规球面坐标来界定视角θx和θy以及距标记原点的距离L。将原点视作标记的中心点,其通常是屏幕中心,且测量到原点的距离。参看图22,主要可测量的量是传感器上标记图像的各种间隔, 其中i,j=1、2、3、4对应于每一标记。每一图像间隔具有相应的校准值δrij 0,其确定在预界定且已知的位置处。对于优选实施例,将此位置取为处于距屏幕(或标记)已知距离L0处并处于屏幕中心(θx=θy=0)。对于以下分析,图像间隔将规格化为其校准值,且依据这些规格化量来表达公式,Rij=δrij/δrij 0。远场与近场方法之间的基本差异是,远场使用邻近侧(例如,R21和R31)与对角线(R41和R32)的组合,而近场使用相对侧(例如,R31和R42)的组合来确定距离和视角。使用远场近似的与所测量的标记图像间隔Rij和L、θx以及θy相关的基本等式是:
其中,α是通过由连接标记1和2的水平线和标记1与4之间的对角线形成的角所确定的几何常数(参看图22)。对于标记的矩形布置,所述几何角界定为:
其中,dx和dy分别是x和y′方向上的实际标记间隔。当标记放置在屏幕角落时,典型的标记布置为正方形(α=45°),4∶3纵横比(α=36.9°)以及16∶9纵横比(α=29.4°)。请注意,等式(37)中两个相对侧的公式相同,且每一表达式中L、θx和θy的值相同。这是由于以下假定:布置为矩形,且相对于所有标记,距离和角度基本上相同(即,远场近似)。一般来说,即使在远场中,距每一侧的距离也不同(除非用户正好处于屏幕中心),且由于将L取作处于屏幕/标记的中心,所以当所有侧均用于计算时可改进测量的准确性。因此,使用相对侧的组合而不是仅仅一侧。最简单的组合是两侧的平均值。因此,等式(37)中, 和 可分别替换最初两个表达式。另外,如果需要较高的准确性,那么可使用较复杂的组合,但在大多数情况下简单的平均值提供非常好的近似。两个对角线等式可组合为单个表达式:
其中,k=4sinαcosα是系统常数。等式(39)与等式(37)中邻近侧(R21和R31)的公式结合形成一组三个等式以及现可对L、θx和θy求解的三个未知数。所得公式是:
所测量的量Rx、Ry和Δ用于等式(40)中以确定L,接着分别使用等式(41)和(42)使用L来确定θx和θy。L0对应于距标记/屏幕中心的已知距离,其中确定校准标记坐标,将其存储为参考坐标并随后用于位置和指向计算。等式(37)-(42)也假定,在θx=θy=0处(屏幕正前方)执行校准。尽管Δ可为正或负,指示视角符号(等式(39)),但仅Δ2出现于等式(41)和(42)中且因此不决定视角符号。这与远场条件相符——在远场中,从屏幕中心的任一侧来看,标记布置似乎近似相同。
为了确定角的符号(左或右,上或下),必须检测相对侧之间的差值。当用户处于远场中时,根据定义,此差值较小。然而,如果从这一方面来说,仅需要视角的符号,那么可使用近场效果来将一侧与另一侧区分开。因此,当用户处于远场中时,使用等式(40)-(42)来确定距离和视角的量值,且可使用以下条件来确定视角的符号:对于R42-R31>0,θx>0;对于R42-R31<0,θx<0,且对于R21-R42>0,θy>0,以及对于R21-R42<0,θy<0。然而,请注意,这些不等式对于接近屏幕中心或远离屏幕(即,不等式变为近似等式的远场)的位置变得本质上不确定。在这些情况下,当用户完全进入远场方案中时,视角的符号可能变得不确定。这一限制是平面内几何结构的特性,而章节4.3中描述的使用3个标记的平面外几何结构提供对于角符号的潜在较高敏感度和较小的不确定性。
除远场条件要求外,还存在一种等式(40)-(42)变得无效的情况:θx=+/-90°或θy=+/-90°。在此情况下,当用户基本上处于屏幕的平面中(z′=0)时,等式(40)变得不明确且不能确定距离。然而,实践中,此情况将事实上决不会发生,因为其在系统的典型操作范围外——用户无法看到屏幕且此区域中传感器通常不可检测到标记。因此,此特殊情况几乎从来不构成问题。如果存在当用户处于屏幕平面中或附近(且可检测到标记)时需要手持式装置的位置的特定情况,那么可导出适用于所述情况的单独一组等式。然而,由于此情况与观看屏幕时进行指向的主要应用不相关,所以此处不对其作进一步描述。
可能建立一组基本上准确且不依赖于远场近似的与(37)类似的等式。然而,这组耦联的等式(其具有与等式(10)类似的形式)较复杂且事实上难以用于确定空间中的任意位置。这是使用远场近似的原因,从而产生等式(37),其在所遇到的大多数情况下将足以提供准确的位置确定。然而,当用户处于近场中时,使用等式(40)-(42)进行位置确定变得较不准确。在极端情况下,当用户靠近标记/屏幕且不接近屏幕中心时,即当等式(36)无效时,可能导出适用于特定区域的用于用户位置的单独一组等式。在近场方案中,需要一种不同于用于远场解决方案的方法,因为距每一标记的距离不能认为是有效相等的。尽管无法获得确切等式的闭合解,但可在某些潜在共同的情况下导出相当简单的解。参看等式(37),如果将用户的位置限制在x′-z′平面上或附近(θy≈0),且包含距由标记形成的矩形的每一侧的实际距离,那么以下用于侧边中的两者的简化的等式产生:
其中,Lij是从用户到接合标记i与j的线的距离,且Lij 0是校准期间相应的距离。同样,如果用户的位置限于y′-z′平面(θx≈0):
等式(43)与(37)之间的两个重要差异是缺少了三角项,其在θx≈0或θy≈0假定下消去,且包含了所测量的图像间隔(Rij)对到用户的实际距离(Lij)的相依性,与用户到标记的距离相等的近似形成对比。在这些条件下,视角相依性包含在距离因数Lij中。使用将Lij与距离和视角相关的标准三角技术,针对θy≈0获得以下表达式:
其中
注意,根据定义,L0 ij对于(i,j)=(3,1)和(4,2)是相等的,且因此任一值可用于等式(45)和(47)中。可针对θx≈0导出类似的一组等式:
这几组等式与对应于远场的那些等式(等式(39)-(42))之间的重要差异是,此处使用标记矩形的相对侧而不是邻近侧,且因为Δx和Δy可为正或负,所以在等式(47)和(51)中确定视角的符号。因此,使用近场等式,可确定视角的量值和符号两者。不幸的是,这些闭合解仅在用户处于y′=0或x′=0平面中时才确实有效。如果用户的位置靠近这些平面,那么其使用仍存在较小误差,所述误差随着用户移离这些平面而增长。另外,如之前注意到,近场解决方案的敏感度随着用户移离标记而减小。
因此,实践中,由于大多数用户位置将完全进入远场中,所以一般来说可使用远场等式来以较高敏感度确定用户的距离和视角量值。为了确定视角符号,可使用之前针对远场描述的条件(比较Rij的量值),或可使用Δx和Δy的符号。在用户处于近场中且已知接近y′=0或x′=0平面(例如,运动限于这些平面中的任一者)的特殊情况下,那么可使用近场等式(等式(42)-(52))。并且,由于这些等式是确切的,所以如果已知用户接近y′=0或x′=0平面,那么甚至在远场中也可使用近场等式。然而,由于一般来说远场等式对于视角变化更为敏感,所以只要远场等式适用,优选方法就使用远场等式。
如章节4.2中所述,可使用标记中的一者或一者以上来执行指向和跟踪。优选实施例使用等式(20)来确定标记图像的“平均”坐标并跟踪此坐标的变化,如章节4.2中所述。需要跟踪的剩余的DOF为滚动。用于2-标记实施例的等式(15)-(17)中采取的方法的变化形式也可用于4-标记实施例。原则上,任何两个标记可用作滚动运动的参考,只要其初始坐标是已知的。4-标记实施例的滚动检测和旋转补偿的程序与先前章节中所述的2-和3-标记实施例的那些程序基本上相同。
涉及多个标记的任何实施例的潜在问题是正确地识别每一标记,即哪一个是标记#1、#2等。对于大多数情况(用户位置、指向方向和滚动角)来说,标记身份将是清楚的。举例来说,在4-标记实施例中,标记图像#1将几乎始终处于图像传感器上四标记布置的左上角,且其它标记将具有相对于图像#1的图像位置,如图22所示。标记身份可能存在不确定性的主要情况是当装置旋转较大的量且标记布置为正方形(α=45°)时。在这些情况下,标记#1可处于(例如)通常由标记#2占据的位置中,这可导致位置和定向测量中的误差,但指向准确性将不会受到任何标记误识别的显著影响。
在标记身份可能成为问题的情况下,存在若干解决任何相关联的测量问题的方法。一种方法是,要求初始以已知滚动角度校准手持式装置,且接着相对于此初始定向来跟踪后续运动。以此方式,初始校准之后,每一标记的身份始终是已知的。一种更稳健的方法将是,使用物理区别唯一地识别标记中的至少一者。举例来说,可临时调制(例如,反复接通和断开)4-标记实施例中的标记#1或3-标记实施例中的中心标记。接着可对跟踪算法进行编程以(例如)将经调制的标记识别为#1。其它标记将相对于#1维持其相对位置。此方法的优点是,不需要校准来确定标记的身份。缺点是,需要较复杂的标记设置。
5.0电子设备实施例
如上文详细论述,绝对指向涉及一种工作系统,其中处理从手持式装置发送的信号,且作为响应,使显示器上出现和/或用电子设备触发某些效果。此类电子设备的实例包含含有以下类型的电路的电子设备:a)标准电视电路,例如电视内用于处理从电视的远程控制接收的信号的电路;b)卫星TV接收器电路;c)有线TV接收器电路;d)VCR电路;e)DVD播放器电路;f)计算机的电路;g)音乐播放器电路(例如,CD播放器电路、立体声接收器电路等);h)游戏电路;i)IPTV接收器和/或电视电路;j)从例如以上a)到i)中列举的那些电子设备中的一个或一个以上电子设备项目接收信号的“接收器”的接收器电路;k)家庭和/或办公自动化设备(例如,包含用于“接通”和“断开”家用开关的电路的设备)。
这些类型的电路的每一者通常包含执行程序代码的某种处理器或控制器,所述程序代码:1)实施讨论中的特定类型的设备的用户接口(例如,电视、TV接收器、DVD播放器、VCR播放器等情况下的菜单驱动的用户接口;或,计算机的情况下的基于窗口的接口);和/或2)对于突出显示特定菜单选项的基于菜单的用户接口实施光标或图标(其可与用户接口相关联)或突出显示机制。
预期将在这些处理器上执行用于实施绝对指向(例如,执行数学计算将标记图像位置转译为所指向的显示器位置,和/或识别标记图像定位,以及上文在紧接着之前的段落中描述的程序代码功能)的程序代码。图23a到图23e展示包含用于例如上文概述的各种类型的电子设备的这些处理器的不同结构。当然,其它类型的结构是可能的。为了简洁起见,图23a到图23e均未展示通常用于存储程序代码的非易失性存储器装置(例如,只读存储器,如EPROM、EEPROM等)。应了解,假定图23a到图23e的结构包含所述非易失性存储器装置。
图23a展示常见于个人计算机(PC)系统中的结构。根据图23a的结构,存储器控制器2302控制处理器2307_1(单核或多核)、图形控制器2304和I/O控制集线器2305对存储器2303_1进行存取的请求。通常,存储器2303_1包含可由处理器2307_1执行的指令,以及这些指令据以进行操作的数据。显示器可具备由图形控制器2304准备的内容信息;或者,如果显示器在处理链路中下游更远处,那么可从计算系统经由输入/输出(I/O)(如,I/O2301_1)发送用于将内容呈现于显示器上的信息。I/O是处理器2307_1所属的系统发送和/或接收由处理器2307_1处理的信息所通过的任何种类的信道。举例来说,由手持式装置发送的信息将经由I/O(例如,其包含无线收发器电路)而到达。
图23b展示处理器2307_2直接耦合到存储器2303_2,且处理器2307_2接收/提供其自身的I/O2303_2的结构。图23c展示与图23b的结构类似的结构,只是将总线用作I/O2306_3。图23d展示存储器2303_4共享与I/O2306_4相同的总线的结构。图23e展示经由与I/O2306_5的总线不同的总线存取存储器2303_5的结构。
6.0多个用户实施例
其它应用包含:尤其在需要在一个以上用户之间共享光标/菜单选择控制或具有多个活动光标的情况下,同时(即,并行)或在一些情况下依次(即,串行)支持多个用户的能力。在单个共享光标或单个共享菜单的情况下,各持有远程指向装置的独立的用户可拥有对屏幕光标(及因此功能命令)的控制,和/或使用指定的协议作出菜单选择。存在可用于建立共享协议的多种方法。
一种方法可以是“集中式”,其中可将远程装置中的一者设计为主控制器,其可通过将适当命令发送到控制单元而将光标控制让与其它用户中的任一者。在其它方法中,对光标的控制可以是“分布式”,例如令牌传递方案(例如,手持式装置分发令牌,且具有令牌的装置承担对光标的控制)。在集中式或分布式方案中,可基于说明活动等级(例如,非现用远程控制失去优先权或现用远程控制获得优先权)、指定序列(优先权在用户群组之间轮换)或预定控制层级(例如,用户#1在活动时具有控制权,用户#2在活动时且#1不活动时具有控制权等)的一组规则来确定控制优先权。所属领域的技术人员将容易实施本描述内容的精神所涵盖的许多其它共享协议。
具有多个同时活动光标和/或菜单选择的多个用户(例如,每一用户一个光标)代表多个用户环境的较高级形式。在此情况下,控制单元将基于每一装置的坐标数据来显示并移动对应于每一用户的指向装置的屏幕光标。可使用不同的光标图标帮助区分每一用户的行动(例如,颜色、形状等)。尽管可同时显示并控制多个光标,但至少对于多个光标指向单个显示器特征的情况和/或在仅能够一次执行一个命令的系统中,必须确定功能命令的优先权。优先权确定的最简单形式可基于哪一用户首先选择命令。所属领域的技术人员将了解确定命令优先权的其它程序。具有同时活动光标的多个用户对于游戏功能可能尤其有用。
7.0源于手持式装置活动的应用
回忆上文关于图10a、图10b和“虚拟拨号盘”的论述,可将特定的指向行动或运动解译为预编程的功能。举例来说,可将指向屏幕时视觉远程装置的快速向上运动或迅速移动解译为“上移”命令,而可将快速向右运动解译为“右移”命令等。也可将基本选择功能编程到手持式装置中,作为当屏幕光标指向所需功能标记时的简单的按钮点击,类似于计算机鼠标。或者,例如用光标移离功能标记或移回功能标记的预界定行动可实现选择功能。此手势能力能够编程虚拟按钮和行动,且可消除对于指向装置上硬编码按钮的需要。
除了距离和位置确定或估计外,本发明的多参考或多传感器形式的另一方面是,感测指向装置的旋转运动的能力,如章节1和4中所述。举例来说,在两个参考标记的情况下,可检测屏幕与指向装置之间的沿着近似平行于连接指向装置与屏幕的线的轴的相对旋转。此类型的运动在单个参考/单个传感器优选实施例的情况下通常不可检测,因为其不表现指向方向的变化。此类型的运动通常称为滚动,且虽然其不表现指向行动,但可用于通过简单且直观的手势实现其它命令和功能。此旋转或扭转运动的使用的一个实例是,上文论述的用于控制器具的各种属性(例如,音量、频道、歌曲音轨等)的“虚拟拨号盘”。本发明可检测的和先前描述的其它基本运动或行动可用于特定命令或功能。手持式装置的操作的另一方面是,其不需要用户在屏幕边界内进行指向以便由整个系统辨别。这是由于系统的位置和定向感测能力的缘故,使得可执行的行动不像常规鼠标型指向装置中那样限于屏幕光标的位置。此处,指向范围由装置传感器的视场和用户距屏幕的距离而不是屏幕大小确定。通常,有用的指向范围大于屏幕大小。因此,超出屏幕边界的指向行动可用于多种功能或命令。举例来说,可在用户将指针导向指定的边界(例如,屏幕边缘)以外时激活或显示屏幕菜单。或者,屏幕边界外的向上或向下运动可激活所显示的屏幕菜单上的卷动功能。可使用绝对指向装置的此特性实现许多其它“屏幕外”行动。
8.0游戏应用
除了至此描述的基本远程控制功能外,绝对指向装置的相关应用是其作为视频游戏互动机制或游戏控制器的用途。常规的游戏控制器基于鼠标型或操纵杆型输入装置和按钮,其中通过标准鼠标或操纵杆移动(其本质上是相关的)和按钮按压来控制游戏功能(例如,场景导航、武器引爆等)。明确地说,可通过装置的绝对指向和位置感测能力来显著增强视频游戏的导航和运动控制方面。除了直接屏幕指向能力外,对于屏幕距离、屏幕视角、装置滚动角度、倾斜和偏转的敏感度允许常规游戏控制器中不存在的游戏者的自由度。这些特性可用于控制例如直观三维运动(例如,使用飞行模拟的游戏)和位置敏感互动(例如,随着游戏者移动而移动的场景透视或使用进-出运动的速度控制)的多种行动。此处,术语“用户接口”应理解为足够广义而包含显示的游戏接口。
9.0总结性说明
上文论述所教示的过程中的一些过程可以例如机器可执行指令的程序代码执行,所述机器可执行指令促使机器(例如,安置在半导体芯片上的处理器,或将抽象程序代码转化为处理器特定程序代码的“解译器”(例如,Java虚拟机))执行某些功能。或者,可由包含用于执行功能的硬连线逻辑电路的特定硬件组件(例如,逻辑状态机),或由经编程的计算机组件和硬连线逻辑组件的任何组合来执行这些功能。
可使用制造物来存储程序代码。存储程序代码的制造物可实施为(但不限于)一个或一个以上存储器(例如,一个或一个以上快闪存储器、随机存取存储器(静态、动态或其它))、光盘、CD-ROM、DVDROM、EPROM、EEPROM、磁性或光学卡片,或适于存储电子指令的其它类型的机器可读媒体。也可通过实施在传播媒体中的数据信号(例如,经由通信链路(例如,网络连接))从远程计算机(例如,服务器)将程序代码下载到发出请求的计算机(例如,客户端)。
在以上说明书中,已参照本发明的特定示范性实施例描述了本发明。然而,将了解,可在不脱离所附权利要求书中陈述的本发明的较广义精神和范围的情况下对其作出各种修改和变化。因此,应在说明性而非限制性意义上理解说明书和附图。
Claims (37)
1.一种用于识别图像的方法,其包括:
从适于放置在显示器上或者接近于显示器的间隔开的固定位置的两个或两个以上标记发射红外辐射;
在手持式装置处对辐射进行滤波以便传递所述红外辐射并基本上排除其他辐射;
在来自至少两个间隔开的标记的辐射入射在所述手持式装置之内的像素化传感器上时,捕获所述至少两个间隔开的标记的各个图像的图像数据;
在所述手持式装置中处理所述图像数据以提供在所述像素化传感器上出现的图像的坐标数据,其中处理所述图像数据还包括:
识别具有一预定阈值以上强度值的像素区域;
分别沿x和y轴对所述强度值求和;和
基于所述强度值和在所述像素区域中的每一个像素的位置产生所述坐标数据;
从所述手持式装置发送从处理所述图像中获得的所述坐标数据;以及,
触发将由电子设备电路响应于所述手持式装置发送指示需要一行动的信号而采取的所述行动,其中所述行动包括主动地控制显示于所述显示器上的光标的位置,所述光标能用于选择由所述显示器上的电子装置生成的一个或者多个图形用户界面特征。
2.根据权利要求1所述的方法,其中所述电子设备电路选自由以下电路组成的群组:
a)电视电路;
b)卫星TV接收器电路;
c)有线TV接收器电路;
d)VCR电路;
e)DVD播放器电路;
f)计算机电路;
g)CD播放器电路;
h)音乐接收器电路;
i)IPTV电视和/或接收器电路;
j)游戏电路;
k)家庭自动化电路;
l)接收器电路。
3.根据权利要求1所述的方法,其中所述电子设备包括处理器。
4.根据权利要求1所述的方法,其中所述电子设备包括控制器。
5.根据权利要求1所述的方法,其进一步包括触发由所述电子设备电路响应于引起所述光标在所述显示器上的图标内运动的所述坐标数据而采取的行动。
6.根据权利要求5所述的方法,其进一步包括触发由所述电子设备电路响应于引起所述光标在所述图标内运动的所述坐标数据结合从所述手持式装置接收额外信息而采取的行动。
7.根据权利要求6所述的方法,其中所述额外信息包含所述两个或两个以上标记的每一者的信号强度。
8.根据权利要求1所述的方法,其中所述坐标数据包括在所述像素化传感器上捕获的所述两个或两个以上标记图像的位置。
9.根据权利要求1所述的方法,其中所述坐标数据包括识别发送所述坐标数据的具体手持式装置的数据。
10.根据权利要求1所述的方法,其中所述方法进一步包括以下步骤中的至少一者:
确定所述手持式装置的倾斜是在预定值的上方并将所述倾斜解译为“上移”命令;
确定所述手持式装置的偏转是在预定值右侧并将所述偏转解译为“右移”命令;
确定所述手持式装置的滚动;以及
确定所述手持式装置距所述显示器的距离。
11.根据权利要求10所述的方法,其中如果所述手持式装置的滚动被确定,拨号盘的图像将呈现在所述显示器上,且所述拨号盘的所述图像连同所述滚动一起旋转。
12.根据权利要求1所述的方法,其进一步包括触发由电子设备电路响应于驻留在所述显示器上所呈现的菜单选项处的所述坐标数据而采取的行动。
13.根据权利要求1所述的方法,其进一步包括触发由电子设备电路响应于驻留在所述显示器上的光标处的所述坐标数据而采取的行动。
14.一种用于识别图像的系统,其包括:
(i)手持式装置,其包括像素化传感器,和用于基本上传递红外辐射至所述传感器的光学滤光器,以及发射器;
(ii)电子设备,其适于偶接至显示器并经配置在所述显示器上产生图形用户界面;
(iii)适于放置在显示器上或者接近于显示器的间隔开的固定位置的至少两个标记,所述标记提供红外辐射,并且所述像素化传感器适于在来自至少两个间隔开的标记的辐射入射在所述传感器上时,产生所述至少两个间隔开的标记的各个图像;以及
(iv)所述手持式装置还包括:
经偶接用于捕获并处理所述传感器上的标记的所述至少两个间隔开的标记的各个图像的处理器,所述处理器适于从所述图像数据计算在所述传感器上的图像的坐标数据,其中计算图像的坐标数据包括:
识别具有一预定阈值以上强度值的像素区域;
分别沿x和y轴对所述强度值求和;和
基于所述强度值以及在所述像素区域中的每一个像素的位置产生所述坐标数据;以及
所述处理器偶接至所述发射器以发送所述坐标数据至电子设备,所述电子设备适于接收所述坐标数据而后回应地执行复数个行动,其中所述行动的至少一个包括主动控制显示于所述显示器上的光标的位置,所述光标能用于选择由所述显示器上的电子设备生成的一个或者多个图形用户界面特征。
15.根据权利要求14所述的系统,其中所述发射器是无线发射器。
16.一种用于识别图像的方法,其包括:
检测个别一个或一个以上空间上固定的标记的出现在像素化传感器上的一个或一个以上图像,所述标记发射红外辐射,所述像素化传感器在手持式装置内,所述手持式装置包含滤光器,所述滤光器传递所述红外辐射并基本上排除其他辐射,以及在所述像素化传感器上产生一个或者多个空间上固定的标记的一个或者多个图像的成像元件,所述标记适于放置在所述像素化传感器视角之内的固定位置;
产生所述一个或者一个以上图像的每一者的图像数据;
其中所述手持式装置包括通过执行下述操作处理所述图像数据的处理器,所述操作包括:
识别具有一预定阈值以上强度值的像素区域;
分别沿x和y轴对所述强度值求和;和
基于所述强度值以及在所述像素区域中的每一个像素的位置产生坐标数据;
其中所述手持式装置能够处理所述图像数据并产生所述坐标数据;以及
发送从所述处理步骤获得的信息。
17.根据权利要求16所述的方法,其中所述手持式装置发送的信息包括描述每一图像的每一坐标的数据。
18.根据权利要求16所述的方法,其进一步包括:对于所述图像的每一者,用手持式装置的电子电路确定其在所述传感器上的信号强度。
19.根据权利要求16所述的方法,其进一步包括:
将所述图像的确定坐标转译成显示器上或接近所述显示器的所指向位置。
20.根据权利要求19所述的方法,其中所发送的信息包括描述所述所指向位置的数据。
21.根据权利要求16所述的方法,其中所述处理进一步包括:
使用从所述传感器取得的来自围绕所述图像之一的像素区域内的数据,所述数据包括所述像素的每一个的强度值信息;
在第一方向上和在第二方向上对所述数据求和;
将第一曲线拟合到由所述第一方向上的所述求和产生的第一分布;
将第二曲线拟合到由所述第二方向上的所述求和产生的第二分布;
将所述第一曲线的中心识别为所述一个图像的坐标的第一坐标;及
将所述第二曲线的中心识别为所述图像的坐标的第二坐标。
22.根据权利要求21所述的方法,其中所述第一方向沿着所述传感器的像素行,且所述第二方向沿着所述传感器的像素列。
23.根据权利要求19所述的方法,其中所述转译进一步包括:
确定所述手持式装置与所述显示器之间的距离和/或视角;
根据所述距离和/或视角计算比例因数和/或偏移;
用所述比例因数和/或偏移相对于所述图像的经识别参考坐标来按比例缩放所述图像的确定坐标。
24.根据权利要求23所述的方法,其中所述计算比例因数和/或偏移包含校准程序,在所述校准程序中:
(i)所述手持式装置依次指向所述显示器上的两个或两个以上已知位置;或
(ii)所述手持式装置指向所述显示器上的一个已知位置,且所述标记的每一者相对于所述显示器而位于不同的水平和垂直位置,或
(iii)所述标记的每一者相对于屏幕而位于已知且不同的水平和垂直位置。
25.根据权利要求23所述的方法,其进一步包括
根据所述图像的确定坐标确定所述手持式装置的定向和/或所述定向的变化。
26.根据权利要求25所述的方法,其进一步包括确定所述手持式装置的视角。
27.根据权利要求26所述的方法,其进一步包括使用所述图像的信号强度的相对值来确定所述手持式装置的视角。
28.根据权利要求19所述的方法,其中所述一个或一个以上标记:
(i)位于所述显示器上方或下方所述显示器边界的若干厘米内并沿着水平维度近似居于中心,且
(ii)水平布置并彼此分离约5到15厘米。
29.根据权利要求23所述的方法,其进一步包括通过检测所述标记的所述图像的坐标的共同旋转来确定所述手持式装置的滚动角。
30.根据权利要求29所述的方法,其中修改所述将所述图像的确定坐标转译成显示器上的所指向位置以便校正所述手持式装置的滚动角。
31.根据权利要求25所述的方法,其进一步包括:
确定所述手持式装置的定向;
根据所述距离和/或视角以及所述定向计算所述比例因数和/或偏移。
32.根据权利要求31所述的方法,其中所述确定所述距离和/或视角进一步包括跟踪所述标记的所述图像的两个或两个以上坐标之间的间隔变化。
33.根据权利要求32所述的方法,其中所述标记充当光学辐射源。
34.根据权利要求32所述的方法,其中所述标记反射所述手持式装置的传感器所检测到的光学辐射。
35.根据权利要求16所述的方法,其中将所述位置界定为是像素的分数的大小。
36.根据权利要求16所述的方法,其中所述坐标以小于像素的分辨率来界定。
37.根据权利要求16所述的方法,其中在位于所述手持式装置正面上的孔径与所述像素化传感器之间延伸的光学通道内设置漫射器。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US59341305P | 2005-01-12 | 2005-01-12 | |
US60/593,413 | 2005-01-12 | ||
US11/187,405 | 2005-07-21 | ||
US11/187,435 | 2005-07-21 | ||
US11/187,387 | 2005-07-21 | ||
US11/187,435 US7864159B2 (en) | 2005-01-12 | 2005-07-21 | Handheld vision based absolute pointing system |
US11/187,387 US7852317B2 (en) | 2005-01-12 | 2005-07-21 | Handheld device for handheld vision based absolute pointing system |
US11/187,405 US7796116B2 (en) | 2005-01-12 | 2005-07-21 | Electronic equipment for handheld vision based absolute pointing system |
PCT/US2006/001198 WO2006076557A2 (en) | 2005-01-12 | 2006-01-11 | Handheld vision based absolute pointing system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101128794A CN101128794A (zh) | 2008-02-20 |
CN101128794B true CN101128794B (zh) | 2016-01-20 |
Family
ID=39096065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200680006415.3A Expired - Fee Related CN101128794B (zh) | 2005-01-12 | 2006-01-11 | 手持式基于视觉的绝对指向系统 |
Country Status (3)
Country | Link |
---|---|
US (4) | US7852317B2 (zh) |
CN (1) | CN101128794B (zh) |
HK (1) | HK1113609A1 (zh) |
Families Citing this family (283)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
US7674184B2 (en) | 2002-08-01 | 2010-03-09 | Creative Kingdoms, Llc | Interactive water attraction and quest game |
US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US20060041484A1 (en) | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
US8799303B2 (en) | 2004-02-15 | 2014-08-05 | Google Inc. | Establishing an interactive environment for rendered documents |
US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
US7812860B2 (en) * | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
US20070300142A1 (en) | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
US20080313172A1 (en) | 2004-12-03 | 2008-12-18 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
US8793162B2 (en) | 2004-04-01 | 2014-07-29 | Google Inc. | Adding information or functionality to a rendered document via association with an electronic counterpart |
US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
US8621349B2 (en) | 2004-04-01 | 2013-12-31 | Google Inc. | Publishing techniques for adding value to a rendered document |
US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
US9460346B2 (en) * | 2004-04-19 | 2016-10-04 | Google Inc. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
US9024880B2 (en) | 2004-08-11 | 2015-05-05 | Pixart Imaging Inc. | Interactive system capable of improving image processing |
TWI236289B (en) * | 2004-08-11 | 2005-07-11 | Pixart Imaging Inc | Interactive device capable of improving image processing |
US7852317B2 (en) * | 2005-01-12 | 2010-12-14 | Thinkoptics, Inc. | Handheld device for handheld vision based absolute pointing system |
JP2006277283A (ja) * | 2005-03-29 | 2006-10-12 | Fuji Xerox Co Ltd | 情報処理システムおよび情報処理方法 |
TWI281623B (en) * | 2005-05-10 | 2007-05-21 | Pixart Imaging Inc | Orientation point orientating method of orientation device and device thereof |
JP5091857B2 (ja) * | 2005-06-30 | 2012-12-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | システム制御方法 |
US9285897B2 (en) | 2005-07-13 | 2016-03-15 | Ultimate Pointer, L.L.C. | Easily deployable interactive direct-pointing system and calibration method therefor |
US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
JP4805633B2 (ja) | 2005-08-22 | 2011-11-02 | 任天堂株式会社 | ゲーム用操作装置 |
US8870655B2 (en) * | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
JP4262726B2 (ja) | 2005-08-24 | 2009-05-13 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
CN101273368A (zh) | 2005-08-29 | 2008-09-24 | 埃韦里克斯技术股份有限公司 | 经由移动图像识别的交互 |
US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8708822B2 (en) * | 2005-09-01 | 2014-04-29 | Nintendo Co., Ltd. | Information processing system and program |
JP4907129B2 (ja) | 2005-09-01 | 2012-03-28 | 任天堂株式会社 | 情報処理システムおよびプログラム |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
JP4794957B2 (ja) * | 2005-09-14 | 2011-10-19 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法 |
JP4773170B2 (ja) | 2005-09-14 | 2011-09-14 | 任天堂株式会社 | ゲームプログラムおよびゲームシステム |
US8441440B2 (en) * | 2005-09-27 | 2013-05-14 | Tamura Corporation | Position information detection device, position information detection method, and position information detection program |
US7696985B2 (en) * | 2005-11-30 | 2010-04-13 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Producing display control signals for handheld device display and remote display |
WO2007078021A1 (en) * | 2006-01-05 | 2007-07-12 | Pointchips Co., Ltd. | Appartus for remote pointing using image sensor and method of the same |
KR101261550B1 (ko) * | 2006-02-01 | 2013-05-06 | 삼성전자주식회사 | 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법 |
CN101496387B (zh) | 2006-03-06 | 2012-09-05 | 思科技术公司 | 用于移动无线网络中的接入认证的系统和方法 |
JP5424373B2 (ja) * | 2006-03-09 | 2014-02-26 | 任天堂株式会社 | 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法 |
JP4530419B2 (ja) | 2006-03-09 | 2010-08-25 | 任天堂株式会社 | 座標算出装置および座標算出プログラム |
JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
US8106884B2 (en) * | 2006-03-20 | 2012-01-31 | Samsung Electronics Co., Ltd. | Pointing input device, method, and system using image pattern |
JP5037842B2 (ja) * | 2006-03-28 | 2012-10-03 | 任天堂株式会社 | 情報処理装置およびプログラム |
JP4684147B2 (ja) * | 2006-03-28 | 2011-05-18 | 任天堂株式会社 | 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム |
JP5138175B2 (ja) * | 2006-04-12 | 2013-02-06 | 任天堂株式会社 | 文字入力プログラム、文字入力装置、文字入力システムおよび文字入力方法 |
TWI317084B (en) * | 2006-05-05 | 2009-11-11 | Pixart Imaging Inc | Pointer positioning device and method |
US9364755B1 (en) | 2006-05-08 | 2016-06-14 | Nintendo Co., Ltd. | Methods and apparatus for using illumination marks for spatial pointing |
US8803978B2 (en) * | 2006-05-23 | 2014-08-12 | Microsoft Corporation | Computer vision-based object tracking system |
US8384665B1 (en) * | 2006-07-14 | 2013-02-26 | Ailive, Inc. | Method and system for making a selection in 3D virtual environment |
US20080052750A1 (en) * | 2006-08-28 | 2008-02-28 | Anders Grunnet-Jepsen | Direct-point on-demand information exchanges |
US8913003B2 (en) * | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
EP2067119A2 (en) | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
KR20080030899A (ko) * | 2006-10-02 | 2008-04-07 | 엘지전자 주식회사 | 맞춤형 방송 신호 수신기 및 방송 수신 방법 |
US7566858B2 (en) | 2006-11-07 | 2009-07-28 | Apple Inc. | Remote control systems that can distinguish stray light sources |
US8291346B2 (en) | 2006-11-07 | 2012-10-16 | Apple Inc. | 3D remote control system employing absolute and relative position detection |
US20080117339A1 (en) * | 2006-11-20 | 2008-05-22 | Comcast Cable Holdings, Llc | Remote control based content control |
JP4689585B2 (ja) * | 2006-11-29 | 2011-05-25 | 任天堂株式会社 | 情報処理装置および情報処理プログラム |
US8451215B2 (en) * | 2007-01-12 | 2013-05-28 | Capsom Co., Ltd. | Display control device, program for implementing the display control device, and recording medium containing the program |
JP5127242B2 (ja) | 2007-01-19 | 2013-01-23 | 任天堂株式会社 | 加速度データ処理プログラムおよびゲームプログラム |
TWM318760U (en) * | 2007-01-26 | 2007-09-11 | Pixart Imaging Inc | Remote controller |
TWI330541B (en) * | 2007-01-31 | 2010-09-21 | Pixart Imaging Inc | Control device and method for controlling an image display |
US20090017910A1 (en) * | 2007-06-22 | 2009-01-15 | Broadcom Corporation | Position and motion tracking of an object |
CN101236468B (zh) * | 2007-02-02 | 2011-06-08 | 鸿富锦精密工业(深圳)有限公司 | 鼠标指示系统、鼠标指示装置以及鼠标指示方法 |
TWI391843B (zh) * | 2007-02-05 | 2013-04-01 | Hon Hai Prec Ind Co Ltd | 鼠標指示系統、鼠標指示裝置以及鼠標指示方法 |
JP5060798B2 (ja) * | 2007-02-23 | 2012-10-31 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
JP4918376B2 (ja) * | 2007-02-23 | 2012-04-18 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
US8438480B2 (en) * | 2007-03-26 | 2013-05-07 | Avago Technologies General Ip (Singapore) Pte. Ltd. | System and method for tracking an input device using a display screen in captured frames of image data |
US20080244466A1 (en) * | 2007-03-26 | 2008-10-02 | Timothy James Orsley | System and method for interfacing with information on a display screen |
TWI345720B (en) * | 2007-04-24 | 2011-07-21 | Pixart Imaging Inc | Cursor controlling device and method for image apparatus and image system |
US9176598B2 (en) * | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
US8102365B2 (en) * | 2007-05-14 | 2012-01-24 | Apple Inc. | Remote control systems that can distinguish stray light sources |
US8570373B2 (en) * | 2007-06-08 | 2013-10-29 | Cisco Technology, Inc. | Tracking an object utilizing location information associated with a wireless device |
US8330730B1 (en) * | 2007-09-04 | 2012-12-11 | Imaging Systems Technology, Inc. | Calibrating of interactive touch system for image compositing |
KR101348346B1 (ko) * | 2007-09-06 | 2014-01-08 | 삼성전자주식회사 | 포인팅 장치, 포인터 제어 장치, 포인팅 방법 및 포인터제어 방법 |
US20090066648A1 (en) * | 2007-09-07 | 2009-03-12 | Apple Inc. | Gui applications for use with 3d remote controller |
US8054332B2 (en) * | 2007-09-19 | 2011-11-08 | Fuji Xerox Co., Ltd. | Advanced input controller for multimedia processing |
JP5003377B2 (ja) * | 2007-09-21 | 2012-08-15 | パナソニック株式会社 | 電子機器におけるマークの位置あわせ方法 |
JP4964729B2 (ja) * | 2007-10-01 | 2012-07-04 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
JP2009301531A (ja) * | 2007-10-22 | 2009-12-24 | Sony Corp | 空間操作型入力装置、制御装置、制御システム、制御方法、空間操作型入力装置の製造方法及びハンドヘルド装置 |
JP4457144B2 (ja) * | 2007-12-11 | 2010-04-28 | シャープ株式会社 | 表示システム、液晶表示装置 |
JP5224832B2 (ja) * | 2008-01-21 | 2013-07-03 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
US8797377B2 (en) | 2008-02-14 | 2014-08-05 | Cisco Technology, Inc. | Method and system for videoconference configuration |
US8355041B2 (en) | 2008-02-14 | 2013-01-15 | Cisco Technology, Inc. | Telepresence system for 360 degree video conferencing |
US8515119B2 (en) * | 2008-02-19 | 2013-08-20 | Hisense Beijing Electric Co., Ltd. | Control unit, a video device including said control unit, and a control method |
US8319819B2 (en) | 2008-03-26 | 2012-11-27 | Cisco Technology, Inc. | Virtual round-table videoconference |
EP2281230A1 (en) * | 2008-04-10 | 2011-02-09 | Karl Christopher Hansen | Simple-to-use optical wireless remote control |
US8390667B2 (en) | 2008-04-15 | 2013-03-05 | Cisco Technology, Inc. | Pop-up PIP for people not in picture |
EP2277307A2 (en) * | 2008-04-16 | 2011-01-26 | Emil Stefanov Dotchevski | Interactive display recognition devices and related methods and systems for implementation thereof |
JP2011521520A (ja) * | 2008-04-16 | 2011-07-21 | ワイコフ, リチャード ダレル | 携帯型マルチメディア受信および送信装置 |
JP5178298B2 (ja) * | 2008-04-17 | 2013-04-10 | 三菱電機株式会社 | 表示装置用回動台およびその制御方法 |
TW200947415A (en) * | 2008-05-08 | 2009-11-16 | Chunghwa Picture Tubes Ltd | Display method of liquid crystal display device |
US20090279107A1 (en) * | 2008-05-09 | 2009-11-12 | Analog Devices, Inc. | Optical distance measurement by triangulation of an active transponder |
US9285459B2 (en) * | 2008-05-09 | 2016-03-15 | Analog Devices, Inc. | Method of locating an object in 3D |
JP2009276819A (ja) * | 2008-05-12 | 2009-11-26 | Fujitsu Ltd | ポインティング装置の制御方法およびポインティング装置、並びにコンピュータプログラム |
EP2140915B1 (en) | 2008-06-30 | 2019-03-06 | Nintendo Co., Ltd. | Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein |
EP2140916B1 (en) * | 2008-06-30 | 2018-10-31 | Nintendo Co., Ltd. | Coordinate calculation apparatus and storage medium having coordinate calculation program stored therein |
KR20110039318A (ko) | 2008-07-01 | 2011-04-15 | 힐크레스트 래보래토리스, 인크. | 3d 포인터 매핑 |
HUP0800490A2 (en) * | 2008-08-01 | 2010-05-28 | Elipszilon Kulturalis Szolgalt | System and method for detecting spatial position |
US8694658B2 (en) | 2008-09-19 | 2014-04-08 | Cisco Technology, Inc. | System and method for enabling communication sessions in a network environment |
JP5120460B2 (ja) * | 2008-10-28 | 2013-01-16 | 富士通株式会社 | 携帯端末および入力制御方法 |
US9746544B2 (en) * | 2008-12-03 | 2017-08-29 | Analog Devices, Inc. | Position measurement systems using position sensitive detectors |
KR20100067381A (ko) * | 2008-12-11 | 2010-06-21 | 삼성전자주식회사 | 사용자 인터페이스 제공 방법 및 이를 위한 휴대 단말기 |
JP2010137009A (ja) * | 2008-12-15 | 2010-06-24 | Nintendo Co Ltd | キャリブレーションプログラム及び座標検出装置 |
US20100171696A1 (en) * | 2009-01-06 | 2010-07-08 | Chi Kong Wu | Motion actuation system and related motion database |
TWM368132U (en) * | 2009-01-10 | 2009-11-01 | Airwave Technologies Inc | Flip-operation mouse device |
JP2010170388A (ja) * | 2009-01-23 | 2010-08-05 | Sony Corp | 入力装置および方法、情報処理装置および方法、情報処理システム、並びにプログラム |
US20100188429A1 (en) * | 2009-01-29 | 2010-07-29 | At&T Intellectual Property I, L.P. | System and Method to Navigate and Present Image Libraries and Images |
DE202010018601U1 (de) | 2009-02-18 | 2018-04-30 | Google LLC (n.d.Ges.d. Staates Delaware) | Automatisches Erfassen von Informationen, wie etwa Erfassen von Informationen unter Verwendung einer dokumentenerkennenden Vorrichtung |
US8659637B2 (en) | 2009-03-09 | 2014-02-25 | Cisco Technology, Inc. | System and method for providing three dimensional video conferencing in a network environment |
US8477175B2 (en) | 2009-03-09 | 2013-07-02 | Cisco Technology, Inc. | System and method for providing three dimensional imaging in a network environment |
EP2228109B1 (en) | 2009-03-09 | 2021-03-24 | Nintendo Co., Ltd. | Information processing apparatus, storage medium having information processing program stored therein, information processing system, and display range control method |
US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
WO2010105245A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Automatically providing content associated with captured information, such as information captured in real-time |
KR101666995B1 (ko) * | 2009-03-23 | 2016-10-17 | 삼성전자주식회사 | 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법 |
US8896624B2 (en) | 2009-03-30 | 2014-11-25 | Nec Display Solutions, Ltd. | Image display device and image processing method |
US8523971B2 (en) * | 2009-05-07 | 2013-09-03 | The Hong Kong Polytechnic University | Multilayer nanofiber filter |
US9304202B2 (en) * | 2009-05-27 | 2016-04-05 | Analog Devices, Inc. | Multiuse optical sensor |
US8659639B2 (en) | 2009-05-29 | 2014-02-25 | Cisco Technology, Inc. | System and method for extending communications between participants in a conferencing environment |
TWI406155B (zh) * | 2009-06-09 | 2013-08-21 | Tenx Technology Inc | 游標位置之偏差校正方法 |
US20100309121A1 (en) * | 2009-06-09 | 2010-12-09 | Kai-Fen Huang | Electonic apparatus with deviation correction of cursor position |
US9737796B2 (en) * | 2009-07-08 | 2017-08-22 | Steelseries Aps | Apparatus and method for managing operations of accessories in multi-dimensions |
US8719714B2 (en) | 2009-07-08 | 2014-05-06 | Steelseries Aps | Apparatus and method for managing operations of accessories |
CN101968655B (zh) * | 2009-07-28 | 2013-01-02 | 十速科技股份有限公司 | 光标位置的偏差校正方法 |
US9082297B2 (en) | 2009-08-11 | 2015-07-14 | Cisco Technology, Inc. | System and method for verifying parameters in an audiovisual environment |
US20110063522A1 (en) * | 2009-09-14 | 2011-03-17 | Jeyhan Karaoguz | System and method for generating television screen pointing information using an external receiver |
KR20110052869A (ko) * | 2009-11-13 | 2011-05-19 | 삼성전자주식회사 | 휴대용 단말기에서 포인터 제어 기능을 제공하기 위한 장치 및 방법 |
US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
US20110141013A1 (en) * | 2009-12-14 | 2011-06-16 | Alcatel-Lucent Usa, Incorporated | User-interface apparatus and method for user control |
US8497902B2 (en) * | 2009-12-18 | 2013-07-30 | Sony Computer Entertainment Inc. | System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof |
US9508387B2 (en) | 2009-12-31 | 2016-11-29 | Flick Intelligence, LLC | Flick intel annotation methods and systems |
US9465451B2 (en) | 2009-12-31 | 2016-10-11 | Flick Intelligence, LLC | Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game |
US20160182971A1 (en) | 2009-12-31 | 2016-06-23 | Flickintel, Llc | Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game |
US8751942B2 (en) | 2011-09-27 | 2014-06-10 | Flickintel, Llc | Method, system and processor-readable media for bidirectional communications and data sharing between wireless hand held devices and multimedia display systems |
US8253560B2 (en) * | 2010-02-26 | 2012-08-28 | Thl Holding Company, Llc | Adjunct device and a handheld wireless communication device with location features |
US8253559B2 (en) * | 2010-02-26 | 2012-08-28 | Thl Holding Company, Llc | System and wireless device for locating a remote object |
US8285248B2 (en) * | 2010-02-26 | 2012-10-09 | Thl Holding Company, Llc | Multi-function adjunct device for use with a handheld wireless communication device |
US8254878B2 (en) * | 2010-02-26 | 2012-08-28 | Thl Holding Company, Llc | Methods for use in conjunction with a handheld wireless communication device having an adjunct device coupled thereto |
US8884871B2 (en) * | 2010-02-26 | 2014-11-11 | Thl Holding Company, Llc | Adjunct device for use with a handheld wireless communication device as a screen pointer |
US8588806B2 (en) | 2010-02-26 | 2013-11-19 | Thl Holding Company, Llc | Wireless device and methods for use in a paging network |
JP5693022B2 (ja) * | 2010-03-04 | 2015-04-01 | キヤノン株式会社 | 表示制御装置および表示制御システム、並びにそれらの制御方法、プログラム、記憶媒体 |
US9225916B2 (en) | 2010-03-18 | 2015-12-29 | Cisco Technology, Inc. | System and method for enhancing video images in a conferencing environment |
USD628968S1 (en) | 2010-03-21 | 2010-12-14 | Cisco Technology, Inc. | Free-standing video unit |
USD628175S1 (en) | 2010-03-21 | 2010-11-30 | Cisco Technology, Inc. | Mounted video unit |
USD626103S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Technology, Inc. | Video unit with integrated features |
USD626102S1 (en) | 2010-03-21 | 2010-10-26 | Cisco Tech Inc | Video unit with integrated features |
TWI430136B (zh) * | 2010-03-22 | 2014-03-11 | Au Optronics Corp | 互動式立體顯示系統以及距離計算方法 |
CN101819475A (zh) * | 2010-04-06 | 2010-09-01 | 郭小卫 | 一种指示设备获取指示信息的方法 |
US9955209B2 (en) | 2010-04-14 | 2018-04-24 | Alcatel-Lucent Usa Inc. | Immersive viewer, a method of providing scenes on a display and an immersive viewing system |
US9294716B2 (en) | 2010-04-30 | 2016-03-22 | Alcatel Lucent | Method and system for controlling an imaging system |
US9313452B2 (en) | 2010-05-17 | 2016-04-12 | Cisco Technology, Inc. | System and method for providing retracting optics in a video conferencing environment |
US8792683B2 (en) * | 2010-06-04 | 2014-07-29 | Blackberry Limited | Fingerprint scanning with optical navigation |
US8717289B2 (en) | 2010-06-22 | 2014-05-06 | Hsni Llc | System and method for integrating an electronic pointing device into digital image data |
US8730354B2 (en) | 2010-07-13 | 2014-05-20 | Sony Computer Entertainment Inc | Overlay video content on a mobile device |
US9159165B2 (en) | 2010-07-13 | 2015-10-13 | Sony Computer Entertainment Inc. | Position-dependent gaming, 3-D controller, and handheld as a remote |
US20120019442A1 (en) * | 2010-07-23 | 2012-01-26 | Andrew Christopher Warne | Pointing device for use with a computer and methods of operation and calibration thereof |
US8896655B2 (en) | 2010-08-31 | 2014-11-25 | Cisco Technology, Inc. | System and method for providing depth adaptive video conferencing |
US8599934B2 (en) | 2010-09-08 | 2013-12-03 | Cisco Technology, Inc. | System and method for skip coding during video conferencing in a network environment |
JP5814532B2 (ja) * | 2010-09-24 | 2015-11-17 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 |
JP5598232B2 (ja) | 2010-10-04 | 2014-10-01 | ソニー株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
US8599865B2 (en) | 2010-10-26 | 2013-12-03 | Cisco Technology, Inc. | System and method for provisioning flows in a mobile network environment |
US8699457B2 (en) | 2010-11-03 | 2014-04-15 | Cisco Technology, Inc. | System and method for managing flows in a mobile network environment |
KR20120046973A (ko) * | 2010-11-03 | 2012-05-11 | 삼성전자주식회사 | 움직임 정보 생성 방법 및 장치 |
US9338394B2 (en) | 2010-11-15 | 2016-05-10 | Cisco Technology, Inc. | System and method for providing enhanced audio in a video environment |
US9143725B2 (en) | 2010-11-15 | 2015-09-22 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8902244B2 (en) | 2010-11-15 | 2014-12-02 | Cisco Technology, Inc. | System and method for providing enhanced graphics in a video environment |
US8730297B2 (en) | 2010-11-15 | 2014-05-20 | Cisco Technology, Inc. | System and method for providing camera functions in a video environment |
US8542264B2 (en) | 2010-11-18 | 2013-09-24 | Cisco Technology, Inc. | System and method for managing optics in a video environment |
US8723914B2 (en) | 2010-11-19 | 2014-05-13 | Cisco Technology, Inc. | System and method for providing enhanced video processing in a network environment |
KR20120058802A (ko) * | 2010-11-30 | 2012-06-08 | 삼성전자주식회사 | 3차원 위치/방향 추정 시스템에서 3차원 위치를 보정하는 장치 및 방법 |
US9111138B2 (en) | 2010-11-30 | 2015-08-18 | Cisco Technology, Inc. | System and method for gesture interface control |
USD678307S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678894S1 (en) | 2010-12-16 | 2013-03-26 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682293S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678308S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD678320S1 (en) | 2010-12-16 | 2013-03-19 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682294S1 (en) | 2010-12-16 | 2013-05-14 | Cisco Technology, Inc. | Display screen with graphical user interface |
USD682854S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen for graphical user interface |
USD682864S1 (en) | 2010-12-16 | 2013-05-21 | Cisco Technology, Inc. | Display screen with graphical user interface |
US8692862B2 (en) | 2011-02-28 | 2014-04-08 | Cisco Technology, Inc. | System and method for selection of video data in a video conference environment |
US9597590B2 (en) * | 2011-04-01 | 2017-03-21 | Massachusetts Institute Of Technology | Methods and apparatus for accessing peripheral content |
US9179182B2 (en) * | 2011-04-12 | 2015-11-03 | Kenneth J. Huebner | Interactive multi-display control systems |
CN102750067B (zh) * | 2011-04-19 | 2015-04-22 | 中国科学院软件研究所 | 一种基于手持设备的大屏幕交互方法 |
US8670019B2 (en) | 2011-04-28 | 2014-03-11 | Cisco Technology, Inc. | System and method for providing enhanced eye gaze in a video conferencing environment |
US8786631B1 (en) | 2011-04-30 | 2014-07-22 | Cisco Technology, Inc. | System and method for transferring transparency information in a video environment |
US8934026B2 (en) | 2011-05-12 | 2015-01-13 | Cisco Technology, Inc. | System and method for video coding in a dynamic environment |
JP2012243076A (ja) * | 2011-05-19 | 2012-12-10 | Sony Corp | 情報処理装置、情報処理方法、プログラム、サーバ、及び情報処理システム |
TWI462060B (zh) * | 2011-05-20 | 2014-11-21 | Wistron Corp | 手持控制裝置與控制電子裝置的方法 |
CN102819354B (zh) * | 2011-06-07 | 2017-08-11 | 上海科斗电子科技有限公司 | 信号区域存在重叠的触摸屏 |
TWI436241B (zh) * | 2011-07-01 | 2014-05-01 | J Mex Inc | 遙控裝置及將其用於校正螢幕的控制系統及方法 |
TWI441042B (zh) * | 2011-07-01 | 2014-06-11 | Pixart Imaging Inc | 互動影像系統、互動控制裝置及其運作方法 |
CN102866772B (zh) * | 2011-07-07 | 2016-02-17 | 原相科技股份有限公司 | 互动影像系统、互动控制装置及其运作方法 |
WO2013020110A2 (en) * | 2011-08-03 | 2013-02-07 | Fluke Corporation | Maintenance management systems and methods |
TWI442269B (zh) * | 2011-08-09 | 2014-06-21 | J Mex Inc | 控制裝置及將其用於控制螢幕的方法 |
CN102955577A (zh) * | 2011-08-26 | 2013-03-06 | 奇高电子股份有限公司 | 光学式指针控制系统及方法 |
US9305361B2 (en) * | 2011-09-12 | 2016-04-05 | Qualcomm Incorporated | Resolving homography decomposition ambiguity based on orientation sensors |
US8951120B2 (en) * | 2011-09-19 | 2015-02-10 | Sony Computer Entertainment America Llc | Systems and methods for calibration and biasing for game controller |
US20130082923A1 (en) * | 2011-10-03 | 2013-04-04 | Chip Goal Electronics Corporation, R.O.C. | Optical pointer control system and method therefor |
US8947493B2 (en) | 2011-11-16 | 2015-02-03 | Cisco Technology, Inc. | System and method for alerting a participant in a video conference |
US9008487B2 (en) | 2011-12-06 | 2015-04-14 | Alcatel Lucent | Spatial bookmarking |
US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
US9702690B2 (en) | 2011-12-19 | 2017-07-11 | Analog Devices, Inc. | Lens-less optical position measuring sensor |
KR101975906B1 (ko) * | 2012-01-09 | 2019-05-08 | 삼성전자주식회사 | 영상 표시 장치에서 응용 프로그램의 레이아웃을 스케일링하기 위한 장치 및 방법 |
US8610663B2 (en) | 2012-02-06 | 2013-12-17 | Lg Electronics Inc. | Portable device and method for controlling the same |
US9052802B2 (en) * | 2012-03-02 | 2015-06-09 | Realtek Semiconductor Corp. | Multimedia interaction system and related computer program product capable of filtering multimedia interaction commands |
US9258380B2 (en) | 2012-03-02 | 2016-02-09 | Realtek Semiconductor Corp. | Cross-platform multimedia interaction system with multiple displays and dynamically-configured hierarchical servers and related method, electronic device and computer program product |
TWI509468B (zh) * | 2012-04-06 | 2015-11-21 | Pixart Imaging Inc | 影像定位方法及使用該方法之互動影像系統 |
US9304574B2 (en) * | 2012-04-13 | 2016-04-05 | Pixart Imaging Inc. | Remote device and power saving method of interactive system |
TWI467131B (zh) * | 2012-04-24 | 2015-01-01 | Pixart Imaging Inc | 計算物件位置的方法與系統 |
US20140026076A1 (en) * | 2012-07-17 | 2014-01-23 | Jacquilene Jacob | Real-time interactive collaboration system |
TWI469089B (zh) * | 2012-08-08 | 2015-01-11 | Pixart Imaging Inc | 影像判斷方法以及物件座標計算裝置 |
TWI484376B (zh) * | 2012-08-09 | 2015-05-11 | Pixart Imaging Inc | 互動系統及遙控裝置 |
US8773591B1 (en) * | 2012-08-13 | 2014-07-08 | Nongqiang Fan | Method and apparatus for interacting with television screen |
KR20150053955A (ko) | 2012-09-06 | 2015-05-19 | 인터페이즈 코퍼레이션 | 대화형 디스플레이 시스템에서의 절대적 및 상대적 위치결정 센서 융합 |
CN103823617B (zh) * | 2012-11-19 | 2016-08-24 | 原相科技股份有限公司 | 互动系统及遥控装置 |
US9681154B2 (en) | 2012-12-06 | 2017-06-13 | Patent Capital Group | System and method for depth-guided filtering in a video conference environment |
CN103049110B (zh) * | 2012-12-21 | 2016-02-24 | 深圳市创荣发电子有限公司 | 基于遥控终端的空间定位方法及系统 |
EP2753092A1 (en) * | 2013-01-02 | 2014-07-09 | Samsung Electronics Co., Ltd | Display apparatus, input apparatus, and method for compensating coordinates using the same |
TWI468997B (zh) * | 2013-01-09 | 2015-01-11 | Pixart Imaging Inc | 具有較大可操作範圍的指向系統及影像系統 |
CN103941884B (zh) * | 2013-01-17 | 2017-05-24 | 原相科技股份有限公司 | 具有较大可操作范围的指向系统及图像系统 |
CN104007903B (zh) * | 2013-02-27 | 2017-03-22 | 联想(北京)有限公司 | 一种界面调用方法、装置及电子设备 |
US9687730B2 (en) | 2013-03-15 | 2017-06-27 | Steelseries Aps | Gaming device with independent gesture-sensitive areas |
US9423874B2 (en) | 2013-03-15 | 2016-08-23 | Steelseries Aps | Gaming accessory with sensory feedback device |
US9952684B2 (en) | 2013-05-09 | 2018-04-24 | Samsung Electronics Co., Ltd. | Input apparatus, pointing apparatus, method for displaying pointer, and recordable medium |
US10509533B2 (en) * | 2013-05-14 | 2019-12-17 | Qualcomm Incorporated | Systems and methods of generating augmented reality (AR) objects |
US9843621B2 (en) | 2013-05-17 | 2017-12-12 | Cisco Technology, Inc. | Calendaring activities based on communication processing |
US9582078B1 (en) * | 2013-06-28 | 2017-02-28 | Maxim Integrated Products, Inc. | Integrated touchless joystick-type controller |
US9507437B2 (en) * | 2013-07-16 | 2016-11-29 | Amchael Visual Technology Corporation | Algorithms, software and an interaction system that support the operation of an on the fly mouse |
CN104331212B (zh) * | 2013-07-22 | 2017-11-10 | 原相科技股份有限公司 | 手持式指向装置的光标定位方法 |
TWI524211B (zh) * | 2013-09-11 | 2016-03-01 | 萬國商業機器公司 | 電子裝置及其顯示角度調整方法 |
CN110223327B (zh) * | 2013-10-07 | 2023-08-01 | 苹果公司 | 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 |
US10937187B2 (en) | 2013-10-07 | 2021-03-02 | Apple Inc. | Method and system for providing position or movement information for controlling at least one function of an environment |
CN105706435B (zh) * | 2013-11-08 | 2019-04-02 | Nec照明株式会社 | 摄像装置、有机el元件、摄像方法和记录介质 |
US9310903B2 (en) * | 2013-12-09 | 2016-04-12 | Pixart Imaging Inc. | Displacement detection device with no hovering function and computer system including the same |
WO2015100205A1 (en) * | 2013-12-26 | 2015-07-02 | Interphase Corporation | Remote sensitivity adjustment in an interactive display system |
US20150294504A1 (en) * | 2014-04-15 | 2015-10-15 | Navigate Surgical Technologies, Inc. | Marker-based pixel replacement |
CN105630204A (zh) * | 2014-10-29 | 2016-06-01 | 深圳富泰宏精密工业有限公司 | 鼠标模拟系统及方法 |
FR3034553B1 (fr) * | 2015-03-30 | 2018-04-13 | Thales | Procede de determination d'une direction d'un objet a partir d'une image de l'objet |
US9536421B2 (en) | 2015-06-02 | 2017-01-03 | Qualcomm Technologies International, Ltd. | Intuitive way to point, access and control appliances and other objects in building interiors |
US10083544B2 (en) * | 2015-07-07 | 2018-09-25 | Google Llc | System for tracking a handheld device in virtual reality |
CN106406570A (zh) * | 2015-07-29 | 2017-02-15 | 中兴通讯股份有限公司 | 投影光标控制方法、装置及遥控器 |
US9684384B2 (en) * | 2015-10-29 | 2017-06-20 | Pixart Imaging (Penang) Sdn. Bhd. | System and method for eliminating spurious motion of mouse |
US10334076B2 (en) * | 2016-02-22 | 2019-06-25 | Google Llc | Device pairing in augmented/virtual reality environment |
CN107153457A (zh) * | 2016-03-04 | 2017-09-12 | 中兴通讯股份有限公司 | 投影处理方法及装置 |
TW201736931A (zh) * | 2016-04-01 | 2017-10-16 | 楊偉毅 | 外掛閃光燈以及使用其之拍照系統 |
US11577159B2 (en) | 2016-05-26 | 2023-02-14 | Electronic Scripting Products Inc. | Realistic virtual/augmented/mixed reality viewing and interactions |
DK201670728A1 (en) * | 2016-09-06 | 2018-03-19 | Apple Inc | Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button |
WO2018093816A1 (en) * | 2016-11-15 | 2018-05-24 | The Board Of Regents Of The University Of Texas System | Devices and methods for interactive augmented reality |
KR102636696B1 (ko) | 2017-05-16 | 2024-02-15 | 애플 인크. | 피어 투 피어 전송들을 위한 사용자 인터페이스들 |
AU2018368776B2 (en) | 2017-11-17 | 2021-02-04 | Divine Logic, Inc. | Systems and methods for tracking items |
CN108052213A (zh) * | 2017-11-21 | 2018-05-18 | 广州视源电子科技股份有限公司 | 一种位置指示方法、装置及系统 |
US11273367B1 (en) * | 2019-09-24 | 2022-03-15 | Wayne Hughes Beckett | Non-CRT pointing device |
US11674797B2 (en) | 2020-03-22 | 2023-06-13 | Analog Devices, Inc. | Self-aligned light angle sensor using thin metal silicide anodes |
CN111556223B (zh) * | 2020-04-28 | 2022-08-23 | 广州视源电子科技股份有限公司 | 指向信息确定方法、装置、演示设备、显示设备及介质 |
US11845001B2 (en) * | 2021-01-14 | 2023-12-19 | Htc Corporation | Calibration system and method for handheld controller |
US11921992B2 (en) | 2021-05-14 | 2024-03-05 | Apple Inc. | User interfaces related to time |
US11784956B2 (en) | 2021-09-20 | 2023-10-10 | Apple Inc. | Requests to add assets to an asset account |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1272285A (zh) * | 1998-06-01 | 2000-11-01 | 索尼电脑娱乐公司 | 输入位置检测装置及采用此装置的娱乐系统 |
US6727885B1 (en) * | 1999-09-07 | 2004-04-27 | Nikon Corporation | Graphical user interface and position or attitude detector |
Family Cites Families (393)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2613435A1 (de) | 1976-03-30 | 1977-10-20 | Itt Ind Gmbh Deutsche | Fernsehempfaenger mit einer zusatzeinrichtung zur darstellung von spielsymbolen auf dem bildschirm |
DE2814268A1 (de) | 1977-04-05 | 1978-10-19 | Nintendo Co Ltd | Unterhaltungsvorrichtung mit einer lichtabstrahlenden waffe |
US4285523A (en) | 1978-11-06 | 1981-08-25 | Lemelson Jerome H | Game aiming device securable to television receiver cabinet |
US4395045A (en) * | 1980-06-16 | 1983-07-26 | Sanders Associates, Inc. | Television precision target shooting apparatus and method |
JPS5871657U (ja) | 1981-11-11 | 1983-05-14 | 昭和アルミニウム株式会社 | パ−ゴラ |
JPS6077231U (ja) | 1983-10-28 | 1985-05-30 | 株式会社東芝 | 直流電源装置 |
US4813682A (en) * | 1985-08-09 | 1989-03-21 | Nintendo Co., Ltd. | Video target control and sensing circuit for photosensitive gun |
JPH07107573B2 (ja) | 1986-10-28 | 1995-11-15 | 東レ株式会社 | プラスチツク製光フアイバ集束体 |
EP0344153B1 (en) | 1986-11-27 | 1995-04-05 | David Fenton Fenner | Remote control systems |
RU2125853C1 (ru) | 1987-04-29 | 1999-02-10 | Др.Хельмут Хуберти | Устройство для контроля нагрузки на части тела |
JPS6475057A (en) | 1987-09-14 | 1989-03-20 | Onoda Cement Co Ltd | Booth for use in powder painting |
US5170002A (en) | 1987-12-24 | 1992-12-08 | Yamaha Corporation | Motion-controlled musical tone control apparatus |
US5027132A (en) | 1988-03-25 | 1991-06-25 | Texas Instruments Incorporated | Position compensation of laser scan for stage movement |
JPH07115690B2 (ja) | 1988-06-24 | 1995-12-13 | 株式会社東京自働機械製作所 | カートン組立装置の胴印刷機構 |
US4955812A (en) | 1988-08-04 | 1990-09-11 | Hill Banford R | Video target training apparatus for marksmen, and method |
EP0355172B1 (de) | 1988-08-06 | 1994-07-20 | Deutsche ITT Industries GmbH | Fernbedienungssystem |
JPH0744315Y2 (ja) | 1988-08-16 | 1995-10-11 | シンガー日鋼株式会社 | ミシンの後側ベルトガード |
US5045843B1 (en) * | 1988-12-06 | 1996-07-16 | Selectech Ltd | Optical pointing device |
EP0377055B1 (de) | 1988-12-31 | 1994-09-07 | Deutsche ITT Industries GmbH | Elektrooptische Anordnung zur Fernbedienung elektronischer Geräte |
US4964837B1 (en) | 1989-02-16 | 1993-09-14 | B. Collier Harry | Radio controlled model vehicle having coordinated sound effects system |
US5371802A (en) | 1989-04-20 | 1994-12-06 | Group Lotus Limited | Sound synthesizer in a vehicle |
US5115230A (en) * | 1989-07-19 | 1992-05-19 | Bell Communications Research, Inc. | Light-pen system for projected images |
JPH0728591Y2 (ja) | 1989-09-20 | 1995-06-28 | 三洋電機株式会社 | ビデオテープレコーダ |
JPH0359619U (zh) | 1989-10-12 | 1991-06-12 | ||
US5181015A (en) * | 1989-11-07 | 1993-01-19 | Proxima Corporation | Method and apparatus for calibrating an optical computer input system |
US5504501A (en) | 1989-11-07 | 1996-04-02 | Proxima Corporation | Optical input arrangement and method of using same |
US5502459A (en) | 1989-11-07 | 1996-03-26 | Proxima Corporation | Optical auxiliary input arrangement and method of using same |
JP2622620B2 (ja) * | 1989-11-07 | 1997-06-18 | プロクシマ コーポレイション | コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム |
JPH0650758Y2 (ja) | 1989-11-24 | 1994-12-21 | 合同製鐵株式会社 | 棒状材料の曲げ試験用治具装置 |
US5130693A (en) | 1990-01-31 | 1992-07-14 | Gigandet Henri J | Sound-effects generating device for activity toys or vehicles |
GB2244546A (en) | 1990-05-10 | 1991-12-04 | Primax Electronics Ltd | Computer input device |
US5181181A (en) | 1990-09-27 | 1993-01-19 | Triton Technologies, Inc. | Computer apparatus input device for three-dimensional information |
US5187540A (en) | 1990-10-31 | 1993-02-16 | Gec Ferranti Defence Systems Limited | Optical system for the remote determination of position and orientation |
DE4038056C2 (de) | 1990-11-29 | 1997-05-15 | Hell Ag Linotype | Verfahren zur Generierung und Speicherung von digitalisierten Dichteschwellwerten zur Rasterung einer Halbton-Bildvorlage |
US5309137A (en) | 1991-02-26 | 1994-05-03 | Mitsubishi Denki Kabushiki Kaisha | Motor car traveling control device |
JPH05127809A (ja) | 1991-04-19 | 1993-05-25 | Sharp Corp | 三次元空間座標入力装置 |
US5227985A (en) | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
US5237617A (en) | 1991-10-17 | 1993-08-17 | Walter Miller | Sound effects generating system for automobiles |
JP3109758B2 (ja) | 1992-02-19 | 2000-11-20 | 富士写真フイルム株式会社 | 画像入力装置 |
JPH07121293B2 (ja) | 1992-03-13 | 1995-12-25 | サン電子株式会社 | バーコード式テレビゲーム |
US5296871A (en) | 1992-07-27 | 1994-03-22 | Paley W Bradford | Three-dimensional mouse with tactile feedback |
JP2790965B2 (ja) | 1992-08-19 | 1998-08-27 | 富士通株式会社 | 光学式ポインティングシステム |
US6008800A (en) | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
DE69329005T2 (de) | 1992-10-26 | 2001-03-22 | Sun Microsystems Inc | Fernbedienungs- und Zeigegerät |
US5317140A (en) * | 1992-11-24 | 1994-05-31 | Dunthorn David I | Diffusion-assisted position location particularly for visual pen detection |
JPH06154422A (ja) | 1992-11-24 | 1994-06-03 | Namco Ltd | ゲーム装置の操作ボタン |
US5510811A (en) | 1992-11-25 | 1996-04-23 | Microsoft Corporation | Apparatus and method for controlling cursor movement |
US5323174A (en) | 1992-12-02 | 1994-06-21 | Matthew H. Klapman | Device for determining an orientation of at least a portion of a living body |
DE69330550T2 (de) | 1992-12-23 | 2002-05-16 | At & T Corp | Verfahren und System zum Lokalisieren von Objekten mit einer Unterpixelpräzision |
JP3086827B2 (ja) | 1992-12-28 | 2000-09-11 | 株式会社セガ・エンタープライゼス | コントロールキー装置 |
US5388059A (en) | 1992-12-30 | 1995-02-07 | University Of Maryland | Computer vision system for accurate monitoring of object pose |
JP3000028B2 (ja) | 1993-03-17 | 2000-01-17 | 科学技術庁金属材料技術研究所長 | 浮揚溶解装置 |
US5502568A (en) | 1993-03-23 | 1996-03-26 | Wacom Co., Ltd. | Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's |
EP0696022A4 (en) | 1993-04-20 | 1997-02-05 | Ace Denken Kk | DRIVING SIMULATOR SYSTEM |
US5297061A (en) | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
US5983161A (en) | 1993-08-11 | 1999-11-09 | Lemelson; Jerome H. | GPS vehicle collision avoidance warning and control system and method |
US5510893A (en) | 1993-08-18 | 1996-04-23 | Digital Stream Corporation | Optical-type position and posture detecting device |
US6037936A (en) | 1993-09-10 | 2000-03-14 | Criticom Corp. | Computer vision system with a graphic user interface and remote camera control |
JPH07121293A (ja) | 1993-10-26 | 1995-05-12 | Nippon Telegr & Teleph Corp <Ntt> | 表示画面をアクセスするリモートコントローラ |
GB2316482B (en) | 1993-11-25 | 1998-07-01 | Alps Electric Co Ltd | Inclination detection apparatus and input apparatus |
JP3059619B2 (ja) | 1993-11-25 | 2000-07-04 | アルプス電気株式会社 | 傾き検出装置およびこれを使用した入力装置 |
TW256900B (zh) | 1993-11-25 | 1995-09-11 | Alps Electric Co Ltd | |
JP2901476B2 (ja) | 1993-12-27 | 1999-06-07 | アルプス電気株式会社 | 位置検出装置および位置検出方法 |
US5424556A (en) | 1993-11-30 | 1995-06-13 | Honeywell Inc. | Gradient reflector location sensing system |
US5712658A (en) * | 1993-12-28 | 1998-01-27 | Hitachi, Ltd. | Information presentation apparatus and information display apparatus |
US5574479A (en) * | 1994-01-07 | 1996-11-12 | Selectech, Ltd. | Optical system for determining the roll orientation of a remote unit relative to a base unit |
US5394326A (en) | 1994-01-24 | 1995-02-28 | Delco Electronics Corporation | Air bag deployment control system and method |
JPH07262797A (ja) | 1994-02-02 | 1995-10-13 | Hitachi Ltd | 半導体集積回路装置 |
JP3262677B2 (ja) | 1994-05-02 | 2002-03-04 | 株式会社ワコム | 情報入力装置 |
JP3204844B2 (ja) | 1994-05-26 | 2001-09-04 | アルプス電気株式会社 | 角度検出装置およびこれを使用した入力装置 |
JPH0895704A (ja) | 1994-09-28 | 1996-04-12 | Alps Electric Co Ltd | 空間座標検出装置 |
JP3217926B2 (ja) | 1994-10-13 | 2001-10-15 | アルプス電気株式会社 | 空間座標検出装置 |
GB2289756B (en) | 1994-05-26 | 1998-11-11 | Alps Electric Co Ltd | Space coordinates detecting device and input apparatus using same |
JP3416291B2 (ja) | 1994-10-05 | 2003-06-16 | アルプス電気株式会社 | 空間座標検出装置 |
ATE261150T1 (de) * | 1994-06-09 | 2004-03-15 | Corp For Nat Res Initiatives | Hinweisvorrichtungsschittstelle |
RU2126161C1 (ru) | 1994-06-27 | 1999-02-10 | Коновалов Сергей Феодосьевич | Компенсационный акселерометр |
US5796387A (en) * | 1994-08-16 | 1998-08-18 | Smith Engineering | Positioning system using infrared radiation |
EP0777438A4 (en) | 1994-08-23 | 1999-05-26 | Assist Advanced Tech Ltd | USER-CONTROLLED SYSTEM COMBINING VIDEO GAME AND PHYSICAL EXERCISE |
JP3422383B2 (ja) | 1994-09-05 | 2003-06-30 | 株式会社タイトー | 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置 |
US5926168A (en) | 1994-09-30 | 1999-07-20 | Fan; Nong-Qiang | Remote pointers for interactive televisions |
JPH08111144A (ja) | 1994-10-12 | 1996-04-30 | Nakamichi Corp | ジョイスティック |
JP3194841B2 (ja) | 1994-10-24 | 2001-08-06 | アルプス電気株式会社 | 傾き検出装置およびこれを使用した入力装置 |
US5572221A (en) | 1994-10-26 | 1996-11-05 | Telefonaktiebolaget Lm Ericsson | Method and apparatus for detecting and predicting motion of mobile terminals |
US6281878B1 (en) | 1994-11-01 | 2001-08-28 | Stephen V. R. Montellese | Apparatus and method for inputing data |
US5754094A (en) | 1994-11-14 | 1998-05-19 | Frushour; Robert H. | Sound generating apparatus |
GB2319374B (en) | 1994-11-30 | 1998-07-01 | Alps Electric Co Ltd | Remote coordinate designating device |
JP3273531B2 (ja) | 1994-11-30 | 2002-04-08 | アルプス電気株式会社 | 遠隔座標指示装置 |
US5594807A (en) | 1994-12-22 | 1997-01-14 | Siemens Medical Systems, Inc. | System and method for adaptive filtering of images based on similarity between histograms |
DE69525160T2 (de) * | 1995-01-04 | 2002-09-26 | Ibm | Cursorführungsvorrichtung unter Verwendung von Dünnfilm-Interferenzfiltern |
US6727887B1 (en) | 1995-01-05 | 2004-04-27 | International Business Machines Corporation | Wireless pointing device for remote cursor control |
US5929444A (en) | 1995-01-31 | 1999-07-27 | Hewlett-Packard Company | Aiming device using radiated energy |
JP3228845B2 (ja) | 1995-01-31 | 2001-11-12 | アルプス電気株式会社 | 傾き検出装置 |
US5565888A (en) | 1995-02-17 | 1996-10-15 | International Business Machines Corporation | Method and apparatus for improving visibility and selectability of icons |
JP2681454B2 (ja) * | 1995-02-21 | 1997-11-26 | コナミ株式会社 | 射的ゲーム装置 |
US5900863A (en) | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
US5553859A (en) | 1995-03-22 | 1996-09-10 | Lazer-Tron Corporation | Arcade game for sensing and validating objects |
JPH08292998A (ja) | 1995-04-20 | 1996-11-05 | Mitsubishi Electric Corp | 画像検出装置及び画像検出方法 |
JP3307152B2 (ja) | 1995-05-09 | 2002-07-24 | ヤマハ株式会社 | 自動演奏制御装置 |
US5691898A (en) | 1995-09-27 | 1997-11-25 | Immersion Human Interface Corp. | Safe and low cost computer peripherals with force feedback for consumer applications |
JP3517482B2 (ja) | 1995-06-08 | 2004-04-12 | キヤノン株式会社 | 座標検出装置及び方法 |
US5724106A (en) | 1995-07-17 | 1998-03-03 | Gateway 2000, Inc. | Hand held remote control device with trigger button |
US5805165A (en) | 1995-08-31 | 1998-09-08 | Microsoft Corporation | Method of selecting a displayed control item |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JP3917808B2 (ja) | 1995-09-07 | 2007-05-23 | 株式会社バンダイナムコゲームス | シューティングゲーム装置及びその制御方法 |
US20020056136A1 (en) | 1995-09-29 | 2002-05-09 | Wistendahl Douglass A. | System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box |
US6950094B2 (en) | 1998-03-30 | 2005-09-27 | Agilent Technologies, Inc | Seeing eye mouse for a computer system |
US6489945B1 (en) | 1998-02-11 | 2002-12-03 | Agilent Technologies, Inc. | Method and system for tracking attitude |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
GB2307133A (en) | 1995-11-13 | 1997-05-14 | Secr Defence | Video camera image stabilisation system |
US5883569A (en) | 1995-12-12 | 1999-03-16 | Kolefas; Chris | Impact-responsive signal transmitting device |
JPH09166417A (ja) | 1995-12-14 | 1997-06-24 | Sega Enterp Ltd | 距離測定装置、その方法およびゲーム装置 |
US5736975A (en) * | 1996-02-02 | 1998-04-07 | Interactive Sales System | Interactive video display |
WO1997028864A1 (en) | 1996-02-09 | 1997-08-14 | Mattel, Inc. | Remote control wand for computer video game interaction |
JP4033929B2 (ja) | 1996-05-27 | 2008-01-16 | 株式会社リコー | ペン型入力装置 |
JPH09274534A (ja) | 1996-04-04 | 1997-10-21 | Ricoh Co Ltd | ペン型入力装置 |
US5963145A (en) | 1996-02-26 | 1999-10-05 | Universal Electronics Inc. | System for providing wireless pointer control |
CN1177634C (zh) | 1996-03-05 | 2004-12-01 | 世嘉企业股份有限公司 | 控制器和电子装置 |
US6373961B1 (en) | 1996-03-26 | 2002-04-16 | Eye Control Technologies, Inc. | Eye controllable screen pointer |
JP3257585B2 (ja) | 1996-03-29 | 2002-02-18 | 株式会社ビジュアルサイエンス研究所 | 空間マウスを用いた映像化装置 |
US5999166A (en) | 1996-04-09 | 1999-12-07 | Rangan; Karur S. | Apparatus and method for optically modulating electronic signals and computer data |
GB9608770D0 (en) | 1996-04-27 | 1996-07-03 | Philips Electronics Nv | Projection display system |
JPH09298668A (ja) | 1996-05-07 | 1997-11-18 | Mitsubishi Electric Corp | ディジタル情報符号化装置、ディジタル情報復号化装置、ディジタル情報符号化・復号化装置、ディジタル情報符号化方法、及びディジタル情報復号化方法 |
US5947819A (en) | 1996-05-22 | 1999-09-07 | Konami Co., Ltd. | Object-throwing video game system |
GB2313682B (en) | 1996-05-29 | 2001-01-10 | Icl Personal Systems Oy | Personal computer systems |
US5733201A (en) | 1996-06-10 | 1998-03-31 | Caldwell; Theodore W. | Golf training glove |
US6067079A (en) | 1996-06-13 | 2000-05-23 | International Business Machines Corporation | Virtual pointing device for touchscreens |
JPH1021000A (ja) | 1996-06-28 | 1998-01-23 | Sumitomo Metal Ind Ltd | 信号入力装置 |
JP3515127B2 (ja) | 1996-07-04 | 2004-04-05 | 株式会社セガ | 画像処理装置、ゲーム機、画像表示方法および記録媒体 |
JPH1033831A (ja) | 1996-07-19 | 1998-02-10 | Data East Kk | ビデオガンゲーム装置 |
US5832139A (en) | 1996-07-31 | 1998-11-03 | Omniplanar, Inc. | Method and apparatus for determining degrees of freedom of a camera |
US5973618A (en) | 1996-09-25 | 1999-10-26 | Ellis; Christ G. | Intelligent walking stick |
US5796361A (en) * | 1996-09-25 | 1998-08-18 | Exar Corporation | CCD signal digitizing integrated circuit |
JPH1099542A (ja) | 1996-09-27 | 1998-04-21 | Mitsumi Electric Co Ltd | コンピュータゲーム機用コントロールパッドの背面キー取付構造 |
AU5156198A (en) * | 1996-10-29 | 1998-05-22 | Xeotron Corporation | Optical device utilizing optical waveguides and mechanical light-switches |
SE510984C2 (sv) | 1996-10-31 | 1999-07-19 | Assa Ab | Cylinderlås |
US5883619A (en) | 1996-11-12 | 1999-03-16 | Primax Electronics Ltd. | Computer mouse for scrolling a view of an image |
JPH10154038A (ja) | 1996-11-21 | 1998-06-09 | Hudson Soft Co Ltd | ポインティング入力装置 |
JPH10228349A (ja) | 1996-12-10 | 1998-08-25 | Kenichi Yamamoto | 画像表示装置の指示標識操作方式 |
TW357101B (en) | 1996-12-17 | 1999-05-01 | Konami Co Ltd | Shooting video game machine and shooting result presentation method |
US6683628B1 (en) * | 1997-01-10 | 2004-01-27 | Tokyo University Of Agriculture And Technology | Human interactive type display system |
US6146278A (en) * | 1997-01-10 | 2000-11-14 | Konami Co., Ltd. | Shooting video game machine |
US5953077A (en) | 1997-01-17 | 1999-09-14 | Fox Sports Productions, Inc. | System for displaying an object that is not visible to a camera |
JPH10254614A (ja) | 1997-03-06 | 1998-09-25 | Hitachi Ltd | 携帯型電子処理装置及びその操作方法 |
AU6451698A (en) | 1997-03-06 | 1998-09-22 | Robert B. Howard | Wrist-pendant wireless optical keyboard |
US6061055A (en) | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
US5973757A (en) | 1997-03-31 | 1999-10-26 | Aubuchon; Mark S. | Contoured and balanced remote tv control device |
AU3120197A (en) | 1997-05-09 | 1998-04-02 | Remec Inc. | Computer control device |
US6445409B1 (en) | 1997-05-14 | 2002-09-03 | Hitachi Denshi Kabushiki Kaisha | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object |
US6008899A (en) | 1997-06-18 | 1999-12-28 | Sandia Corporation | Apparatus and method for optical pulse measurement |
US5986644A (en) | 1997-07-30 | 1999-11-16 | Selectech, Ltd. | Remote control system |
JPH1153994A (ja) | 1997-07-31 | 1999-02-26 | Sega Enterp Ltd | 操作装置及び操作装置用グリップ |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6115128A (en) | 1997-09-17 | 2000-09-05 | The Regents Of The Univerity Of California | Multi-dimensional position sensor using range detectors |
JPH1199284A (ja) | 1997-09-30 | 1999-04-13 | Sony Corp | コントローラ |
JP3114668B2 (ja) | 1997-10-03 | 2000-12-04 | 日本電気株式会社 | 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体 |
JPH11114223A (ja) | 1997-10-09 | 1999-04-27 | Sony Corp | ゲーム機用操作装置 |
US6677987B1 (en) | 1997-12-03 | 2004-01-13 | 8×8, Inc. | Wireless user-interface arrangement and method |
US6324296B1 (en) | 1997-12-04 | 2001-11-27 | Phasespace, Inc. | Distributed-processing motion tracking system for tracking individually modulated light points |
US6061644A (en) | 1997-12-05 | 2000-05-09 | Northern Digital Incorporated | System for determining the spatial position and orientation of a body |
US6125190A (en) | 1997-12-08 | 2000-09-26 | Eastman Kodak Company | Image display and audio device |
CA2248745C (en) | 1998-02-13 | 2005-08-23 | Arista Interactive Llc | Wireless game control units |
US6094189A (en) | 1998-04-17 | 2000-07-25 | Quillen; Wendell A. | Visual echo remote laser pointer |
JPH11305935A (ja) | 1998-04-24 | 1999-11-05 | Image Tec Kk | 位置検出システム |
JP2000105671A (ja) | 1998-05-11 | 2000-04-11 | Ricoh Co Ltd | 座標入力/検出装置および電子黒板システム |
DE69928751T2 (de) | 1998-05-13 | 2006-09-14 | Sega Corp. | Pistolenförmiger Regler |
US6091378A (en) | 1998-06-17 | 2000-07-18 | Eye Control Technologies, Inc. | Video processing methods and apparatus for gaze point tracking |
US6707443B2 (en) | 1998-06-23 | 2004-03-16 | Immersion Corporation | Haptic trackball device |
US6456892B1 (en) | 1998-07-01 | 2002-09-24 | Sony Electronics, Inc. | Data driven interaction for networked control of a DDI target device over a home entertainment network |
US6324255B1 (en) | 1998-08-13 | 2001-11-27 | Nikon Technologies, Inc. | X-ray irradiation apparatus and x-ray exposure apparatus |
US7268774B2 (en) | 1998-08-18 | 2007-09-11 | Candledragon, Inc. | Tracking motion of a writing instrument |
JP2000063230A (ja) | 1998-08-20 | 2000-02-29 | Shiseido Co Ltd | シート状化粧料 |
US6515651B1 (en) | 1998-09-24 | 2003-02-04 | International Business Machines Corporation | Reversible wireless pointing device |
US6317784B1 (en) | 1998-09-29 | 2001-11-13 | Radiowave.Com, Inc. | Presenting supplemental information for material currently and previously broadcast by a radio station |
DE19846982C2 (de) | 1998-10-12 | 2001-05-17 | Siemens Ag | Verfahren und System zum Überwachen der Haltung eines Benutzers an einem Trainingsgerät |
US6184863B1 (en) * | 1998-10-13 | 2001-02-06 | The George Washington University | Direct pointing apparatus and method therefor |
US6973202B2 (en) | 1998-10-23 | 2005-12-06 | Varian Medical Systems Technologies, Inc. | Single-camera tracking of an object |
JP3078268B2 (ja) | 1998-11-12 | 2000-08-21 | ティーディーケイ株式会社 | 有機el表示装置及びその製造方法 |
FR2786899B1 (fr) | 1998-12-03 | 2006-09-29 | Jean Bonnard | Indicateur de mouvements pour logiciels |
AUPP767898A0 (en) | 1998-12-14 | 1999-01-14 | Carter (New Zealand) Limited | Spinal monitor apparatus and method |
WO2000047108A1 (en) | 1999-02-08 | 2000-08-17 | Medoc Ltd. | Ambulatory monitor |
US7102616B1 (en) | 1999-03-05 | 2006-09-05 | Microsoft Corporation | Remote control device with pointing capacity |
US6765608B1 (en) | 1999-03-09 | 2004-07-20 | Minolta Co., Ltd. | Image processing apparatus and system executing predetermined image processing on image data shot by camera, and image recording medium recorded with image processing program |
JP2000270237A (ja) | 1999-03-15 | 2000-09-29 | Nippon Hoso Kyokai <Nhk> | 画像表示装置用選択装置 |
GB2348280B (en) * | 1999-03-25 | 2001-03-14 | Univ York | Sensors of relative position and orientation |
US6535198B1 (en) | 1999-03-28 | 2003-03-18 | Nongqiang Fan | Remote control for interactive television |
JP4547096B2 (ja) | 1999-03-31 | 2010-09-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 表示装置用の遠隔制御装置 |
JP2000308756A (ja) | 1999-04-27 | 2000-11-07 | Taito Corp | ゲーム装置の入力制御装置 |
US6614422B1 (en) | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
US6295051B1 (en) | 1999-06-02 | 2001-09-25 | International Business Machines Corporation | Intelligent boundless computer mouse system |
US6791531B1 (en) | 1999-06-07 | 2004-09-14 | Dot On, Inc. | Device and method for cursor motion control calibration and object selection |
US6545661B1 (en) | 1999-06-21 | 2003-04-08 | Midway Amusement Games, Llc | Video game system having a control unit with an accelerometer for controlling a video game |
US6275214B1 (en) * | 1999-07-06 | 2001-08-14 | Karl C. Hansen | Computer presentation system and method with optical tracking of wireless pointer |
US6766036B1 (en) | 1999-07-08 | 2004-07-20 | Timothy R. Pryor | Camera based man machine interfaces |
JP2001038052A (ja) | 1999-07-30 | 2001-02-13 | Hori Co Ltd | 携帯型汎用ビデオゲーム機の機能拡張用ユーザインタフェース装置 |
JP3181275B2 (ja) | 1999-07-30 | 2001-07-03 | 株式会社ケイシーイーオー | 競技方法及び装置、記録媒体 |
US20020010021A1 (en) | 1999-08-03 | 2002-01-24 | Mccauley Jack Jean | Method and device for optical gun interaction with a computer game system |
US6287198B1 (en) | 1999-08-03 | 2001-09-11 | Mccauley Jack J. | Optical gun for use with computer games |
US20050028191A1 (en) | 1999-08-17 | 2005-02-03 | Sullivan Gary E. | Content control system |
US6252720B1 (en) * | 1999-08-20 | 2001-06-26 | Disney Entpr Inc | Optical system and method for remotely manipulating interactive graphical elements on television screens and the like |
JP2001075736A (ja) | 1999-09-06 | 2001-03-23 | Canon Inc | 座標入力装置 |
US20010010514A1 (en) | 1999-09-07 | 2001-08-02 | Yukinobu Ishino | Position detector and attitude detector |
JP2001104636A (ja) | 1999-10-04 | 2001-04-17 | Shinsedai Kk | 体感ボールゲーム装置 |
US6753849B1 (en) | 1999-10-27 | 2004-06-22 | Ken Curran & Associates | Universal remote TV mouse |
US6844871B1 (en) | 1999-11-05 | 2005-01-18 | Microsoft Corporation | Method and apparatus for computer input using six degrees of freedom |
US6377242B1 (en) | 1999-12-02 | 2002-04-23 | The United States Of America As Represented By The Secretary Of The Air Force | Display pointer tracking device |
JP2001175412A (ja) | 1999-12-15 | 2001-06-29 | Shigekazu Koshiba | 多軸一体型加速度検出器による電子機器用リモートコントロール装置 |
JP4332964B2 (ja) | 1999-12-21 | 2009-09-16 | ソニー株式会社 | 情報入出力システム及び情報入出力方法 |
US6618076B1 (en) * | 1999-12-23 | 2003-09-09 | Justsystem Corporation | Method and apparatus for calibrating projector-camera system |
WO2001052230A1 (en) | 2000-01-10 | 2001-07-19 | Ic Tech, Inc. | Method and system for interacting with a display |
JP2001236181A (ja) | 2000-02-22 | 2001-08-31 | Fuji Electric Co Ltd | ポインティングデバイス |
JP3842515B2 (ja) | 2000-03-24 | 2006-11-08 | セイコーエプソン株式会社 | 多重解像度画像解析による指示位置検出 |
JP3994672B2 (ja) | 2000-03-31 | 2007-10-24 | セイコーエプソン株式会社 | 画像処理を用いた指示位置の検出 |
US7050928B2 (en) | 2004-08-25 | 2006-05-23 | Microsoft Corporation | Relative range camera calibration |
US20010030667A1 (en) | 2000-04-10 | 2001-10-18 | Kelts Brett R. | Interactive display interface for information objects |
JP2001306245A (ja) | 2000-04-26 | 2001-11-02 | Fujitsu Ltd | ポインティング装置及びポインタ移動方法 |
WO2001087426A2 (en) | 2000-05-15 | 2001-11-22 | M-Dev (Proprietary) Limited | Method and apparatus for monitoring exercise |
DE50103020D1 (de) | 2000-05-24 | 2004-09-02 | Infineon Technologies Ag | Positioniereinheit |
JP3847057B2 (ja) | 2000-05-24 | 2006-11-15 | アルプス電気株式会社 | 指示位置検出装置及び前記装置を用いたゲーム用コントローラ |
JP2001356875A (ja) | 2000-06-13 | 2001-12-26 | Toshiba Corp | ポインタ表示システム |
US7261690B2 (en) | 2000-06-16 | 2007-08-28 | Bodymedia, Inc. | Apparatus for monitoring health, wellness and fitness |
JP2002032770A (ja) | 2000-06-23 | 2002-01-31 | Internatl Business Mach Corp <Ibm> | 文書処理方法、文書処理システムおよび媒体 |
JP2002007072A (ja) | 2000-06-27 | 2002-01-11 | Namco Ltd | 位置指示装置及び情報記憶媒体 |
JP4697916B2 (ja) * | 2000-07-07 | 2011-06-08 | キヤノン株式会社 | 座標入力装置及びその制御方法、プログラム |
US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
MC200048A1 (fr) | 2000-07-31 | 2002-07-02 | Gerard Popineau | Dispositif de commande d'un systeme informatique |
JP4043702B2 (ja) | 2000-08-16 | 2008-02-06 | 日本放送協会 | 表示画面指示装置 |
US6707444B1 (en) | 2000-08-18 | 2004-03-16 | International Business Machines Corporation | Projector and camera arrangement with shared optics and optical marker for use with whiteboard systems |
US6811489B1 (en) | 2000-08-23 | 2004-11-02 | Nintendo Co., Ltd. | Controller interface for a graphics system |
WO2002017054A1 (fr) | 2000-08-23 | 2002-02-28 | Nintendo Co., Ltd. | Processeur d'informations, support de stockage d'informations, programme et dispositif de commande pour appareil de jeu |
WO2002019085A1 (fr) | 2000-08-29 | 2002-03-07 | Omron Corporation | Dispositif de pointage |
EP1317857A1 (en) * | 2000-08-30 | 2003-06-11 | Watchpoint Media Inc. | A method and apparatus for hyperlinking in a television broadcast |
JP2002082751A (ja) | 2000-09-08 | 2002-03-22 | Mitsubishi Electric Corp | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
JP2002091642A (ja) | 2000-09-11 | 2002-03-29 | Canon Inc | 表示制御装置、表示制御方法、表示制御システム、及び媒体 |
JP2002091692A (ja) | 2000-09-12 | 2002-03-29 | Seiko Instruments Inc | ポインティングシステム |
EP1330811B1 (en) | 2000-09-28 | 2012-08-22 | Immersion Corporation | Directional tactile feedback for haptic feedback interface devices |
KR100897950B1 (ko) | 2000-10-27 | 2009-05-18 | 소니 컴퓨터 엔터테인먼트 인코포레이티드 | 복수의 조작 터미널 장치와 정보 처리 장치를 포함하는정보 처리 시스템 |
US6978037B1 (en) | 2000-11-01 | 2005-12-20 | Daimlerchrysler Ag | Process for recognition of lane markers using image data |
JP4027031B2 (ja) | 2000-11-16 | 2007-12-26 | 株式会社コナミデジタルエンタテインメント | 対戦式3dビデオゲーム装置 |
US6757446B1 (en) | 2000-11-27 | 2004-06-29 | Microsoft Corporation | System and process for image-based relativistic rendering |
JP3467017B2 (ja) | 2000-11-30 | 2003-11-17 | キヤノン株式会社 | 位置姿勢の決定方法及び装置並びに記憶媒体 |
US6852032B2 (en) | 2000-12-06 | 2005-02-08 | Nikon Corporation | Game machine, method of performing game and computer-readable medium |
JP3686919B2 (ja) | 2000-12-06 | 2005-08-24 | 株式会社ニコン技術工房 | ゲーム装置、ゲーム処理方法及び可読記憶媒体 |
US6660475B2 (en) | 2000-12-15 | 2003-12-09 | New England Biolabs, Inc. | Use of site-specific nicking endonucleases to create single-stranded regions and applications thereof |
US20020085097A1 (en) * | 2000-12-22 | 2002-07-04 | Colmenarez Antonio J. | Computer vision-based wireless pointing system |
KR20030072591A (ko) | 2001-01-08 | 2003-09-15 | 브이케이비 인코포레이티드 | 데이터 입력 디바이스 |
US6600475B2 (en) | 2001-01-22 | 2003-07-29 | Koninklijke Philips Electronics N.V. | Single camera system for gesture-based input and target indication |
JP2002224444A (ja) | 2001-01-31 | 2002-08-13 | Konami Co Ltd | ゲームコントローラ |
JP4461347B2 (ja) | 2001-01-31 | 2010-05-12 | ソニー株式会社 | 携帯端末装置及びキー入力方法 |
US6677929B2 (en) | 2001-03-21 | 2004-01-13 | Agilent Technologies, Inc. | Optical pseudo trackball controls the operation of an appliance or machine |
EP1246048A1 (en) | 2001-03-26 | 2002-10-02 | SAP Aktiengesellschaft | Method and computer system for executing functions for objects based on the movement of an input device |
US7061468B2 (en) | 2001-04-10 | 2006-06-13 | Logitech Europe S.A. | Hybrid presentation controller and computer input device |
US6540607B2 (en) | 2001-04-26 | 2003-04-01 | Midway Games West | Video game position and orientation detection system |
US7215322B2 (en) | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
US7064742B2 (en) | 2001-05-31 | 2006-06-20 | Siemens Corporate Research Inc | Input devices using infrared trackers |
US7105795B2 (en) | 2001-07-06 | 2006-09-12 | Palantyr Research, Llc | Imaging system, methodology, and applications employing reciprocal space optical design |
JP3611807B2 (ja) | 2001-07-19 | 2005-01-19 | コナミ株式会社 | ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム |
US6664948B2 (en) | 2001-07-30 | 2003-12-16 | Microsoft Corporation | Tracking pointing device motion using a single buffer for cross and auto correlation determination |
JP2003044220A (ja) | 2001-07-30 | 2003-02-14 | Fuji Photo Optical Co Ltd | プレゼンテーションシステム |
JP3644915B2 (ja) | 2001-08-21 | 2005-05-11 | 任天堂株式会社 | ゲームシステムおよびそれに用いられるゲームプログラム |
JP2003083715A (ja) | 2001-09-12 | 2003-03-19 | Omron Corp | 指示位置検出方法、指示位置検出装置およびガンコントローラ型ゲーム機 |
US20030048280A1 (en) | 2001-09-12 | 2003-03-13 | Russell Ryan S. | Interactive environment using computer vision and touchscreens |
US6770863B2 (en) | 2001-10-26 | 2004-08-03 | Agilent Technologies, Inc. | Apparatus and method for three-dimensional relative movement sensing |
GB2381686A (en) | 2001-10-31 | 2003-05-07 | Hewlett Packard Co | Apparatus for recording and reproducing pointer positions on a document. |
TW529309B (en) * | 2001-10-31 | 2003-04-21 | Pixart Imaging Inc | Displacement measuring method of image sensor |
US6765555B2 (en) * | 2001-11-07 | 2004-07-20 | Omnivision Technologies, Inc. | Passive optical mouse using image sensor with optional dual mode capability |
JP2003140823A (ja) | 2001-11-08 | 2003-05-16 | Sony Computer Entertainment Inc | 情報入力デバイス及び情報処理プログラム |
US6724368B2 (en) | 2001-12-14 | 2004-04-20 | Koninklijke Philips Electronics N.V. | Remote control system and method for a television receiver |
DE60205662T2 (de) | 2001-12-21 | 2006-06-29 | British Telecommunications P.L.C. | Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige |
JP2003208260A (ja) | 2002-01-10 | 2003-07-25 | Nippon Hoso Kyokai <Nhk> | ポインティング装置 |
US6982697B2 (en) | 2002-02-07 | 2006-01-03 | Microsoft Corporation | System and process for selecting objects in a ubiquitous computing environment |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
WO2003077101A2 (en) | 2002-03-06 | 2003-09-18 | Z-Kat, Inc. | System and method for using a haptic device in combination with a computer-assisted surgery system |
JP2003279799A (ja) | 2002-03-22 | 2003-10-02 | Ykk Corp | 変換スリーブ |
US7430303B2 (en) | 2002-03-29 | 2008-09-30 | Lockheed Martin Corporation | Target detection method and system |
US7158126B2 (en) | 2002-04-08 | 2007-01-02 | Koninklijke Philips Electronics N.V. | Acoustic based pointing device |
TW560179B (en) * | 2002-04-16 | 2003-11-01 | Pixart Imaging Inc | Moving correction and compensation method |
GB0208654D0 (en) | 2002-04-16 | 2002-05-29 | Koninkl Philips Electronics Nv | Image processing for video or photographic equipment |
US20030199324A1 (en) | 2002-04-23 | 2003-10-23 | Xiaoling Wang | Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light |
JP4053345B2 (ja) | 2002-04-25 | 2008-02-27 | シャープ株式会社 | 画像処理方法および画像処理装置、それを備える画像形成装置ならびにプログラムおよび記録媒体 |
DE10219198A1 (de) | 2002-04-29 | 2003-11-06 | Univ Leipzig | Gerät zur Steuerung einer logischen Markierung auf einer Anzeige |
JP3910487B2 (ja) | 2002-05-17 | 2007-04-25 | 任天堂株式会社 | ゲームシステムおよびゲームプログラム |
JP3902508B2 (ja) | 2002-05-20 | 2007-04-11 | 任天堂株式会社 | ゲームシステムおよびゲームプログラム |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
DE10226644A1 (de) | 2002-06-14 | 2003-12-24 | Siemens Ag | Eingabegerät für eine Datenverarbeitungsanlage |
TW554497B (en) * | 2002-07-03 | 2003-09-21 | Pixart Imaging Inc | Packaging method of optical mechanism and the optical mechanism |
EP1537550A2 (en) | 2002-07-15 | 2005-06-08 | Magna B.S.P. Ltd. | Method and apparatus for implementing multipurpose monitoring system |
US7102615B2 (en) | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
US20060105842A1 (en) | 2002-07-25 | 2006-05-18 | Yong-Hwan Kim | Shooting game machine and method for performing it |
US7132311B2 (en) | 2002-07-26 | 2006-11-07 | Intel Corporation | Encapsulation of a stack of semiconductor dice |
JP2004062774A (ja) | 2002-07-31 | 2004-02-26 | Sharp Corp | プレゼンテーション用表示装置 |
JP2004070502A (ja) | 2002-08-02 | 2004-03-04 | Yoryu Kagi Kofun Yugenkoshi | 撮影方式を利用しカーソル位置決めを行う装置 |
US7050043B2 (en) * | 2002-09-02 | 2006-05-23 | Pixart Imagning Inc. | Optical apparatus |
EP1398601A3 (en) | 2002-09-13 | 2014-05-07 | Canon Kabushiki Kaisha | Head up display for navigation purposes in a vehicle |
US20040063480A1 (en) | 2002-09-30 | 2004-04-01 | Xiaoling Wang | Apparatus and a method for more realistic interactive video games on computers or similar devices |
JP2004139206A (ja) | 2002-10-16 | 2004-05-13 | Nikon Gijutsu Kobo:Kk | 画像表示・撮影システム |
JP2004191906A (ja) | 2002-10-18 | 2004-07-08 | Konica Minolta Holdings Inc | 光学補償フィルム、一体型視野角補償偏光板及び液晶表示装置 |
US20040077975A1 (en) | 2002-10-22 | 2004-04-22 | Zimmerman Jeffrey C. | Systems and methods for motion analysis and feedback |
GB2394543A (en) * | 2002-10-25 | 2004-04-28 | Univ Bristol | Positional measurement of a feature within an image |
US7133031B2 (en) | 2002-10-31 | 2006-11-07 | Microsoft Corporation | Optical system design for a universal computing device |
CN100334531C (zh) | 2002-11-20 | 2007-08-29 | 皇家飞利浦电子股份有限公司 | 基于指示设备的用户接口系统 |
US20040095317A1 (en) * | 2002-11-20 | 2004-05-20 | Jingxi Zhang | Method and apparatus of universal remote pointing control for home entertainment system and computer |
FR2847689B1 (fr) | 2002-11-27 | 2005-01-21 | Commissariat Energie Atomique | Procede et dispositif de capture du mouvement d'un solide, utilisant au moins une camera et un capteur angulaire |
JP4745667B2 (ja) | 2002-12-20 | 2011-08-10 | アイタック システムズ,インコーポレイティド | カーソル制御デバイス |
WO2004059560A2 (en) | 2002-12-23 | 2004-07-15 | The Trustees Of Columbia University In The City Of New York | Systems and methods for tremor cancellation in pointers |
JP4062175B2 (ja) | 2003-01-09 | 2008-03-19 | セイコーエプソン株式会社 | 画像処理装置、方法、プログラムおよび該プログラムを記録した記録媒体 |
US7176905B2 (en) | 2003-02-19 | 2007-02-13 | Agilent Technologies, Inc. | Electronic device having an image-based data input system |
DE10307454B4 (de) | 2003-02-21 | 2010-10-28 | Vistec Semiconductor Systems Gmbh | Verfahren zur optischen Inspektion eines Halbleitersubstrats |
US20040169639A1 (en) | 2003-02-28 | 2004-09-02 | Pate Michael A. | Visible pointer tracking with separately detectable pointer tracking signal |
JP2004310074A (ja) | 2003-03-25 | 2004-11-04 | Canon Inc | 表示装置 |
US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
JP2004318823A (ja) | 2003-03-28 | 2004-11-11 | Seiko Epson Corp | 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法 |
US7627197B2 (en) | 2003-04-07 | 2009-12-01 | Honda Motor Co., Ltd. | Position measurement method, an apparatus, a computer program and a method for generating calibration information |
JP3619517B2 (ja) | 2003-04-17 | 2005-02-09 | 株式会社ホリ | ビデオゲーム機用コントローラ |
US20040268393A1 (en) * | 2003-05-08 | 2004-12-30 | Hunleth Frank A. | Control framework with a zoomable graphical user interface for organizing, selecting and launching media items |
US7714843B1 (en) | 2003-05-09 | 2010-05-11 | Microsoft Corporation | Computer input device with a self-contained camera |
US7651850B2 (en) | 2003-05-16 | 2010-01-26 | Board Of Regents, The University Of Texas System | Image and part recognition technology |
EP1628196A4 (en) | 2003-05-19 | 2008-10-29 | Eit Co Ltd | POSITION SENSOR WORKING WITH A SURFACE IMAGE SENSOR |
CA2526467C (en) | 2003-05-20 | 2015-03-03 | Kagutech Ltd. | Digital backplane recursive feedback control |
JP2004348459A (ja) | 2003-05-22 | 2004-12-09 | Tamura Seisakusho Co Ltd | マーク、マーク検出装置およびその方法と画面位置指示装置 |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US6881147B2 (en) | 2003-06-06 | 2005-04-19 | Nyko Technologies, Inc. | Video game controller with integrated microphone and speaker |
JP4144555B2 (ja) | 2003-06-09 | 2008-09-03 | カシオ計算機株式会社 | 電子機器、表示制御方法及びプログラム |
US7038661B2 (en) | 2003-06-13 | 2006-05-02 | Microsoft Corporation | Pointing device and cursor for use in intelligent computing environments |
SG115546A1 (en) | 2003-06-23 | 2005-10-28 | Affineon Technologies Pte Ltd | Computer input device tracking six degrees of freedom |
JP2005013115A (ja) | 2003-06-26 | 2005-01-20 | Daiwa Seiko Inc | 魚釣用スピニングリールのスプール |
US20040266528A1 (en) | 2003-06-27 | 2004-12-30 | Xiaoling Wang | Apparatus and a method for more realistic video games on computers or similar devices using visible or invisible light and a light sensing device |
JP2005040493A (ja) | 2003-07-25 | 2005-02-17 | Hori Co Ltd | ビデオゲーム機用のコントローラ |
JP2005052306A (ja) | 2003-08-01 | 2005-03-03 | Sony Corp | 位置検出システム |
JP4276494B2 (ja) | 2003-08-15 | 2009-06-10 | アルプス電気株式会社 | 入力装置 |
JP4218952B2 (ja) | 2003-09-30 | 2009-02-04 | キヤノン株式会社 | データ変換方法及び装置 |
CN1860429A (zh) | 2003-09-30 | 2006-11-08 | 皇家飞利浦电子股份有限公司 | 定义内容窗口在显示器上的位置、尺寸和/或内容的姿势 |
TWI236605B (en) | 2003-10-02 | 2005-07-21 | Pixart Imaging Inc | Data flow conversion method and its buffer device |
EP1526216A1 (en) | 2003-10-22 | 2005-04-27 | Trefilarbed Bettembourg S.A. | Method and device for manufactoring a wire cord |
US7952626B2 (en) | 2003-11-17 | 2011-05-31 | Lettvin Jonathan D | Geometric remapping with delay lines |
US7746377B2 (en) | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
US7457439B1 (en) | 2003-12-11 | 2008-11-25 | Motion Reality, Inc. | System and method for motion capture |
CN1898708B (zh) | 2003-12-18 | 2012-01-11 | 皇家飞利浦电子股份有限公司 | 对设备进行控制的方法和系统 |
US7389171B2 (en) | 2003-12-22 | 2008-06-17 | Ford Global Technologies Llc | Single vision sensor object detection system |
US8225226B2 (en) | 2003-12-31 | 2012-07-17 | Abb Research Ltd. | Virtual control panel |
US7440610B1 (en) | 2004-01-28 | 2008-10-21 | The United States Of America As Represented By The Secretary Of The Navy | Apparatus and method for image based coordinate determination |
TWI269140B (en) | 2004-02-03 | 2006-12-21 | Pixart Imaging Inc | Light source control module suitable for use in optical index apparatus and method |
US7232986B2 (en) * | 2004-02-17 | 2007-06-19 | Smart Technologies Inc. | Apparatus for detecting a pointer within a region of interest |
CN1559644A (zh) | 2004-02-23 | 2005-01-05 | 四川长虹电器股份有限公司 | 遥控游戏装置 |
JP3933635B2 (ja) | 2004-03-09 | 2007-06-20 | 株式会社ソニー・コンピュータエンタテインメント | 相対位置・姿勢計測システム |
GB2424269A (en) | 2004-04-01 | 2006-09-20 | Robert Michael Lipman | Control apparatus |
TW200534151A (en) * | 2004-04-12 | 2005-10-16 | Pixart Imaging Inc | Programmable optical pointing device |
TWI250455B (en) | 2004-04-21 | 2006-03-01 | Pixart Imaging Inc | Wireless optical pointing device with a common oscillation circuit |
US7561720B2 (en) | 2004-04-30 | 2009-07-14 | Visteon Global Technologies, Inc. | Single camera system and method for range and lateral position measurement of a preceding vehicle |
DK2337016T3 (en) | 2004-04-30 | 2018-04-23 | Idhl Holdings Inc | Free space pointing device with slope compensation and improved applicability |
US7158181B2 (en) | 2004-05-04 | 2007-01-02 | Andrew G. Cartlidge | System and methods for increasing fill-factor on pixelated sensor arrays |
US7686692B2 (en) | 2004-05-10 | 2010-03-30 | Sony Computer Entertainment Inc. | Pattern codes used for interactive control of computer applications and video game applications |
US7683881B2 (en) | 2004-05-24 | 2010-03-23 | Keytec, Inc. | Visual input pointing device for interactive display system |
WO2005119356A2 (en) | 2004-05-28 | 2005-12-15 | Erik Jan Banning | Interactive direct-pointing system and calibration method |
EP1784713A1 (en) | 2004-07-23 | 2007-05-16 | Philips Intellectual Property & Standards GmbH | Pointing device and method for item location and/or selection assistance |
US7542072B2 (en) | 2004-07-28 | 2009-06-02 | The University Of Maryland | Device using a camera and light polarization for the remote displacement of a cursor on a display |
CA2578653A1 (en) | 2004-07-29 | 2006-02-09 | Kevin Ferguson | A human movement measurement system |
US7859523B2 (en) | 2004-08-10 | 2010-12-28 | Microsoft Corporation | Direct navigation of two-dimensional control using a three-dimensional pointing device |
US20090295595A1 (en) | 2004-08-12 | 2009-12-03 | Koninklijke Philips Electronics, N.V. | Method for control of a device |
JP2006113019A (ja) | 2004-10-18 | 2006-04-27 | Alps Electric Co Ltd | 3軸型電子コンパス及びこれを用いた方位検出方法 |
TWI278753B (en) * | 2004-11-03 | 2007-04-11 | Pixart Imaging Inc | USB/PS2 adaptor and its peripherals |
JP2006136694A (ja) | 2004-11-11 | 2006-06-01 | Akio Toshima | 携帯ゲーム保持具 |
TWI238528B (en) * | 2004-11-22 | 2005-08-21 | Pixart Imaging Inc | Simplified transistor structure for active pixel sensor and image sensor module |
TW200620150A (en) * | 2004-12-13 | 2006-06-16 | Pixart Imaging Inc | Single chip with integration of image sensor and back-end processing module |
DE102005061211B4 (de) | 2004-12-22 | 2023-04-06 | Abb Schweiz Ag | Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche |
TW200625143A (en) | 2005-01-04 | 2006-07-16 | Pixart Imaging Inc | Personal computer's interactive input device and game-peripheral equipment |
US7852317B2 (en) | 2005-01-12 | 2010-12-14 | Thinkoptics, Inc. | Handheld device for handheld vision based absolute pointing system |
WO2006076557A2 (en) | 2005-01-12 | 2006-07-20 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
WO2006090197A1 (en) | 2005-02-24 | 2006-08-31 | Nokia Corporation | Motion-input device for a computing terminal and method of its operation |
US7609249B2 (en) | 2005-04-21 | 2009-10-27 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Position determination utilizing a cordless device |
JP4859390B2 (ja) | 2005-05-10 | 2012-01-25 | 株式会社リコー | 画像処理方法及び画像処理装置 |
US7548230B2 (en) | 2005-05-27 | 2009-06-16 | Sony Computer Entertainment Inc. | Remote input device |
US8190278B2 (en) | 2005-05-31 | 2012-05-29 | Koninklijke Philips Electronics N.V. | Method for control of a device |
KR100714722B1 (ko) * | 2005-06-17 | 2007-05-04 | 삼성전자주식회사 | 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법 |
JP4933164B2 (ja) | 2005-07-01 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
WO2007007227A2 (en) | 2005-07-11 | 2007-01-18 | Philips Intellectual Property & Standards Gmbh | Method of controlling a control point position on a command area and method for control of a device |
JP4703509B2 (ja) | 2005-08-22 | 2011-06-15 | 任天堂株式会社 | ゲーム用操作装置およびゲームシステム |
US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
JP4240510B2 (ja) | 2005-08-24 | 2009-03-18 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
US8708822B2 (en) | 2005-09-01 | 2014-04-29 | Nintendo Co., Ltd. | Information processing system and program |
CN101322092A (zh) | 2005-11-30 | 2008-12-10 | 皇家飞利浦电子股份有限公司 | 特别用于结合大面积非crt显示器使用的光笔输入系统和方法 |
TWI286484B (en) | 2005-12-16 | 2007-09-11 | Pixart Imaging Inc | Device for tracking the motion of an object and object for reflecting infrared light |
TWI306572B (en) | 2006-02-15 | 2009-02-21 | Pixart Imaging Inc | Light pointing device and light tracking receiver having function selection key and system using the same |
JP5424373B2 (ja) | 2006-03-09 | 2014-02-26 | 任天堂株式会社 | 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法 |
WO2007105133A2 (en) | 2006-03-15 | 2007-09-20 | Koninklijke Philips Electronics N.V. | Remote control pointing technology with roll detection |
US20090085869A1 (en) | 2006-03-15 | 2009-04-02 | Koninklijke Philips Electronics N.V. | Remote control pointing technology |
US20080100574A1 (en) | 2006-10-30 | 2008-05-01 | Imu Solutions, Inc. | Display cursor control device with enhanced multiple dimensional tilt angle operation |
JP2010511219A (ja) | 2006-11-27 | 2010-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | リモートコントロール用ポインティング技術 |
JP2010511221A (ja) | 2006-11-27 | 2010-04-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 手持型ポインティング装置を介したデータ処理の三次元制御 |
-
2005
- 2005-07-21 US US11/187,387 patent/US7852317B2/en not_active Expired - Fee Related
- 2005-07-21 US US11/187,405 patent/US7796116B2/en not_active Expired - Fee Related
- 2005-07-21 US US11/187,435 patent/US7864159B2/en not_active Expired - Fee Related
-
2006
- 2006-01-11 CN CN200680006415.3A patent/CN101128794B/zh not_active Expired - Fee Related
-
2008
- 2008-08-15 HK HK08109060.8A patent/HK1113609A1/zh not_active IP Right Cessation
-
2011
- 2011-01-03 US US12/983,554 patent/US8907889B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1272285A (zh) * | 1998-06-01 | 2000-11-01 | 索尼电脑娱乐公司 | 输入位置检测装置及采用此装置的娱乐系统 |
US6727885B1 (en) * | 1999-09-07 | 2004-04-27 | Nikon Corporation | Graphical user interface and position or attitude detector |
Also Published As
Publication number | Publication date |
---|---|
US7864159B2 (en) | 2011-01-04 |
CN101128794A (zh) | 2008-02-20 |
US8907889B2 (en) | 2014-12-09 |
US7852317B2 (en) | 2010-12-14 |
HK1113609A1 (zh) | 2008-10-10 |
US20110095980A1 (en) | 2011-04-28 |
US20060152489A1 (en) | 2006-07-13 |
US20060152488A1 (en) | 2006-07-13 |
US20060152487A1 (en) | 2006-07-13 |
US7796116B2 (en) | 2010-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101128794B (zh) | 手持式基于视觉的绝对指向系统 | |
US20220326783A1 (en) | Contactless control panel | |
JP5231809B2 (ja) | ハンドヘルドビジョン型絶対ポインティングシステム | |
CN101957195B (zh) | 测量仪器和使用测量仪器提供测量数据的方法 | |
JP6571785B2 (ja) | 光学近接センサ及び関連するユーザインターフェイス | |
US9417714B2 (en) | RFID-based input device | |
CN108106605A (zh) | 基于上下文的深度传感器控制 | |
US11669173B2 (en) | Direct three-dimensional pointing using light tracking and relative position detection | |
US20210056370A1 (en) | Optical tag based information apparatus interaction method and system | |
EP3037936B1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
US9678583B2 (en) | 2D and 3D pointing device based on a passive lights detection operation method using one camera | |
US9530208B1 (en) | Registration of low contrast images | |
JP2008535087A (ja) | 通信装置 | |
CN103425270A (zh) | 光标控制系统 | |
KR101288448B1 (ko) | 레이저 포인터를 이용하여 데이터를 전송하는 디바이스 및 이의 데이터 송수신 제어 방법, 그리고 네트워크 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1113609 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1113609 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 Termination date: 20190111 |
|
CF01 | Termination of patent right due to non-payment of annual fee |