CN1666248A - 多功能集成图像传感器以及在虚拟接口技术上的应用 - Google Patents

多功能集成图像传感器以及在虚拟接口技术上的应用 Download PDF

Info

Publication number
CN1666248A
CN1666248A CN03815231.2A CN03815231A CN1666248A CN 1666248 A CN1666248 A CN 1666248A CN 03815231 A CN03815231 A CN 03815231A CN 1666248 A CN1666248 A CN 1666248A
Authority
CN
China
Prior art keywords
imaging sensor
pixel
data input
function
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN03815231.2A
Other languages
English (en)
Inventor
克洛尼·利伯曼
尤瓦尔·沙龙
亚尼乌·马奥尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumio Home Services LLC
Original Assignee
VKB Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VKB Inc filed Critical VKB Inc
Publication of CN1666248A publication Critical patent/CN1666248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera

Abstract

一种电子照相机，包括提供代表被成像场的输出的电子成像传感器，使用电子成像传感器以对被成像场中的景象照相的第一成像功能，使用电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能，和可操作以使得用户能够选择第一和第二成像功能之一中的操作的用户操作成像功能选择开关。

Description

多功能集成图像传感器以及在虚拟接口技术上的应用
相关申请的交叉引用
本申请要求了以下共同未审决的美国专利申请的优先权：
2002年6月26日递交的题为“Virtual Interface Implementation andApplication”(虚拟接口实现和应用)的美国临时申请序列号No.60/392,376，和2003年1月7日递交的题为“Multifunctional IntegratedImage Sensor and Application to Virtual Interface Technology”(多功能集成图像传感器以及在虚拟接口技术上的应用)的美国临时申请序列号No.60/438,327。
技术领域
本发明总体上涉及数据输入方法和装置。
背景技术
以下专利和公开被认为反映了本领域的当前状态：
美国专利：6,377,238；6,281,238；5,767,842；5,457,550；5,181,181和4,843,568。
外国专利文件：WO00/21024；EP0982 676 A1；DE298 02 435U1；WO01/93182和WO02/054169。
发明内容
根据本发明的优选实施例，提供了一种电子照相机，该电子照相机包括提供代表被成像场的输出的电子成像传感器；使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能(functionality)；使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的另一个优选实施例，提供了一种便携式电话，该便携式电话包括电话功能；提供代表被成像场的输出的电子成像传感器；使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能；使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的又一个优选实施例，提供了一种数字个人助理，该数字个人助理包括至少一个个人数字助理功能；提供代表被成像场的输出的电子成像传感器；使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能；使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的另一个优选实施例，所述电子成像传感器包括CMOS传感器。
优选地，所述第一成像功能结合电子成像传感器上游的第一透镜装置。另外，第二成像功能结合电子成像传感器上游的第二透镜装置。
根据本发明的另一个优选实施例，所述第二成像功能结合了红外光发生器以定义光束，由于用户手部动作而得到的该光束的照射产生代表数据的光图案。另外，第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
根据本发明的另一个优选实施例，所述第二成像功能结合了处理器，该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。另外，该处理器与所述电子成像传感器一起结合在单个芯片上。
根据本发明的另一个优选实施例，所述第一功能是彩色照相功能。作为补充或替代，所述第二功能是红外光束照射感应数据输入功能。
根据本发明的另一个优选实施例，所述用户操作图像功能选择开关是机械响应开关，该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。作为补充或替代，所述用户操作成像功能选择开关是机械响应开关，该开关可选择地以机械方式将选定的滤光器与所述电子成像传感器相关联。
根据本发明的另一个优选实施例，所述用户操作成像功能选择开关是电子响应开关，该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出信号的响应。
根据本发明的另一个优选实施例，所述电子照相机还包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。作为补充或替代，电子照相机还包括第二成像功能所使用的数据输入模板投影器。优选地，电子照相机还包括第二成像功能所使用的照明器。作为补充或替代，电子照相机还包括同步照明功率变化功能。
根据本发明的另一个优选实施例，所述便携式电话还包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。作为补充或替代，便携式电话还包括第二成像功能所使用的数据输入模板投影器。优选地，便携式电话还包括第二成像功能所使用的照明器。作为补充或替代，便携式电话还包括同步照明功率变化功能。
根据本发明的另一个优选实施例，所述数字个人助理还包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。作为补充或替代，数字个人助理还包括第二成像功能所使用的数据输入模板投影器。优选地，数字个人助理还包括第二成像功能所使用的照明器。作为补充或替代，数字个人助理还包括同步照明功率变化功能。
根据本发明的另一个优选实施例，还提供了一种电子照相机，该电子照相机包括提供代表被成像场的输出的电子成像传感器；和布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例，还提供了一种便携式电话，该便携式电话包括电话功能；提供代表被成像场的输出的电子成像传感器；和布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例，还提供了一种数字个人助理，该数字个人助理包括至少一个个人数字助理功能；提供代表被成像场的输出的电子成像传感器；和布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例，还提供了一种电子照相机，该电子照相机包括提供代表被成像场的输出的电子成像传感器；第一成像功能，其以可见辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相；以及第二成像功能，其以红外辐射感应模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
根据本发明的另一个优选实施例，还提供了一种便携式电话，该便携式电话包括电话功能；提供代表被成像场的输出的电子成像传感器；第一成像功能，其以可见辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相；以及第二成像功能，其以红外辐射感应模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
根据本发明的另一个优选实施例，还提供了一种数字个人助理，该数字个人助理包括至少一个个人数字助理功能；提供代表被成像场的输出的电子成像传感器；第一成像功能，其以可见辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相；以及第二成像功能，其以红外辐射感应模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
根据本发明的另一个优选实施例，所述电子照相机包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例，所述便携式电话包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
根据本发明的另一个优选实施例，所述数字个人助理包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
优选地，在第一成像功能中，使用了所述可透过红、绿、蓝光的元件之下的像素的输出。另外，所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。另外，在所述第二成像功能中，使用了所述可通过红外光的元件之下的像素的输出。
根据本发明的另一个优选实施例，所述电子照相机还包括处理器。根据本发明的另一个优选实施例，所述电子照相机形成为电话的一部分。可替换地，该电子照相机形成为个人数字助理的一部分。可替换地，该电子照相机形成为手表的一部分。
根据本发明的另一个优选实施例，所述便携式电话还包括处理器。
根据本发明的另一个优选实施例，所述数字个人助理还包括处理器。
根据本发明的另一个优选实施例，所述处理器包括以下功能：在获取了每个像素值时，利用像素坐标确定该像素是否处于预定击键区域之内；为处于所述预定击键区域之内的所述像素坐标获取像素值；基于确定每个像素的像素函数，在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值；将每个所述击键区域的所述像素总数与当前按键致动阈值比较；如果在给定帧中对于给定的击键区域，所述像素总数超出所述按键致动阈值，并且在前一帧中对于该击键区域，所述像素总数未超出所述按键致动阈值，则提供按键致动输出；并且如果在给定帧中对于给定的击键区域，所述像素总数未超出所述按键致动阈值，且在前一帧中对于该击键区域，所述像素总数超出所述按键致动阈值，则提供按键消动输出。
根据本发明的另一个优选实施例，所述确定像素是否处于预定击键区域中是通过使用像素索引表完成的，所述像素索引表为每个像素指示所述像素是否处在预定击键区域之内，并且如果是，则指示它处在哪个击键区域内。可替换地，所述两个确定步骤都使用了所述像素索引表。
根据本发明的另一个优选实施例，在击键区域累加器表中为每个击键区域保存所述像素总数。
根据本发明的另一个优选实施例，所述比较使用了击键区域阈值表。
根据本发明的另一个优选实施例，所述处理器还包括以下功能：一旦一帧中的所有像素都已经被处理，则确定帧的更新后的背景电平；以及通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平，为所述击键区域阈值表确定按键致动阈值。另外，所述像素函数包括将所述击键区域中的多个像素的像素值相加。
根据本发明的另一个优选实施例，所述处理器可操作以确定二维图像传感器中像素的像素值的“重心”。优选地，所述处理器包括以下功能：在获取了每个像素值时，利用像素坐标确定所述像素是否处在预定作用区域之内；为不同像素坐标获取像素值；以及确定所述像素值的“重心”。
根据本发明的另一个优选实施例，确定“重心”是通过以下步骤完成的：将所述像素值乘以代表每个像素的地理位置的X和Y值；沿着相互垂直的轴X和Y将所得到的结果求和；对所述作用区域的所有相关像素的像素值的总数求和；以及将所述求和得到的结果除以所述像素值的所述总数，以确定代表了所需接合位置的“重心”的X和Y坐标。
优选地，所述像素值在对其求和之前是被阈值化的。
根据本发明的另一个优选实施例，还提供了一种手表，该手表包括手表功能；提供代表被成像场的输出的电子成像传感器；使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能；使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
根据本发明的另一个优选实施例，还提供了一种车辆，该车辆包括车架、传动系统和底盘，其中包括至少一个可锁闭入口以及入口开锁功能；和进入控制组件，用于管理对所述至少一个可锁闭入口的授权进入，所述进入控制组件包括：至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面；照明器，其可操作以照明邻近所述至少一个用户手指接合表面的至少一个用户手指接合平面；二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
根据本发明的另一个优选实施例，还提供了一种用于车辆的进入控制装置，所述车辆包括底盘，其具有至少一个可锁闭入口以及入口开锁功能，并且还包括至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面，所述进入控制装置包括：照明器，其可操作以照明所述至少一个用户手指接合表面；二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
根据本发明的另一个优选实施例，还提供了一种用于外壳的进入控制装置，所述外壳具有至少一个可锁闭入口以及入口开锁功能，并且还包括至少一个可以从所述外壳外部接触到的、至少部分透光的用户手指接合表面，所述进入控制装置包括：照明器，其可操作以照明所述至少一个用户手指接合表面；二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
根据本发明的另一个优选实施例，还提供了一种数据输入装置，其与至少一个至少部分透光的用户手指接合表面一起使用，所述数据输入装置包括：照明器，其可操作以照明所述至少一个用户手指接合表面；二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
优选地，所述照明器位于所述至少一个接合表面内侧的位置上。作为补充或替代，所述至少一个手指接合表面包括多个手指接合表面的一维阵列。可替换地，所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
根据本发明的另一个优选实施例，所述车辆还包括照明导引器，该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
根据本发明的另一个优选实施例，所述进入控制装置还包括照明导引器，该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
根据本发明的另一个优选实施例，所述数据输入装置还包括照明导引器，该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
优选地，所述照明导引器包括棱镜。
根据本发明的另一个优选实施例，还提供了一种数据输入装置，其与至少一个接合表面一起使用，所述数据输入装置包括：发光数据输入接合元件，该元件仅在其处于与所述至少一个接合表面至少预定邻近处时发光；二维成像传感器，其观察所述至少一个接合表面以检测由所述发光数据输入接合元件发出的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
优选地，所述发光数据输入接合元件在其端部具有LED。可替换地，所述LED包括IR发光LED。作为补充或替代，所述数据输入装置还包括接近开关。
根据本发明的另一个优选实施例，还提供了一种数据输入装置，其与至少一个接合表面一起使用，所述数据输入装置包括：投影器，其可操作以照明所述至少一个接合表面并且在其上定义至少一个触垫区域和至少一个键盘区域，所述触垫区域由零级衍射图像定义；照明器，其可操作以照明所述至少一个接合表面；二维成像传感器，其从所述至少一个接合表面内侧的位置上观察所述至少一个接合表面，以检测来自所述照明器的、由于用户手指与所述至少一个接合表面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
优选地，所述处理器包括以下功能：在获取了每个像素值时，利用像素坐标确定该像素是否处于预定击键区域之内；为处于所述预定击键区域之内的所述像素坐标获取像素值；基于确定每个像素的像素函数，在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值；将每个所述击键区域的所述像素总数与当前按键致动阈值比较；如果在给定帧中对于给定的击键区域，所述像素总数超出所述按键致动阈值，并且在前一帧中对于该击键区域，所述像素总数未超出所述按键致动阈值，则提供按键致动输出；并且如果在给定帧中对于给定的击键区域，所述像素总数未超出所述按键致动阈值，并且在前一帧中对于该击键区域，所述像素总数超出所述按键致动阈值，则提供按键消动输出。
根据本发明的另一个优选实施例，还提供了一种数据输入设备，该数据输入设备包括：照明器，其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面；包括光楔元件的二维成像传感器，其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面，以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
优选地，所述光楔元件使得所述成像传感器能够有效地检测来自所述接合平面的光。
根据本发明的另一个优选实施例，还提供了一种数据输入设备，该数据输入设备包括：照明器，其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面；包括一对相反朝向的光楔元件的二维成像传感器，其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面，以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
根据本发明的另一个优选实施例，还提供了一种数据输入设备，该数据输入设备包括：照明器，其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面，并且照明接合表面上的正确定位确认位置；二维成像传感器，其包括，从所述至少一个接合平面外部的位置上观察所述至少一个接合平面，以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光；和数据输入处理器，其接收来自所述二维成像传感器的输出信号并向应用电路提供数据输入输入信号。
优选地，所述成像传感器检测在所述正确定位确认位置处是否有照明。另外，当所述成像传感器检测到在所述正确定位确认位置处没有照明时，所述数据输入装置可操作以关闭其自身。
根据本发明的另一个优选实施例，还提供了一种游戏装置，该游戏装置包括：至少一个游戏棋子；游戏模板投影器，可操作以向一个表面上投影游戏模板；照明器，其可操作以照明所述表面；和成像传感器，其观察所述表面以检测来自所述照明器的、被安装在所述至少一个游戏棋子上的至少一个经光学编码的反射器所反射的光。
根据本发明的另一个优选实施例，所述至少一个反射器中的每一个识别所述至少一个游戏棋子中的一个，并可操作以指示所述至少一个游戏棋子在所述游戏模板上的位置。作为补充或替代，所述至少一个反射器还识别所述游戏棋子的空间方向。
附图说明
从以下结合附图的详细描述中可以更全面地理解和认识本发明，其中：
图1A和1B是根据本发明优选实施例构造和操作的电子照相机在两种不同操作模式下的简化图示说明；
图2A和2B是根据本发明优选实施例构造和操作的装备了照相机的蜂窝式电话在两种不同操作模式下的简化图示说明；
图3A和3B是根据本发明优选实施例构造和操作的装备了照相机的个人数字助理在两种不同操作模式下的简化图示说明；
图4A和4B是根据本发明一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图；
图5A和5B是根据本发明另一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图；
图6是在图1A-5B中任何一个的实施例中可用的数据输入对象接合位置检测子系统的简化图解示图；
图7是简化流程图，示出了根据本发明优选实施例的图6中的数据输入对象接合位置检测子系统的操作；
图8是在图7所示数据输入对象接合位置检测子系统的操作中所使用的优选数据结构的简化示图；
图9是如对键盘进行观察的二维图像传感器检测到的、典型击键区域的轮廓的简化图示说明，其中所述键盘例如为图6中所见的键盘；
图10是具有几个击键区域的由数据输入对象接合引起的典型光图案的典型覆盖区的轮廓的简化图示说明，其中所述击键区域例如图9中所见的；
图11A、11B和11C是用于确定如图7所示像素在其所处的击键区域内的函数的三种可替换方法的简化示图；
图12A、12B和12C是有助于理解图11A、11B和11C的轨迹的简化示图；
图13是示出了数据输入对象接合位置检测子系统的操作的简化流程图，所述子系统被用在根据本发明优选实施例而构造和操作的跟踪系统和方法中；
图14是示出了根据本发明优选实施例而有用的同步照明功率变化功能的简化示图；
图15是在车辆进入控制系统中实现的数据输入装置的部分图示、部分图解形式的简化示图；
图16是图15的数据输入装置中的一种变型的部分图示、部分图解形式的简化示图；
图17是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明；
图18A和18B分别是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图；
图19A和19B分别是根据本发明又一个实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图；
图20A和20B分别是根据本发明再一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图；
图21是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明；
图22是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明；
图23是根据本发明的一个优选实施例而构造和操作的游戏装置的简化图示说明；和
图24是根据本发明另一个优选实施例而构造和操作的游戏装置的简化图示说明。
具体实施方式
现参照图1A和1B，它们是根据本发明优选实施例构造和操作的电子照相机在两种不同操作模式下的简化图示说明。电子照相机100除了可以是如下文中具体描述的构造那样，也可以是传统构造的，例如可从日本东京的尼康公司购买到的Nikon COOLPIX 5700，如图1A和1B中所看到的，电子照相机100装备有电子成像传感器模块102，该模块可以包括CMOS阵列，例如可从美国加州Sunnyvale的1341Orleans Drive的Omnivision Technologies公司购买到的CMOS阵列OVT6130，所述模块提供代表被成像场的输出。
优选地，提供一个由用户操作的成像功能选择开关104，以使得用户能够选择两种可能的成像功能的一种中的操作。在图1A所示的第一成像功能中，电子成像传感器模块102被用来对被成像场中的景象照相。在图1B所示的第二成像功能中，电子成像传感器模块102被用于响应于用户手部动作进行数据输入。
下文中将参照图4A-5B描述第一和第二成像功能的各种实施例。优选，但不是必须的，第二成像功能如图1B所示使用数据输入模板投影器106，该投影器将例如由参考标号108指定的数据输入模板投影到一个表面上，例如桌面110。优选地提供一个照明器111并且它可操作以照明邻近数据输入模板108的一个区域。成像传感器模块102观察数据输入模板区域，以检测来自照明器111的光。第二成像功能还优选结合处理功能，这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述，该申请的公开内容通过引用结合与此。
图1A中可见，当电子照相机100在第一成像功能、又称为图片模式下工作时，提供数字图片112。类似地，在图1B中可见，当电子照相机100在第二成像功能、又称为数据模式下工作时，提供数据流114。
现参照图2A和2B，它们是根据本发明优选实施例构造和操作的装备了照相机的蜂窝式电话在两种不同操作模式下的简化图示说明。装备照相机的蜂窝式电话200除了可以是如下文中具体描述的构造那样，也可以是传统构造的，例如可从韩国汉城的三星电子公司购买到的Samsung SPH-I330，如图2A和2B中所看到的，该蜂窝式电话200装备有电子成像传感器模块202，该模块可以包括CMOS阵列，例如可从美国加州Sunnyvale的1341 Orleans Drive的OmnivisionTechnologies公司购买到的CMOS阵列OVT6130，所述模块提供代表被成像场的输出。
优选地提供一个由用户操作的成像功能选择开关204，以使得用户能够选择两种可能的成像功能的一种中的操作。在图2A所示的第一成像功能中，电子成像传感器模块202被用来对被成像场中的景象照相。在图2B所示的第二成像功能中，电子成像传感器模块202被用于响应于用户手部动作进行数据输入。
下文中将参照图4A-5B描述第一和第二成像功能的各种实施例。优选，但不是必须的，第二成像功能如图2B所示使用数据输入模板投影器206，该投影器将例如由参考标号208指定的数据输入模板投影到一个表面上，例如桌面210。优选地提供一个照明器211并且它可操作以照明邻近数据输入模板208的一个区域。成像传感器模块202观察数据输入模板区域，以检测来自照明器211的光。第二成像功能还优选结合处理功能，这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述，该申请的公开内容通过引用结合与此。
在图2A中可见，当装备照相机的蜂窝式电话200在第一成像功能、又称为图片模式下工作时，提供数字图片212。类似地，在图2B中可见，当装备照相机的蜂窝式电话200在第二成像功能、又称为数据模式下工作时，提供数据流214。
现参照图3A和3B，它们是根据本发明优选实施例构造和操作的装备了照相机的个人数字助理在两种不同操作模式下的简化图示说明。装备照相机的个人数字助理300除了可以是如下文中具体描述的构造那样，也可以是传统构造的，例如可从韩国汉城的三星电子公司购买到的Samsung SPH-I700，如在图3A和3B中所见，该个人数字助理300装备有电子成像传感器模块302，该模块可以包括CMOS阵列，例如可从美国加州Sunnyvale的1341 Orleans Drive的OmnivisionTechnologies公司购买到的CMOS阵列OVT6130，所述模块提供代表被成像场的输出。
优选地，提供一个由用户操作的成像功能选择开关304，以使得用户能够选择两种可能的成像功能的一种中的操作。在图3A所示的第一成像功能中，电子成像传感器模块302被用来对被成像场中的景象照相。在图3B所示的第二成像功能中，电子成像传感器模块302被用于响应于用户手部动作进行数据输入。
下文中将参照图4A-5B描述第一和第二成像功能的各种实施例。优选，但不是必须的，第二成像功能如图3B所示使用数据输入模板投影器306，该投影器将例如由参考标号308指定的数据输入模板投影到一个表面上，例如桌面310。优选地提供一个照明器311并且它可操作以照明邻近数据输入模板308的一个区域。成像传感器模块302观察数据输入模板区域，以检测来自照明器311的光。第二成像功能还优选结合处理功能，这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述，该申请的公开内容通过引用结合与此。
在图3A中可见，当装备照相机的个人数字助理300在第一成像功能、又称为图片模式下工作时，提供数字图片312。类似地，在图3B中可见，当装备照相机的个人数字助理300在第二成像功能、又称为数据模式下工作时，提供数据流314。
现参照图4A和4B，它们是根据本发明一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图。如在图4A和4B中所见，本发明的一种实现方式涉及使用第一和第二可选择定位的光学组件，该第一和第二光学组件可以有选择地被设置在电子成像传感器模块402的前方。
在所示实施例中，传感器模块402包括二维CMOS检测器阵列404，该阵列上覆盖有透过红外辐射的滤色镜406。透镜408将来自成像场的光聚焦到阵列404上。
图4A示出了第一可选择定位光学组件410，其优选地包括与透镜408对准的IR阻挡滤光器412。由于图4A的成像功能防止IR辐射使传感器模块402的色彩响应失真，所以它适合用于照相。
图4B示出了第二可选择定位光学组件420，其优选地包括与透镜408对准的可见光辐射阻挡滤光器422、IR带通滤光器424和场镜426。由于图4B的成像功能仅允许相对较窄的IR辐射波段从相对较宽的视场到达传感器模块402，所以它适合用于数据输入。
现参照图5A和5B，它们是根据本发明另一个优选实施例的成像功能选择操作在两种不同操作模式下的简化图解示图。在该实施例中，成像功能选择是以电子方式实现的，无需可机械移动的光学元件。
如在图5A和5B中所见，本发明的该实现方式涉及使用包括CMOS检测器阵列504的电子成像传感器模块502，所述CMOS检测器阵列上覆盖有像素式选择性光透射滤光器506的重复阵列，特征在于该阵列包括红(R)、绿(G)、蓝(B)和红外(IR)透射滤光器。透镜508将来自成像场的光聚焦到检测器阵列504。
图5A示出了图5A和5B的实施例在照相模式下的成像功能，其中只有位于R、G和B滤光器之下(underlying)的像素的输出被利用，位于R、G和B滤光器之下的每个像素的输出的相应的IR含量被从中减去。这种色彩处理防止IR辐射使传感器模块502的色彩响应失真。
图5B示出了图5A和5B的实施例在数据输入模式下的成像功能，其中只有位于IR滤光器之下的像素的输出被利用。
现参照图6，它是优选被结合于根据本发明优选实施例的图1A-5B的实施例中的投影键盘系统和方法的简化并统一化的示图。优选包括固态光源(未示出)的投影子系统550在投影表面554上定义出键盘图像552，所述投影表面优选为诸如桌面之类的无活动(inert)表面，所述固态光源照明一个空间光调制元件(未示出)。
优选包括固态光源(未示出)的照明子系统556，以放射状定向的照明图案558来导引光，所述照明图案优选在大体上平行于投影表面554的平面上延伸。可以认识到，放射状定向的照明图案558在大体上垂直于投影表面554的方向上具有非常窄的分布。还可以认识到，该放射状定向的照明图案558优选地被设置得非常接近于投影表面554。
放射状定向的照明图案558中的光在诸如用户手指、记录笔(stylus)或者其他工具的数据输入对象560上的照射，导致光从那里被散射或者反射。可以认识到，只有在数据输入对象560与在投影表面554上定义的键盘552紧密接触时，光才被散射或反射。
检测子系统562优选地使用被结合在图1A-5B的实施例中的照相机中的固态成像传感器(未示出)，该子系统接收从数据输入对象560被反射或散射的光。接收到的光相对于键盘的表示被映射到成像传感器上，以将由检测子系统562感应到的数据输入对象560的位置与键盘552上的按键位置563相关联。这样，感应到的数据输入对象560的位置指示了键盘552的哪个按键正在被接合。
现参照图7，它是简化流程图，示出了根据本发明优选实施例的图6中的数据输入对象接合位置检测子系统的操作，还要参照图8，它是在图7所示数据输入对象接合位置检测子系统的操作中所使用的优选数据结构的简化示图。
图8示出了下文中相对图7所描述的数据输入对象接合位置检测方法的操作中所使用的优选数据结构的简化示图。可以认识到，照相机，例如照相机100(图1)的成像检测器一般由一套M×N个像素构成，其中特定的一组像素观察接合平面的固定区域，所述接合平面优选位于投影表面110(图1A)之上。这样，有可能位于照相机100的图像平面中的特定的像素组可以接收来自接合了按键位置563(图6)的数据输入对象560(图6)的散射光。
这样，当照相机100观察投影表面110时，照相机100的图像平面中的M×N像素中的每一个可以接收来自接合平面中的对应区域的关于与之接合的数据输入对象的光。
如在图7中所见，获取用于各种像素坐标的像素值，例如灰度电平值。当获取了每个像素值时，利用像素坐标，进行关于该像素是否在预定击键区域内，例如图9所示的击键区域600内的判断。优选地通过利用像素索引表601来进行该判断，所述像素索引表为每个像素指示该像素是否在预定击键区域内，例如击键区域605、606、607和609(图9)内，并且如果是，则指示它位于哪个击键区域内。
然后，优选地通过利用表601来确定像素在其所处的击键区域内的函数。该函数一般是加法的或者减法的，但是可替换地也可以有其他函数。通常，根据该函数，在击键区域累加器表602中为每个击键区域所保存的像素总数上加上或者从其减去像素值。
一旦一帧中的所有像素都已经如前所述地被处理，则为该帧确定更新后的背景电平(background level)，并且一般通过从为每个击键区域建立的预定阈值电平中减去该更新后的背景电平来确定按键致动阈值。这优选通过利用击键区域阈值表604来实现。
优选地，随后将用于每个击键区域的击键区域累加器表602的内容与当前的按键致动阈值比较。如果在给定的一帧中，对于给定按键致动区域，累加器表602的内容超出按键致动阈值，并且在前一帧中，累加器表602的内容没有超出按键致动阈值，则提供按键致动输出。
类似地，如果在给定的一帧中，对于给定按键致动区域，累加器表602的内容没有超出按键致动阈值，并且在前一帧中，累加器表602的内容超出按键致动阈值，则提供按键消动输出。在所有其他情况下，都无需产生输出。
现参照图9，图9是如由对键盘，例如图6中所见的键盘552进行观察的二维图像传感器(图6)所检测到的，典型击键区域605、606、607和608的轮廓的简化图示说明。
现参照图10，图10是由对应于击键区域605、606、607和608(图9)的数据输入对象接合引起的典型光图案的典型覆盖区(footprint)609、610、611和612的轮廓的简化图示说明。
现参照图11A、11B和11C，它们是如图8所示用于确定像素在其所处的击键区域内的函数的三种可替换方法的简化示图，还要参照图12A、12B和12C，它们是有助于理解图11A、11B和11C的轨迹(traces)的简化示图。
现在来看图11A，其示出了沿着一个公共的任意轴618布置的对应于给定按键并包含多个像素622的简化击键区域620。由与给定按键的数据输入对象接合引起的典型光图案的典型简化覆盖区用参考标号624来指示。图10示出了对应于图9中标明了605、606、607和608的击键区域的典型覆盖区609、610、611和612的轮廓。
典型背景信号图案用参考标号634指示。参考标号635处指示覆盖区624在背景信号图案634上的叠置。参考标号636处指示覆盖区624在击键区域620之上的一维可选择重叠。参考标号637处指示背景信号图案634在击键区域620之上的一维可选择重叠。参考标号638处指示叠置635在击键区域620之上的一维可选择重叠。
图12A示出了对应于沿轴618所取的击键区域620的横截面的偏置函数640，该偏置函数沿轴618定义了击键区域620。还可以看到有对应于覆盖区624沿轴618的横截面的信号函数644；对应于背景信号图案634沿轴618的横截面的背景信号函数646以及对应于叠置635的横截面的组合信号648。
在图12A中还示出了对应于一维可选择重叠636的一维卷积650；对应于一维可选择重叠637的一维卷积652以及对应于一维可选择重叠638的一维卷积654。卷积650被示为具有阈值660；卷积652被示为具有阈值662；而卷积654被示为具有阈值664。
现在来看图11B，其示出了沿着公共的任意轴670布置的对应于给定按键并包含多个像素682的简化击键区域680。简化击键区域680在这里示为被简化击键区域边界683所包围。由数据输入对象与该给定按键的接合引起的典型光图案的典型简化覆盖区用参考标号684指示。典型背景信号图案用参考标号686指示。覆盖区684在背景信号图案686上的叠置在参考标号688处指示。参考标号690处指示覆盖区684在击键区域680和边界683之上的一维可选择重叠。参考标号692处指示背景信号图案686在击键区域680和边界683之上的一维可选择重叠。参考标号694处指示叠置688在击键区域680和边界683之上的一维可选择重叠。
图12B示出了对应于沿轴670所取的击键区域680和边界683的横截面的偏置函数700，该偏置函数沿轴670定义了击键区域680。可以看到，相对于击键区域680的值，边界683被分配了一个负值。这种值的分配被认为能够提高数据输入对象接合的值达到它们处于击键区域680内的程度，并且能够减小这样的数据输入对象接合的值达到它们延伸出了边界683的程度。还可以看到有对应于覆盖区684沿轴670的横截面的信号函数704；对应于背景信号图案686沿轴670的横截面的背景信号函数706以及对应于叠置688的横截面的组合信号708。
在图12B中还示出了对应于一维可选择重叠690的一维卷积720；对应于一维可选择重叠692的一维卷积722以及对应于一维可选择重叠694的一维卷积724。卷积720被示为具有阈值726；卷积722被示为具有阈值727；而卷积724被示为具有阈值728。
现在来看图11C，其示出了沿着公共的任意轴730布置的对应于给定按键并包含多个像素741的简化击键区域740。简化击键区域740在这里示为被简化击键区域内边界742和简化击键区域外边界743所包围。由数据输入对象与给定按键的接合引起的典型光图案的典型简化覆盖区用参考标号744指示。参考标号746指示典型背景信号图案。参考标号748处指示覆盖区744在背景信号图案746上的叠置。参考标号750处指示覆盖区744在击键区域740和边界742及743之上的一维可选择重叠。参考标号752处指示背景信号图案746在击键区域740和边界742及743之上的一维可选择重叠。参考标号754处指示叠置748在击键区域740和边界742及743之上的一维可选择重叠。
图12C示出了对应于沿轴730所取的击键区域740和边界742及743的横截面的偏置函数760，该偏置函数沿轴730定义了击键区域740。可以看到，相对于击键区域740的值，边界742被分配了一个零值而边界743被分配了一个负值。这种值的分配被认为能够提高数据输入对象接合的值达到它们处于击键区域740内的程度，并且能够减小这样的数据输入对象接合的值达到它们延伸跨过边界742并至少延伸到边界743内的程度。还可以看到对应于覆盖区744沿轴730的横截面的信号函数764；对应于背景信号图案746沿轴730的横截面的背景信号函数766以及对应于叠置748的横截面的组合信号768。
在图12C中还示出了对应于一维可选择重叠750的一维卷积780；对应于一维可选择重叠752的一维卷积782以及对应于一维可选择重叠754的一维卷积784。卷积780被示为具有阈值786；卷积782被示为具有阈值787；而卷积784被示为具有阈值788。
从对卷积638、694和754的考虑中可以认识到，图11C和12C的双边界布置提供了对数据输入对象击键接合的最佳检测，同时将背景影响最小化。
现参照图13，图13是示出了在根据本发明优选实施例而构造和操作的跟踪系统和方法中使用的数据输入对象接合位置检测子系统的操作的简化流程图。
如图13中所见，获取用于各种像素坐标的像素值，例如灰度电平值。当获取了每个像素值时，可以利用像素坐标，进行关于该像素是否在预定作用区域(active region)内的判断。一般，如果像素不处于预定作用区域内，则忽略其值。
每个像素的像素值优选是被阈值化的(thresholded)，典型地所有落在给定阈值之下的像素值都被忽略。剩下的像素值可以用选定的权重参数进行加权。为了确定被阈值化并被加权的像素值的“重心”，被阈值化并被加权的像素值分别乘以代表每个像素的坐标位置的X和Y值，并且所得结果被沿着相互垂直的轴X和Y进行求和并存储在X和Y累加器中。对于整个作用区域，所有相关像素的总的被阈值化并被加权的像素值同样也被求和并存储在数据累加器中。
一旦一帧中的所有像素都已经如前所述地被处理，则沿着X和Y轴求和的被阈值化并被加权的像素值分别被除以整个作用区域的总的被阈值化并被加权的像素值，以确定代表了所需要的接合位置的“重心”的X和Y坐标。
现参照图14，图14是示出了根据本发明优选实施例的有用的同步照明功率变化功能的简化示图。图14中所示的该功能是关于对被提供用于数据输入对象接合检测的照明的量进行调制。该调制是合乎需要的，因为射到数据输入对象上以及从而被其所散射的光的强度随着照明器830与数据输入对象之间的距离而减小。这样，可以认识到，射到数据输入对象832上的光的量实质上大于射到数据输入对象834上的光的量。此外，射到检测器836上的散射光的量随着数据输入对象与检测器之间的距离而减小。这两个距离相关性使得数据输入对象接合的检测较困难。
为了克服这一困难，根据本发明的优选实施例提供了可变强度驱动电子装置840，其被耦合到照明器830和检测器836，并使得照明器830所产生的光的强度同步于检测器836的成像场位置而变化，变化的方式一般是斜坡方式。
这样，可以看到，当接合表面554(图6)的近处部分(A)被成像(一般是在检测器836的顶部A)时，强度处于最小。当接合表面554的中间部分(B)被成像(一般是在检测器836的中间)时，强度处于中间水平，而当接合表面554的远处部分(C)被成像(一般是在检测器836的底部(C))时，强度处于最大。
可变强度驱动电子装置840优选地通过向检测器836提供同步输出842并向照明器830提供对应的同步输出844来工作，使得强度水平同步于检测器836中被扫描的图像区域的位置而及时增大。
现参照图15，图15是在车辆进入控制系统中实现的数据输入装置的部分图示、部分图解形式的简化示图。如在图15中所见，车辆1500一般包括车架、传动系统和底盘，包括至少一个可锁闭入口或门1502以及入口开锁功能，车辆1500包括用参考标号1504来总体标明的入口控制组件。
进入控制组件1504优选包括至少一个至少部分透光的用户手指接合表面，该表面可以从底盘的外部接触到。在所示的实施例中，在车门窗户1508上定义了多个用户手指接合表面1506。优选被设置在车辆外壳以内的照明器1510，例如红外线发生器(IR line generator)，可操作以照明邻近用户手指接合表面1506的手指接合平面1512。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的红外线发生器，该申请的内容通过引用被结合于此。
位于车辆外壳以内的二维成像传感器1514从车门窗户1508内侧的一个位置上观察手指接合表面1506，以检测从照明器1510发出的、由于用户手指与手指接合表面1506的接合而被散射的光。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的二维成像传感器1514，该申请所公开的内容通过引用被结合于此。
数据输入处理器1516接收来自二维成像传感器1514的输出，并向传统车门开锁功能(未示出)提供数据输入输入信号。
现参照图16，图16是图15的数据输入装置中的一种变型的简化图解示图。如在图16中所见，车辆1600一般包括车架、传动系统和底盘，所述底盘包括至少一个可锁闭入口或门1602以及入口开锁功能，车辆1600包括用参考标号1604来总体标明的入口控制组件。
入口控制组件1604优选包括至少一个至少部分透光的用户手指接合表面，该表面可以从底盘的外部接触到。在所示的实施例中，在车门窗户1608上定义了多个用户手指接合表面1606。优选地设置在车辆外壳以内的照明器1610，例如红外线发生器，可操作以照明邻近用户手指接合表面1606的手指接合平面1612。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的红外线发生器，该申请所公开的内容通过引用被结合于此。
在图16的实施例中，由于提供了一个一般沿着从照明器1610开始的光路被置于车窗1608的外部上的棱镜1613，手指接合平面1612平行于手指接合表面1606。
位于车辆外壳以内的二维成像传感器1614从车门窗户1608内侧的一个位置上观察手指接合表面1606，以检测从照明器1610发出的、由于用户手指与手指接合表面1606的接合而被散射的光。在申请人的已公开的PCT申请WO02/054169 A2中描述了一种优选的二维成像传感器1614，该申请所公开的内容通过引用被结合于此。
数据输入处理器1616接收来自二维成像传感器1614的输出，并向传统车门开锁功能(未示出)提供数据输入输入信号。
可以认识到，图15和16的装置的部分可以在其他类型的入口控制环境中以及各种数据输入环境中得以应用。
现参照图17，图17是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明。如在图17中所见，优选是记录笔1700形式的发光的数据输入接合元件，当且仅当它处于至少预定的接近接合表面1702处时才发射光。
二维成像传感器1704观察接合表面1702，以检测记录笔1700所发射的光。数据输入处理器1706接收来自二维成像传感器1704的输出，并提供数据输入输入信号。
如在图17中所见，记录笔1700优选包括位于其IR透射尖端1710内的IR发射LED1708。例如接触开关的接近开关1712提供指示尖端1710向接合表面1702接近的输出。电路1714接收来自接近开关1712的输入，并相应地操作LED1708，以便提供IR发射，该IR发射的位置指示了笔触及接合表面1702的位置。
现参照图18A和18B，它们分别是根据本发明另一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图。如在图18A和18B中所见，数据输入装置包括投影器1800，该投影器可操作以照明至少一个接合表面1802并在其上定义至少一个触垫区域1804和至少一个键盘区域1806，该触垫区域1804是通过投影器1800所提供的零级衍射图像而定义的。
现在具体来看图18B，可以看到，投影器1800包括光源，例如二极管激光器1810，该光源经由准直透镜1812向第一衍射光学元件1814上进行输出。衍射光学元件1814将射到其上的光衍射成初级键盘图像光束1816和次级重影(ghost image)光束1818，光束1816射到至少一个键盘区域1806上，光束1818优选被屏障1819阻隔。剩下的穿过衍射光学元件1814的光定义了零级光束1820，其射到第二衍射光学元件1822上。
衍射光学元件1822将从零级光束1820射到其上的光衍射成触垫定义光束1824，其射到至少一个触垫区域1804上。
回到图18A，可以看到还提供有可操作以照明手指接合表面的照明器1830。二维成像传感器1832观察接合表面，以检测来自照明器1830的、由于用户的手指与手指接合表面的接合而被散射的光。数据输入处理器1834接收来自二维成像传感器1832的输出并提供数据输入输入信号。
现参照图19A和19B，它们分别是根据本发明的另一个实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图。如在图19A和19B中所见，数据输入装置包括投影器1900，该投影器可操作以照明至少一个手指接合表面1902并典型地在其上定义至少一个键盘区域1904。照明器1906可操作以照明手指接合表面1902。
包括有二维成像传感器1910的成像传感器模块1908观察接合表面，以检测来自照明器1906的、由于用户手指与手指接合表面1902的接合而被散射的光。成像传感器模块1908的一个特殊特征在于它包括光楔元件1912，该光楔元件提供一个倾斜，使得大体上垂直放置的成像传感器1910能够有效地检测来自大体上垂直于其延伸的手指接合表面1902的光。
数据输入处理器1914接收来自二维成像传感器1910的输出并提供数据输入输入信号。
现参照图20A和20B，它们分别是根据本发明的另一个优选实施例而构造和操作的数据输入装置的简化图示说明和简化截面示图。如在图20A和20B中所见，数据输入装置包括投影器2000，该投影器可操作以照明至少一个手指接合表面2002并典型地在其上定义至少一个键盘区域2004。照明器2006可操作以照明手指接合表面2002。
包括有二维成像传感器2010的成像传感器模块2008观察接合表面，以检测来自照明器2006的、由于用户手指与手指接合表面2002的接合而被散射的光。成像传感器模块2008的一个特殊特征在于它包括一对相反朝向的光楔元件2012和2014，它们中的每一个都为进入检测器2010光的一部分提供倾斜，使得能够有效地利用大体上为矩形的成像检测器的区域，如参考标号2016处所见。
现在参照图21，图21是根据本发明的另一个实施例而构造和操作的数据输入装置的简化图示说明。如在图21中所见，数据输入装置包括投影器2100，该投影器可操作以照明至少一个手指接合表面2102并典型地在其上定义至少一个键盘区域2104。照明器2106可操作以照明手指接合表面2102。
包括有二维成像传感器2110的成像传感器模块2108观察接合表面，以检测来自照明器2106的、由于用户手指与手指接合表面2102的接合而被散射的光。
照明器2106的一个特殊特征在于定义了辅助光路2112，该辅助光路触及手指接合表面2102上的正确定位确认位置2114，该位置2114邻近照明器并优选地比所述至少一个键盘区域2104更靠近照明器。成像传感器模块2108检测位置2114处照明的存在，并且在没有在该位置处检测到照明的情况下(通常指示数据输入装置的放置不正确)，通常关闭数据输入装置。
数据输入处理器2116接收来自二维成像传感器2110的输出并提供数据输入输入信号。
现参照图22，图22是根据本发明另一个优选实施例而构造和操作的手表形式的数据输入装置的简化图示说明。手表2200除了可以是如下文中具体描述的构造那样，也可以是传统构造的，如在图22中所见，手表2200装备有电子成像传感器模块2202，该模块可以包括CMOS阵列，例如可从美国加州Sunnyvale的1341 Orleans Drive的Omnivision Technologies公司购买到的CMOS阵列OVT6130，所述模块提供代表被成像场的输出。
优选提供一个由用户操作的成像功能选择开关2204，以使得用户能够选择数据输入功能中的操作，所述数据输入功能利用电子成像传感器模块2202以响应于用户手部动作进行数据输入。
数据输入功能优选使用数据输入模板投影器2206，该投影器将例如由参考标号2208指定的数据输入模板投影到一个表面上，例如桌面2210。照明器2212可操作以照明邻近数据输入模板的一个区域。成像传感器模块2202观察数据输入模板区域，以检测来自照明器2212的、由于用户手指与数据输入模板的接合而被散射的光。
数据输入功能还优选结合处理功能，这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述。该申请所公开的内容通过引用结合与此。数据输入功能产生数据流2214。
现参照图23，图23是根据本发明另一个优选实施例而构造和操作的游戏装置的简化图示说明。游戏装置的一个例子是棋盘游戏，例如国际象棋，如在图23中所见，游戏装置设置有电子成像传感器模块2302，该模块可以包括CMOS阵列，例如可从美国加州Sunnyvale的1341 Orleans Drive的Omnivision Technologies公司购买到的CMOS阵列OVT6130，所述模块提供代表被成像场的输出。
优选提供一个由用户操作的成像功能选择开关2304，以使得用户能够选择诸如不同的棋盘游戏的多种游戏功能之一的操作，所述游戏功能利用电子成像传感器模块2303以定位游戏棋子。
游戏功能优选地使用游戏模板投影器2306，该投影器将由参考标号2308指定的游戏模板，例如国际象棋棋盘投影到一表面上，例如桌面2310上。照明器2312可操作以照明邻近游戏模板2308的一个区域。成像传感器模块2302观察游戏模板区域，以检测来自照明器2312的、被安装在单个的游戏棋子2316上的经光学编码的反射器所反射的光。该反射器2314优选地单独识别各个游戏棋子并指示其在游戏模板2308上的位置。
游戏功能还优选结合处理功能，这种处理功能的一个例子在申请人的已公开PCT申请WO02/054169 A2中描述。该申请所公开的内容通过引用结合与此。游戏功能产生数据流2316，该数据流可被用于游戏管理和记分。
现参照图24，图24是根据本发明另一个优选实施例而构造和操作的游戏装置的简化图示说明。图24示出了游戏棋子，例如骰子2402，该骰子在其各个表面上携带有各种不同编码的反射器2404，从而使得不仅能够识别和定位，而且还能够获知待检测的游戏棋子的空间定向。
本领域的技术人员应该认识到，本发明不限于上文中已经具体示出和描述的内容。确切的，本发明的范围包括上文所描述的各种特征的组合和次组合，以及现有技术中没有的、在阅读了以上说明书之后本领域的人员会想到的其修改和变型。

Claims (148)

1、一种电子照相机，包括：
提供代表被成像场的输出的电子成像传感器；
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能；
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
2、如权利要求1所述的电子照相机，其中所述电子成像传感器包括CMOS传感器。
3、如以上权利要求中任何一个所述的电子照相机，其中所述第一成像功能结合了所述电子成像传感器上游的第一透镜装置。
4、如以上权利要求中任何一个所述的电子照相机，其中所述第二成像功能结合了所述电子成像传感器上游的第二透镜装置。
5、如以上权利要求中任何一个所述的电子照相机，其中所述第二成像功能结合了红外光发生器以确定一光束，由于所述的用户手部动作而得到的该光束的照射产生代表所述数据的光图案。
6、如权利要求5所述的电子照相机，其中所述第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
7、如以上权利要求中任何一个所述的电子照相机，其中所述第二成像功能结合了处理器，该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。
8、如权利要求7所述的电子照相机，其中所述处理器与所述电子成像传感器一起结合在单个芯片上。
9、如以上权利要求中任何一个所述的电子照相机，其中所述第一功能是彩色照相功能。
10、如以上权利要求中任何一个所述的电子照相机，其中所述第二功能是红外光束照射检测数据输入功能。
11、如以上权利要求中任何一个所述的电子照相机，其中所述用户操作成像功能选择开关是机械响应开关，该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。
12、如以上权利要求中任何一个所述的电子照相机，其中所述用户操作成像功能选择开关是机械响应开关，该开关可选择地将选定的滤光器与所述电子成像传感器以机械方式相关联。
13、如以上权利要求中任何一个所述的电子照相机，其中所述用户操作成像功能选择开关是电子响应开关，该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出的响应。
14、如以上权利要求中任何一个所述的电子照相机，包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
15、如以上权利要求中任何一个所述的电子照相机，还包括由所述第二成像功能所使用的数据输入模板投影器。
16、如以上权利要求中任何一个所述的电子照相机，还包括由所述第二成像功能所使用的照明器。
17、如以上权利要求中任何一个所述的电子照相机，还包括同步照明功率变化功能。
18、一种电子照相机，包括：
提供代表被成像场的输出的电子成像传感器；和
布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
19、一种电子照相机，包括：
提供代表被成像场的输出的电子成像传感器；
第一成像功能，其以可见光辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相；以及
第二成像功能，其以红外辐射检测模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
20、如权利要求19所述的电子照相机，包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
21、如权利要求20所述的电子照相机，其中在所述第一成像功能中，使用了在所述可透过红、绿、蓝光的元件之下的像素的输出。
22、如权利要求21所述的电子照相机，其中在所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。
23、如权利要求20所述的电子照相机，其中在所述第二成像功能中，使用了在所述可通过红外光的元件之下的像素的输出。
24、如权利要求18-23中任何一个所述的电子照相机，还包括处理器。
25、如以上权利要求中任何一个所述的电子照相机，其中所述电子照相机形成为电话的一部分。
26、如以上权利要求中任何一个所述的电子照相机，其中所述电子照相机形成为个人数字助理的一部分。
27、如以上权利要求中任何一个所述的电子照相机，其中所述电子照相机形成为手表的一部分。
28、如权利要求7-17以及24中任何一个所述的电子照相机，其中所述处理器包括以下功能：
在获取了每个像素值时，利用像素坐标确定该像素是否处于预定击键区域之内；
获取用于处于所述预定击键区域之内的所述像素坐标的像素值；
基于确定每个像素的像素函数，在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值；
将每个所述击键区域的所述像素总数与当前按键致动阈值比较；
如果对于一给定帧中的一给定的击键区域，像素总数超出按键致动阈值，并且在前一帧中对于该击键区域，像素总数未超出按键致动阈值，则提供按键致动输出；并且
如果对于一给定帧中的一给定的击键区域，像素总数未超出按键致动阈值，并且在前一帧中对于该击键区域，像素总数超出按键致动阈值，则提供按键消动输出。
29、如权利要求28所述的电子照相机，其中所述确定像素是否处于预定击键区域中是通过使用像素索引表进行的，所述像素索引表为每个像素指示该像素是否处在预定击键区域之内，并且如果是，则指示其处在哪个击键区域内。
30、如权利要求28和29中任何一个所述的电子照相机，其中所述两个确定步骤都使用所述像素索引表。
31、如权利要求28-30中任何一个所述的电子照相机，其中在击键区域累加器表中为每个击键区域保存所述像素总数。
32、如权利要求28-31中任何一个所述的电子照相机，其中所述比较使用击键区域阈值表。
33、如权利要求32所述的电子照相机，还包括以下功能：
一旦一帧中的所有像素都已经被处理，则确定用于一帧的更新后的背景电平；以及
通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平，为所述击键区域阈值表确定按键致动阈值。
34、如以上权利要求28-33中任何一个所述的电子照相机，其中所述像素函数包括将所述击键区域中的多个像素的像素值相加。
35、如以上权利要求28-34中任何一个所述的电子照相机，其中所述处理器可操作以确定所述二维图像传感器中像素的像素值的“重心”。
36、如以上权利要求28-35中任何一个所述的电子照相机，其中所述处理器包括以下功能：
在获取了每个像素值时，利用像素坐标确定该像素是否处在预定作用区域之内；
获取用于不同像素坐标的像素值；以及
确定像素值的“重心”。
37、如权利要求36所述的电子照相机，其中确定“重心”是通过以下步骤完成的：
将所述像素值乘以代表每个像素的地理位置的X和Y值；
沿着相互垂直的轴X和Y对所得到的结果求和；
对所述作用区域的所有相关像素的像素值的总数求和；以及
将所述求和得到的结果除以所述像素值的所述总数，以确定代表所期望的接合位置的“重心”的X和Y坐标。
38、如权利要求36和37中任何一个所述的电子照相机，其中所述像素值在对其求和之前是被阈值化的。
39、一种便携式电话，包括：
电话功能；
提供代表被成像场的输出的电子成像传感器；
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能；
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
40、如权利要求39所述的便携式电话，其中所述电子成像传感器包括CMOS传感器。
41、如权利要求39或40所述的便携式电话，其中所述第一成像功能结合了所述电子成像传感器上游的第一透镜装置。
42、如权利要求39-41中任何一个所述的便携式电话，其中所述第二成像功能结合了所述电子成像传感器上游的第二透镜装置。
43、如权利要求39-42中任何一个所述的便携式电话，其中所述第二成像功能结合了红外光发生器以确定一光束，由于所述的用户手部动作而得到的该光束的照射产生代表所述数据的光图案。
44、如权利要求43所述的便携式电话，其中所述第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
45、如权利要求39-44中任何一个所述的便携式电话，其中所述第二成像功能结合了处理器，该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。
46、如权利要求45所述的便携式电话，其中所述处理器与所述电子成像传感器一起结合在单个芯片上。
47、如权利要求39-46中任何一个所述的便携式电话，其中所述第一功能是彩色照相功能。
48、如权利要求39-47中任何一个所述的便携式电话，其中所述第二功能是红外光束照射检测数据输入功能。
49、如权利要求39-48中任何一个所述的便携式电话，其中所述用户操作成像功能选择开关是机械响应开关，该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。
50、如权利要求39-49中任何一个所述的便携式电话，其中所述用户操作成像功能选择开关是机械响应开关，该开关可选择地将选定的滤光器与所述电子成像传感器以机械方式相关联。
51、如权利要求39-50中任何一个所述的便携式电话，其中所述用户操作成像功能选择开关是电子响应开关，该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出的响应。
52、如权利要求39-51中任何一个所述的便携式电话，包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
53、如权利要求39-52中任何一个所述的便携式电话，还包括由所述第二成像功能所使用的数据输入模板投影器。
54、如权利要求39-53中任何一个所述的便携式电话，还包括由所述第二成像功能所使用的照明器。
55、如权利要求39-54中任何一个所述的便携式电话，还包括同步照明功率变化功能。
56、一种便携式电话，包括：
电话功能；
提供代表被成像场的输出的电子成像传感器；和
布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
57、一种便携式电话，包括：
电话功能；
提供代表被成像场的输出的电子成像传感器；
第一成像功能，其以可见光辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相；以及
第二成像功能，其以红外辐射检测模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
58、如权利要求57所述的便携式电话，包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
59、如权利要求58所述的便携式电话，其中在所述第一成像功能中，使用在所述可透过红、绿、蓝光的元件之下的像素的输出。
60、如权利要求59所述的便携式电话，其中在所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。
61、如权利要求58所述的便携式电话，其中在所述第二成像功能中，使用在所述可通过红外光的元件之下的像素的输出。
62、如权利要求56-61中任何一个所述的便携式电话，还包括处理器。
63、如权利要求45-55以及62中任何一个所述的便携式电话，其中所述处理器包括以下功能：
在获取了每个像素值时，利用像素坐标确定该像素是否处于预定击键区域之内；
为处于所述预定击键区域之内的所述像素坐标获取像素值；
基于确定每个像素的像素函数，在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值；
将每个所述击键区域的所述像素总数与当前按键致动阈值比较；
如果在给定帧中对于给定的击键区域，像素总数超出按键致动阈值，并且在前一帧中对于该击键区域，像素总数未超出按键致动阈值，则提供按键致动输出；并且
如果在给定帧中对于给定的击键区域，像素总数未超出按键致动阈值，并且在前一帧中对于该击键区域，像素总数超出按键致动阈值，则提供按键消动输出。
64、如权利要求63所述的便携式电话，其中所述确定像素是否处于预定击键区域中是通过使用像素索引表进行的，所述像素索引表为每个像素指示该像素是否处在预定击键区域之内，并且如果是，则指示它处在哪个击键区域内。
65、如权利要求63和64中任何一个所述的便携式电话，其中所述两个确定步骤都使用所述像素索引表。
66、如权利要求63-65中任何一个所述的便携式电话，其中在击键区域累加器表中为每个击键区域保存所述像素总数。
67、如权利要求63-66中任何一个所述的便携式电话，其中所述比较使用击键区域阈值表。
68、如权利要求67所述的便携式电话，还包括以下功能：
一旦一帧中的所有像素都已经被处理，确定一帧的更新后的背景电平；以及
通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平，为所述击键区域阈值表确定按键致动阈值。
69、如以上权利要求63-68中任何一个所述的便携式电话，其中所述像素函数包括将所述击键区域中的多个像素的像素值相加。
70、如以上权利要求63-69中任何一个所述的便携式电话，其中所述处理器可操作以确定所述二维图像传感器中像素的像素值的“重心”。
71、如以上权利要求63-70中任何一个所述的便携式电话，其中所述处理器包括以下功能：
在获取了每个像素值时，利用像素坐标确定该像素是否处在预定作用区域之内；
为不同像素坐标获取像素值；以及
确定像素值的“重心”。
72、如权利要求71所述的便携式电话，其中确定“重心”是通过以下步骤完成的：
将所述像素值乘以代表每个像素的地理位置的X和Y值；
沿着相互垂直的轴X和Y对所得到的结果求和；
对所述作用区域中的所有相关像素的像素值的总数求和；以及
将所述求和得到的结果除以所述像素值的所述总数，以确定代表所期望的接合位置的“重心”的X和Y坐标。
73、如权利要求71和72中任何一个所述的便携式电话，其中所述像素值在对其求和之前是被阈值化的。
74、一种数字个人助理，包括：
至少一个个人数字助理功能；
提供代表被成像场的输出的电子成像传感器；
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能；
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
75、如权利要求74所述的数字个人助理，其中所述电子成像传感器包括CMOS传感器。
76、如权利要求74或75所述的数字个人助理，其中所述第一成像功能结合了所述电子成像传感器上游的第一透镜装置。
77、如权利要求74-76中任何一个所述的数字个人助理，其中所述第二成像功能结合了所述电子成像传感器上游的第二透镜装置。
78、如权利要求74-77中任何一个所述的数字个人助理，其中所述第二成像功能结合了红外光发生器以确定一光束，由于所述的用户手部动作而得到该光束的照射产生代表所述数据的光图案。
79、如权利要求78所述的数字个人助理，其中所述第二成像功能还结合了至少一个与所述电子成像传感器相关联的可通过红外光的滤光器。
80、如权利要求74-79中任何一个所述的数字个人助理，其中所述第二成像功能结合了处理器，该处理器接收来自所述电子成像传感器的输出以提供数据输入输出信号。
81、如权利要求80所述的数字个人助理，其中所述处理器与所述电子成像传感器一起结合在单个芯片上。
82、如权利要求74-81中任何一个所述的数字个人助理，其中所述第一功能是彩色照相功能。
83、如权利要求74-82中任何一个所述的数字个人助理，其中所述第二功能是红外光束照射检测数据输入功能。
84、如权利要求74-83中任何一个所述的数字个人助理，其中所述用户操作成像功能选择开关是机械响应开关，该开关可选择地以机械方式与所述电子成像传感器上游的所述第一和第二透镜装置相关联。
85、如权利要求74-84中任何一个所述的数字个人助理，其中所述用户操作成像功能选择开关是机械响应开关，该开关可选择地将选定的滤光器与所述电子成像传感器以机械方式相关联。
86、如权利要求74-85中任何一个所述的数字个人助理，其中所述用户操作成像功能选择开关是电子响应开关，该开关可选择地以电子方式确定对来自所述电子成像传感器的预定部分的选定输出的响应。
87、如权利要求74-86中任何一个所述的数字个人助理，包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
88、如权利要求74-87中任何一个所述的数字个人助理，还包括由所述第二成像功能所使用的数据输入模板投影器。
89、如权利要求74-88中任何一个所述的数字个人助理，还包括由所述第二成像功能所使用的照明器。
90、如权利要求74-89中任何一个所述的数字个人助理，还包括同步照明功率变化功能。
91、一种数字个人助理，包括：
至少一个个人数字助理功能；
提供代表被成像场的输出的电子成像传感器；和
布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
92、一种数字个人助理，包括：
至少一个个人数字助理功能；
提供代表被成像场的输出的电子成像传感器；
第一成像功能，其以可见光辐射成像模式使用所述电子成像传感器以对所述被成像场中的景象照相；以及
第二成像功能，其以红外辐射检测模式使用所述电子成像传感器以响应于用户手部动作进行数据输入。
93、如权利要求92所述的数字个人助理，包括布置在所述电子成像传感器之上的可通过红、绿、蓝以及红外光的像素式元件的阵列。
94、如权利要求93所述的数字个人助理，其中在所述第一成像功能中，使用在所述可透过红、绿、蓝光的元件之下的像素的输出。
95、如权利要求94所述的数字个人助理，其中在所述可通过红外光的元件之下的像素的输出被用来防止所述成像传感器的色彩响应失真。
96、如权利要求93所述的数字个人助理，其中在所述第二成像功能中，使用在所述可通过红外光的元件之下的像素的输出。
97、如权利要求91-96中任何一个所述的数字个人助理，还包括处理器。
98、如权利要求80-90以及97中任何一个所述的数字个人助理，其中所述处理器包括以下功能：
在获取了每个像素值时，利用像素坐标确定该像素是否处于预定击键区域之内；
为处于所述预定击键区域之内的所述像素坐标获取像素值；
基于确定每个像素的像素函数，在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值；
将每个所述击键区域的所述像素总数与当前按键致动阈值比较；
如果在给定帧中对于给定的击键区域，像素总数超出按键致动阈值，并且在前一帧中对于该击键区域，像素总数未超出按键致动阈值，则提供按键致动输出；并且
如果在给定帧中对于给定的击键区域，像素总数未超出按键致动阈值，并且在前一帧中对于该击键区域，所像素总数超出按键致动阈值，则提供按键消动输出。
99、如权利要求98所述的数字个人助理，其中所述确定像素是否处于预定击键区域中是通过使用像素索引表进行的，所述像素索引表为每个像素指示该像素是否处在预定击键区域之内，并且如果是，则指示它处在哪个击键区域内。
100、如权利要求98和99中任何一个所述的数字个人助理，其中所述两个确定步骤都使用了所述像素索引表。
101、如权利要求98-100中任何一个所述的数字个人助理，其中在击键区域累加器表中为每个击键区域保存所述像素总数。
102、如权利要求98-101中任何一个所述的数字个人助理，其中所述比较使用击键区域阈值表。
103、如权利要求102所述的数字个人助理，还包括以下功能：
一旦一帧中的所有像素都已经被处理，确定一帧的更新后的背景电平；以及
通过从为每个击键区域建立的预定阈值电平中减去所述更新后的背景电平，为所述击键区域阈值表确定按键致动阈值。
104、如权利要求98-103中任何一个所述的数字个人助理，其中所述像素函数包括将所述击键区域中的多个像素的像素值相加。
105、如权利要求98-104中任何一个所述的数字个人助理，其中所述处理器可操作以确定所述二维图像传感器中像素的像素值的“重心”。
106、如权利要求98-105中任何一个所述的数字个人助理，其中所述处理器包括以下功能：
在获取了每个像素值时，利用像素坐标确定该像素是否处在预定作用区域之内；
为不同像素坐标获取像素值；以及
确定像素值的“重心”。
107、如权利要求106所述的数字个人助理，其中确定“重心”是通过以下步骤完成的：
将所述像素值乘以代表每个像素的地理位置的X和Y值；
沿着相互垂直的轴X和Y对所得到的结果求和；
对所述作用区域中的所有相关像素的像素值的总数求和；以及
将所述求和得到的结果除以所述像素值的所述总数，以确定代表所需接合位置的“重心”的X和Y坐标。
108、如权利要求106和107中任何一个所述的数字个人助理，其中所述像素值在对其求和之前是被阈值化的。
109、一种手表，包括：
手表功能；
提供代表被成像场的输出的电子成像传感器；
使用所述电子成像传感器以对所述被成像场中的景象照相的第一成像功能；
使用所述电子成像传感器以响应于用户手部动作进行数据输入的第二成像功能；和
可操作以使得用户能够选择所述第一和第二成像功能之一中的操作的用户操作成像功能选择开关。
110、一种车辆，包括：
车架、传动系统和底盘，包括至少一个可锁闭入口以及入口开锁功能；和
进入控制组件，用于管理向所述至少一个可锁闭入口的授权的进入，包括：
至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面；
照明器，其可操作以照明邻近所述至少一个用户手指接合表面的至少一个用户手指接合平面；
二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
111、如权利要求110所述的车辆，其中所述照明器位于所述至少一个接合表面内侧的位置上。
112、如权利要求110或111所述的车辆，其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
113、如权利要求110或111所述的车辆，其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
114、如以上权利要求110-113中任何一个所述的车辆，还包括照明导引器，该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
115、如权利要求114所述的车辆，其中所述照明导引器包括棱镜。
116、一种用于车辆的进入控制装置，所述车辆包括底盘，具有至少一个可锁闭入口以及入口开锁功能，并且还包括至少一个可以从所述底盘外部接触到的、至少部分透光的用户手指接合表面，所述进入控制装置包括：
照明器，其可操作以照明所述至少一个用户手指接合表面；
二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
117、如权利要求116所述的进入控制装置，其中所述照明器位于所述至少一个接合表面内侧的位置上。
118、如权利要求116或117所述的进入控制装置，其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
119、如权利要求116或117所述的进入控制装置，其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
120、如以上权利要求116-119中任何一个所述的进入控制装置，还包括照明导引器，该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
121、如权利要求120所述的进入控制装置，其中所述照明导引器包括棱镜。
122、一种用于外壳的进入控制装置，所述外壳具有至少一个可锁闭入口以及入口开锁功能，并且还包括至少一个可以从所述外壳外部接触到的、至少部分透光的用户手指接合表面，所述进入控制装置包括：
照明器，其可操作以照明所述至少一个用户手指接合表面；
二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并向所述入口开锁功能提供数据输入输入信号。
123、如权利要求122所述的进入控制装置，其中所述照明器位于所述至少一个接合表面内侧的位置上。
124、如权利要求122或123所述的进入控制装置，其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
125、如权利要求122或123所述的进入控制装置，其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
126、如以上权利要求122-125中任何一个所述的进入控制装置，还包括照明导引器，该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
127、如权利要求126所述的进入控制装置，其中所述照明导引器包括棱镜。
128、一种数据输入装置，与至少一个至少部分透光的用户手指接合表面一起使用，所述数据输入装置包括：
照明器，其可操作以照明所述至少一个用户手指接合表面；
二维成像传感器，其从所述至少一个手指接合表面内侧的位置上观察所述至少一个用户手指接合表面，以检测来自所述照明器的、由于用户的手指与所述至少一个手指接合表面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
129、如权利要求128所述的数据输入装置，其中所述照明器位于所述至少一个接合表面内侧的位置上。
130、如权利要求128或129所述的数据输入装置，其中所述至少一个手指接合表面包括多个手指接合表面的一维阵列。
131、如权利要求128或129所述的数据输入装置，其中所述至少一个手指接合表面包括多个手指接合表面的二维阵列。
132、如以上权利要求128-131中任何一个所述的数据输入装置，还包括照明导引器，该照明导引器与所述照明器合作以提供大体上平行于所述至少一个手指接合表面的照明光束。
133、如权利要求132所述的数据输入装置，其中所述照明导引器包括棱镜。
134、一种数据输入装置，与至少一个接合表面一起使用，所述数据输入装置包括：
发光的数据输入接合元件，该元件仅当其处于预定的接近所述至少一个接合表面处时才发射光；
二维成像传感器，其观察所述至少一个接合表面，以检测所述发光的数据输入接合元件所发射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
135、如权利要求134所述的数据输入装置，其中所述发光的数据输入接合元件包括在其端部具有LED的细长元件。
136、如权利要求135所述的数据输入装置，其中所述LED包括红外发射LED。
137、如权利要求134-136中任何一个所述的数据输入装置，还包括接近开关。
138、一种数据输入装置，与至少一个接合表面一起使用，所述数据输入装置包括：
投影器，其可操作以照明所述至少一个接合表面并且在其上定义至少一个触垫区域和至少一个键盘区域，所述触垫区域由零级衍射图像确定；
照明器，其可操作以照明所述至少一个接合表面；
二维成像传感器，其从所述至少一个接合表面内侧的位置上观察所述至少一个接合表面，以检测来自所述照明器的、由于用户手指与所述至少一个接合表面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并提供数据输入输入信号。
139、如权利要求128-138中任何一个所述的数据输入装置，其中所述处理器包括以下功能：
在获取了每个像素值时，利用像素坐标确定该像素是否处于预定击键区域之内；
为处于所述预定击键区域之内的所述像素坐标获取像素值；
基于确定每个像素的像素函数，在为每个所述击键区域保存的像素总数中加上或者从中减去每个所述像素值；
将每个所述击键区域的所述像素总数与当前按键致动阈值比较；
如果在给定帧中对于给定的击键区域，像素总数超出按键致动阈值，并且在前一帧中对于该击键区域，像素总数未超出按键致动阈值，则提供按键致动输出；并且
如果在给定帧中对于给定的击键区域，像素总数未超出按键致动阈值，并且在前一帧中对于该击键区域，像素总数超出按键致动阈值，则提供按键消动输出信号。
140、一种数据输入设备，包括
照明器，其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面；
包括光楔元件的二维成像传感器，其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面，以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
141、如权利要求140所述的数据输入设备，其中所述光楔元件使得所述成像传感器能够有效地检测来自所述接合平面的光。
142、一种数据输入设备，包括：
照明器，其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面；
包括一对相反朝向的光楔元件的二维成像传感器，其从所述至少一个接合平面外部的位置上观察所述至少一个接合平面，以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
143、一种数据输入设备，包括：
照明器，其可操作以通过沿着至少一个接合平面对光进行导引而照明所述至少一个接合平面，并且照明接合表面上的正确定位确认位置；
二维成像传感器，其包括，从所述至少一个接合平面外部的位置上观察所述至少一个接合平面，以检测来自所述照明器的、由于数据输入对象与所述至少一个接合平面的接合而被散射的光；和
数据输入处理器，其接收来自所述二维成像传感器的输出并向应用电路提供数据输入输入信号。
144、如权利要求143所述的数据输入设备，其中所述成像传感器检测在所述正确定位确认位置处存在或不存在照明。
145、如权利要求144所述的数据输入设备，其中当所述成像传感器检测到在所述正确定位确认位置处不存在照明时，所述数据输入设备可操作以关闭其自身。
146、一种游戏装置，包括：
至少一个游戏棋子；
可操作以向一个表面上投影游戏模板的游戏模板投影器；
可操作以照明所述表面的照明器；和
成像传感器，其观察所述表面以检测来自所述照明器的、被安装在所述至少一个游戏棋子上的至少一个经光学编码的反射器所反射的光。
147、如权利要求146所述的游戏装置，其中所述至少一个反射器中的每一个识别所述至少一个游戏棋子中的一个，并可操作以指示所述至少一个游戏棋子在所述游戏模板上的位置。
148、如权利要求146或147所述的游戏装置，其中所述至少一个反射器还识别所述游戏棋子的空间方向。
CN03815231.2A 2002-06-26 2003-06-26 多功能集成图像传感器以及在虚拟接口技术上的应用 Pending CN1666248A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US39237602P 2002-06-26 2002-06-26
US60/392,376 2002-06-26
US43832703P 2003-01-07 2003-01-07
US60/438,327 2003-01-07

Publications (1)

Publication Number Publication Date
CN1666248A true CN1666248A (zh) 2005-09-07

Family

ID=30003248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN03815231.2A Pending CN1666248A (zh) 2002-06-26 2003-06-26 多功能集成图像传感器以及在虚拟接口技术上的应用

Country Status (7)

Country Link
US (3) US7307661B2 (zh)
EP (1) EP1540641A2 (zh)
JP (1) JP2005533463A (zh)
CN (1) CN1666248A (zh)
AU (1) AU2003238660A1 (zh)
CA (1) CA2490292A1 (zh)
WO (1) WO2004003656A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101849241A (zh) * 2007-10-17 2010-09-29 智能技术Ulc公司 交互式输入系统、其控制器以及控制装置的方法
CN102541256A (zh) * 2010-10-28 2012-07-04 微软公司 具有视觉反馈的位置知晓姿势作为输入方法
CN103019457A (zh) * 2011-09-23 2013-04-03 原相科技股份有限公司 光学触控系统
CN103677358A (zh) * 2012-09-06 2014-03-26 东莞万士达液晶显示器有限公司 显示器模块
CN104202547A (zh) * 2014-08-27 2014-12-10 广东威创视讯科技股份有限公司 投影画面中提取目标物体的方法、投影互动方法及其系统
CN104723883A (zh) * 2013-12-18 2015-06-24 富士重工业株式会社 车载图像显示装置
US10521054B2 (en) 2014-12-25 2019-12-31 Sony Corporation Projection display unit
CN112791376A (zh) * 2021-01-28 2021-05-14 济南其石电子科技有限公司 一种电子棋盘控制器及电子棋盘的实现方法

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US8482534B2 (en) 1995-06-29 2013-07-09 Timothy R. Pryor Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US8228305B2 (en) 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US8482535B2 (en) 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US8576199B1 (en) 2000-02-22 2013-11-05 Apple Inc. Computer control systems
JP2004523031A (ja) * 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
EP1540641A2 (en) * 2002-06-26 2005-06-15 VKB Inc. Multifunctional integrated image sensor and application to virtual interface technology
US7358963B2 (en) 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
WO2005069114A1 (ja) * 2004-01-15 2005-07-28 Vodafone K.K. 移動体通信端末
US20050273201A1 (en) * 2004-06-06 2005-12-08 Zukowski Deborra J Method and system for deployment of sensors
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
WO2006090386A2 (en) 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置
WO2006117736A1 (en) * 2005-05-04 2006-11-09 Koninklijke Philips Electronics, N.V. System and method for projecting control graphics
TWI268095B (en) * 2005-06-02 2006-12-01 Benq Corp Scanner
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US8077147B2 (en) 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
FR2898315B1 (fr) * 2006-03-08 2009-02-20 Peugeot Citroen Automobiles Sa Interface de commande d'un equipement fixe ou nomade de vehicule, avec utilisation d'un clavier virtuel
DE102006049172A1 (de) * 2006-10-18 2008-04-30 Dräger Medical AG & Co. KG Virtuelles Anzeige- und Bediensystem für medizinische Geräte
KR20080044017A (ko) * 2006-11-15 2008-05-20 삼성전자주식회사 터치 스크린
BRPI0817990B1 (pt) * 2007-09-24 2019-04-16 Laser Technology, Inc. Sistema unitário e método para integrar imagem e dados de determinação de velocidade.
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
EP2103751A1 (de) * 2008-03-19 2009-09-23 BrainLAB AG Einbaueinheit für Anzeigevorrichtungen
JP5277703B2 (ja) * 2008-04-21 2013-08-28 株式会社リコー 電子機器
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US20090289188A1 (en) * 2008-05-20 2009-11-26 Everspring Industry Co., Ltd. Method for controlling an electronic device through infrared detection
WO2009148210A1 (en) * 2008-06-02 2009-12-10 Lg Electronics Inc. Virtual optical input unit and control method thereof
US7777899B1 (en) * 2008-06-19 2010-08-17 Gesturetek, Inc. Interaction interface for controlling an application
US8068641B1 (en) 2008-06-19 2011-11-29 Qualcomm Incorporated Interaction interface for controlling an application
EP2144189A3 (en) * 2008-07-10 2014-03-05 Samsung Electronics Co., Ltd. Method for recognizing and translating characters in camera-based image
US8847739B2 (en) 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
TW201007254A (en) * 2008-08-04 2010-02-16 Pixart Imaging Inc Image-sensing module and image-sensing system
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
US8228345B2 (en) * 2008-09-24 2012-07-24 International Business Machines Corporation Hand image feedback method and system
FR2937441B1 (fr) * 2008-10-16 2010-12-31 Neopost Technologies Interface utilisateur virtuelle pour systeme de traitement de courrier.
JP5276417B2 (ja) * 2008-11-25 2013-08-28 シャープ株式会社 レーザプロジェクタ装置及びそれを備えた携帯電話端末
GB2466023A (en) * 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
US20100153457A1 (en) * 2008-12-15 2010-06-17 Grant Isaac W Gestural Interface Device and Method
GB2466497B (en) 2008-12-24 2011-09-14 Light Blue Optics Ltd Touch sensitive holographic displays
CN201444297U (zh) 2009-03-27 2010-04-28 宸鸿光电科技股份有限公司 触控装置、其激光光源组及其激光光源结构
TWI507945B (zh) 2009-03-27 2015-11-11 Tpk Touch Solutions Inc 觸控裝置及其光源結構
US7763841B1 (en) 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
US20100315376A1 (en) * 2009-06-10 2010-12-16 Dave Jaeyeong Choi Control interface assemblies and vehicles including same
TWI413923B (zh) * 2009-06-30 2013-11-01 E Pin Optical Industry Co Ltd 微機電掃描之座標偵測方法及其觸控螢幕
KR101773464B1 (ko) 2009-06-30 2017-08-31 엘지전자 주식회사 멀티플레이어 게임을 제공하는 휴대 단말기 및 그 동작방법
GB0920754D0 (en) 2009-11-27 2010-01-13 Compurants Ltd Inamo big book 1
DE202009005253U1 (de) 2009-09-09 2010-01-07 Tpk Touch Solutions Inc. Berührungsvorrichtung, Laserquellenmodul und Laserquellenstruktur
KR200480404Y1 (ko) * 2010-05-24 2016-05-20 카닛 보디팟 모바일 컴퓨팅 디바이스용 가상 입력 디바이스를 위한 장치 및 방법
US8542218B2 (en) * 2010-08-19 2013-09-24 Hyundai Motor Company Electronic switch apparatus for vehicle
EP2441635B1 (en) * 2010-10-06 2015-01-21 Harman Becker Automotive Systems GmbH Vehicle User Interface System
CN102169366B (zh) * 2011-03-18 2012-11-07 汤牧天 三维立体空间中的多目标跟踪方法
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
TW201248452A (en) * 2011-05-30 2012-12-01 Era Optoelectronics Inc Floating virtual image touch sensing apparatus
GB201110157D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110156D0 (en) * 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
EP2725458B1 (en) * 2011-06-23 2016-06-15 Fujitsu Limited Information processing device, input control method, and input control program
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
US20130179811A1 (en) * 2012-01-05 2013-07-11 Visteon Global Technologies, Inc. Projection dynamic icon knobs
WO2013104060A1 (en) 2012-01-11 2013-07-18 Smart Technologies Ulc Interactive input system and method
US20140362052A1 (en) 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
KR102133702B1 (ko) 2012-02-24 2020-07-14 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
GB201205303D0 (en) 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US8994495B2 (en) 2012-07-11 2015-03-31 Ford Global Technologies Virtual vehicle entry keypad and method of use thereof
TW201409298A (zh) * 2012-08-21 2014-03-01 Wintek Corp 顯示器模組
JP5971053B2 (ja) * 2012-09-19 2016-08-17 船井電機株式会社 位置検出装置及び画像表示装置
CN103995581B (zh) * 2013-02-18 2017-03-01 义明科技股份有限公司 光学感测装置以及图像感测装置
US9049369B2 (en) * 2013-07-10 2015-06-02 Christie Digital Systems Usa, Inc. Apparatus, system and method for projecting images onto predefined portions of objects
US9047514B2 (en) * 2013-07-10 2015-06-02 Christie Digital Systems Usa, Inc. Apparatus, system and method for projecting images onto predefined portions of objects
JP2015079169A (ja) * 2013-10-18 2015-04-23 増田　麻言 投影装置
JP2016114963A (ja) * 2014-12-11 2016-06-23 株式会社リコー 入力操作検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、及びプロジェクタシステム
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
FR3034889B1 (fr) * 2015-04-10 2017-04-28 Cn2P Sas Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
US9898142B2 (en) * 2016-04-01 2018-02-20 Ford Global Technologies, Llc Touch detection on a curved surface
WO2017212601A1 (ja) * 2016-06-09 2017-12-14 日立マクセル株式会社 光測距装置、及びこれを備えた映像投写装置
WO2018203595A1 (ko) * 2017-05-04 2018-11-08 임성현 터치 인터랙션이 가능한 프로젝터
US10137857B1 (en) * 2017-08-22 2018-11-27 Ford Global Technologies, Llc Vehicle unlocking systems, devices, and methods
US10300889B2 (en) 2017-09-08 2019-05-28 Ford Global Technologies, Llc Iris-detection alignment for vehicle feature activation
US11287885B1 (en) * 2019-01-22 2022-03-29 Facebook Technologies, Llc Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561017A (en) * 1983-08-19 1985-12-24 Richard Greene Graphic input apparatus
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US5181181A (en) * 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
US5182659A (en) * 1991-02-20 1993-01-26 Holographix, Inc. Holographic recording and scanning system and method
US5457550A (en) * 1991-02-27 1995-10-10 Ricoh Company, Ltd. Optical scanner unit having recursive optical system
US5181108A (en) * 1991-10-07 1993-01-19 Greene Richard M Graphic input device with uniform sensitivity and no keystone distortion
EP0554492B1 (en) * 1992-02-07 1995-08-09 International Business Machines Corporation Method and device for optical input of commands or data
GB2292711B (en) * 1993-04-28 1997-03-26 Robert Douglas Mcpheters Holographic operator interface
US6281878B1 (en) * 1994-11-01 2001-08-28 Stephen V. R. Montellese Apparatus and method for inputing data
FI961459A0 (fi) * 1996-04-01 1996-04-01 Kyoesti Veijo Olavi Maula Arrangemang foer optisk fjaerrstyrning av en anordning
US5781252A (en) * 1996-04-02 1998-07-14 Kopin Corporation Dual light valve color projector system
US5680205A (en) * 1996-08-16 1997-10-21 Dew Engineering And Development Ltd. Fingerprint imaging apparatus with auxiliary lens
DE69727125T2 (de) * 1996-09-24 2004-11-11 Seiko Epson Corp. Projektionsanzeigevorrichtung mit einer lichtquelle
FR2756077B1 (fr) 1996-11-19 1999-01-29 Opto System Ecran tactile et dispositif de visualisation utilisant cet ecran tactile
US6043839A (en) * 1997-10-06 2000-03-28 Adair; Edwin L. Reduced area imaging devices
US5952731A (en) * 1998-02-02 1999-09-14 Lear Automotive Dearborn, Inc. Membrane keyless entry switch for vehicles
DE29802435U1 (de) 1998-02-12 1998-05-07 Siemens Nixdorf Inf Syst Anordnung der Projektionsfläche einer virtuellen Eingabeeinheit
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
US6281238B1 (en) * 1998-05-12 2001-08-28 American Home Products Corporation 4-aryl-1-oxa-9-thia-cylopenta[B]fluorenes
US6700613B1 (en) * 1998-06-16 2004-03-02 Eastman Kodak Company Data-reading image capture apparatus, camera, and method of use
US6266048B1 (en) * 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
CA2246258A1 (en) * 1998-08-31 2000-02-29 Photonics Research Ontario Novel optical scheme for holographic imaging of complex defractive elements in materials
TW464800B (en) 1998-10-07 2001-11-21 Intel Corp A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
FI990676A (fi) 1999-03-26 2000-09-27 Nokia Mobile Phones Ltd Syöttöjärjestely tiedon käsisyöttöä varten ja matkapuhelin
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6424338B1 (en) * 1999-09-30 2002-07-23 Gateway, Inc. Speed zone touchpad
US20030132921A1 (en) * 1999-11-04 2003-07-17 Torunoglu Ilhami Hasan Portable sensory input device
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US6611252B1 (en) * 2000-05-17 2003-08-26 Dufaux Douglas P. Virtual data input device
US6650318B1 (en) * 2000-10-13 2003-11-18 Vkb Inc. Data input device
WO2001093182A1 (en) * 2000-05-29 2001-12-06 Vkb Inc. Virtual data entry device and method for input of alphanumeric and other data
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
AU2002243265A1 (en) * 2000-11-19 2002-06-24 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
FI113094B (fi) * 2000-12-15 2004-02-27 Nokia Corp Parannettu menetelmä ja järjestely toiminnon aikaansaamiseksi elektronisessa laitteessa ja elektroninen laite
JP2004523031A (ja) * 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US6761634B1 (en) * 2001-06-07 2004-07-13 Hasbro, Inc. Arcade table
US6854870B2 (en) * 2001-06-30 2005-02-15 Donnelly Corporation Vehicle handle assembly
US7071924B2 (en) * 2002-01-10 2006-07-04 International Business Machines Corporation User input method and apparatus for handheld computers
EP1540641A2 (en) * 2002-06-26 2005-06-15 VKB Inc. Multifunctional integrated image sensor and application to virtual interface technology
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
DE10260305A1 (de) * 2002-12-20 2004-07-15 Siemens Ag HMI Einrichtung mit einem optischem Touch Screen
TW594549B (en) * 2002-12-31 2004-06-21 Ind Tech Res Inst Device and method for generating virtual keyboard/display
JP4311988B2 (ja) * 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
US20070115261A1 (en) * 2005-11-23 2007-05-24 Stereo Display, Inc. Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens
JP2006033483A (ja) * 2004-07-16 2006-02-02 Aisin Seiki Co Ltd カラー撮像装置
US7248151B2 (en) * 2005-01-05 2007-07-24 General Motors Corporation Virtual keypad for vehicle entry control
US9274551B2 (en) * 2005-02-23 2016-03-01 Zienon, Llc Method and apparatus for data entry input
TWI333624B (en) * 2006-09-27 2010-11-21 Chia Hoang Lee A virtual input device and the input method thereof

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101849241A (zh) * 2007-10-17 2010-09-29 智能技术Ulc公司 交互式输入系统、其控制器以及控制装置的方法
CN102541256A (zh) * 2010-10-28 2012-07-04 微软公司 具有视觉反馈的位置知晓姿势作为输入方法
US9195345B2 (en) 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
CN102541256B (zh) * 2010-10-28 2016-01-20 微软技术许可有限责任公司 具有视觉反馈的位置知晓姿势作为输入方法
CN103019457A (zh) * 2011-09-23 2013-04-03 原相科技股份有限公司 光学触控系统
CN103677358A (zh) * 2012-09-06 2014-03-26 东莞万士达液晶显示器有限公司 显示器模块
CN104723883A (zh) * 2013-12-18 2015-06-24 富士重工业株式会社 车载图像显示装置
US10042163B2 (en) 2013-12-18 2018-08-07 Subaru Corporation Onboard image display device for vehicle
CN104202547A (zh) * 2014-08-27 2014-12-10 广东威创视讯科技股份有限公司 投影画面中提取目标物体的方法、投影互动方法及其系统
CN104202547B (zh) * 2014-08-27 2017-10-10 广东威创视讯科技股份有限公司 投影画面中提取目标物体的方法、投影互动方法及其系统
US10521054B2 (en) 2014-12-25 2019-12-31 Sony Corporation Projection display unit
CN112791376A (zh) * 2021-01-28 2021-05-14 济南其石电子科技有限公司 一种电子棋盘控制器及电子棋盘的实现方法

Also Published As

Publication number Publication date
JP2005533463A (ja) 2005-11-04
AU2003238660A1 (en) 2004-01-19
US20040207732A1 (en) 2004-10-21
WO2004003656A2 (en) 2004-01-08
US20080309620A1 (en) 2008-12-18
WO2004003656A3 (en) 2004-06-24
US20040246338A1 (en) 2004-12-09
EP1540641A2 (en) 2005-06-15
US7417681B2 (en) 2008-08-26
CA2490292A1 (en) 2004-01-08
US7307661B2 (en) 2007-12-11

Similar Documents

Publication Publication Date Title
CN1666248A (zh) 多功能集成图像传感器以及在虚拟接口技术上的应用
CN1284073C (zh) 信息显示系统及其信息处理装置、指示装置和标记显示法
CN1149466C (zh) 位置探测装置和遥控装置
CN1204739C (zh) 摄像机控制装置和方法
CN1276338C (zh) 基底上形成或搁置的显示装置
CN101030013A (zh) 图像捕获装置
CN1200246C (zh) 图像处理装置及其辅助装置提供方法
CN1152296C (zh) 输入单元及其使用方法和输入系统
CN1774692A (zh) 触摸屏信号处理
CN1845064A (zh) 信息处理方法和设备
CN1469184A (zh) 自动聚焦装置及图像输入装置
CN1845002A (zh) 投影机用失真修正处理
CN1611189A (zh) 成像设备及方法、以及通信终端装置
CN1133314C (zh) 检测与控制图像阅读器的原位的方法
CN1584662A (zh) 虚像显示设备
CN1738441A (zh) 使用屏幕的一部分的边的梯形失真校正
CN1929561A (zh) 图像捕获设备和图像捕获方法
CN101034070A (zh) 表面状态的检查方法以及表面状态检查装置
CN1573283A (zh) 图像测量方法和图像测量装置
CN1968405A (zh) 广角或超广角全方位视觉监控方法和系统
CN1580849A (zh) 交换透镜、交换透镜系统、及照相机系统
CN101079945A (zh) 图像读取装置、mfp、以及原稿检测方法
CN1556938A (zh) 显示设备和显示方法
CN1828629A (zh) 用于光学读取附加到目标的信息的方法和设备
CN1716083A (zh) 电子像机和自动聚焦方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1082969

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1082969

Country of ref document: HK