CN101430868B - 显示及图像拾取设备,检测对象的对象检测程序和方法 - Google Patents

显示及图像拾取设备,检测对象的对象检测程序和方法 Download PDF

Info

Publication number
CN101430868B
CN101430868B CN2008101745393A CN200810174539A CN101430868B CN 101430868 B CN101430868 B CN 101430868B CN 2008101745393 A CN2008101745393 A CN 2008101745393A CN 200810174539 A CN200810174539 A CN 200810174539A CN 101430868 B CN101430868 B CN 101430868B
Authority
CN
China
Prior art keywords
image
demonstration
brightness
situation
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101745393A
Other languages
English (en)
Other versions
CN101430868A (zh
Inventor
原田勉
桥本信也
山口和范
建内满
津崎亮一
近千秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display West Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101430868A publication Critical patent/CN101430868A/zh
Application granted granted Critical
Publication of CN101430868B publication Critical patent/CN101430868B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0237—Switching ON and OFF the backlight within one frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

公开了显示及图像拾取设备，检测对象的对象检测程序和方法。显示及图像拾取设备包括：显示及图像拾取面板，其具有图像显示功能和图像拾取功能；图像产生部件，用于基于通过使用显示及图像拾取面板而获得的邻近对象的已拾取图像来产生预定的被处理图像；图像处理部件，用于基于已拾取图像和被处理图像中的至少一个，通过选择性地使用两个获得模式中的一个来获得关于该邻近对象的信息；以及切换部件，用于切换处理，使得在参数增大的情况下，当参数达到阈值时将两个获得模式中的一个获得模式切换至另一个获得模式，并且在参数减小的情况下，当参数达到较小的阈值时从该另一个获得模式切换至所述一个获得模式。

Description

显示及图像拾取设备,检测对象的对象检测程序和方法
相关申请的交叉引用
本发明包括涉及于2007年11月9日在日本专利局提交的日本专利申请JP 2007-291767的主题，该申请的完整内容通过引用合并于此。
技术领域
本发明涉及获得诸如接触面板或在面板邻近的对象的位置之类的信息的显示及图像拾取设备，以及为获得这种信息而检测对象的对象检测程序和方法。
背景技术
迄今为止，已经知道了检测接触显示器表面或显示器表面邻近的对象的位置等的多种方法。在它们之中，作为一典型和广泛流行的技术，包括接触面板的显示器。
目前存在各种类型的接触面板，但是作为通常使用的类型，引证检测电容的类型的接触面板。当手指接触该种类的接触面板时，接触面板捕获面板的表面电荷的变化以检测对象的位置等。因此，当使用这种接触面板时，用户可直观地操作接触面板。
此外，本发明的申请人在日本未审查专利申请公开号2004-127272中提出了包括具有显示图像的显示功能以及拾取对象的图像(检测对象)的图像拾取功能(检测功能)的显示部分(显示及图像拾取面板)的显示器。
发明内容
当使用日本未审查专利申请公开号2004-127272中描述的显示器，例如，在诸如手指之类的对象接触或是邻近显示及图像拾取面板的情况下，可以基于通过利用该对象所反射的显示光而拾取的图像来检测该对象的位置等。因此，当使用该显示器时，可使用简单的配置来检测对象的位置等，而无需将诸如接触面板之类的组件独立地排列在显示及图像拾取面板上。
然而，例如如上所述，在使用对象所反射的显示光的情况下，显示光的亮度是一问题。更确切地，所接收的光的亮度依赖于显示光的亮度，并且显示光的亮度根据图像数据而变化，因此例如在所谓的黑色显示状态(blackdisplay state)的情况下，在半透射液晶显示器中的背光源经常处于关断状态(例如，在露天中使用显示器的情况下)或诸如此类的情况下，难以基于已拾取的图像来检测对象的位置等。
因此，例如考虑到当根据使用条件来执行图像拾取模式和检测模式等之间的切换时，可使用适用于使用条件的模式，并且可以可靠地检测接触面板或在面板邻近的对象的位置等。
然而，在根据某些参数的大小来执行模式之间的切换的情况下，例如，当参数在用于切换的阈值附近波动时，将会频繁地执行图像拾取模式和检测模式之间的切换，因此，检测对象的位置等的操作变得不稳定。
考虑到前面所述，期望提供与使用条件无关的，能够稳定地检测对象的图像显示，以及检测对象的方法。
根据本发明的实施例，提供了显示及图像拾取设备，其包括：显示及图像拾取面板，其具有图像显示功能和图像拾取功能；图像产生部件，用于基于通过使用该显示及图像拾取面板而获得的邻近对象的已拾取图像来产生预定的被处理图像；图像处理部件，用于基于已拾取图像和被处理图像中的至少一个，通过选择性地使用两个获得模式中的一个来获得与该邻近对象的位置、形状及尺寸中的至少一个有关的信息；以及切换部件；在切换部件中，基于预定参数的大小来执行图像处理部件中的两个获得模式之间的切换处理，使得在参数增大的情况下，当该参数达到第一阈值时，将该两个获得模式中的一个获得模式切换至另一个获得模式，并且在该参数减小的情况下，当该参数达到小于该第一阈值的第二阈值时，将该另一个获得模式切换至所述一个获得模式。另外，“邻近对象”不仅意味着字面上的邻近对象，还意味着处于接触状态中的对象。
根据本发明的实施例，提供了对象检测程序，其导致计算机执行：图像拾取步骤，通过使用具有图像显示功能和图像拾取功能的显示及图像拾取面板来获得邻近对象的已拾取图像；图像产生步骤，基于图像拾取步骤中所获得的已拾取图像来产生预定的被处理图像；检测步骤，基于图像拾取步骤中所获得的已拾取图像和图像产生步骤中所获得的被处理图像中的至少一个，通过选择性地使用两个获得模式中的一个来检测与该邻近对象的位置、形状及尺寸中的至少一个有关的信息；以及切换步骤。在该切换步骤中，基于预定参数的大小来执行检测步骤中所使用的两个获得模式之间的切换处理，使得在该参数增大的情况下，当该参数达到第一阈值时，将该两个获得模式中的一个获得模式切换至另一个获得模式，并且在该参数减小的情况下，当该参数达到小于该第一阈值的第二阈值时，将该另一个获得模式切换至所述一个获得模式。
根据本发明的实施例，提供了检测对象的方法，其包括以下步骤：通过使用具有图像显示功能和图像拾取功能的显示及图像拾取面板来获得邻近对象的已拾取图像；基于已拾取图像来产生预定的被处理图像；基于已拾取图像和被处理图像中的至少一个，通过选择性地使用两个获得模式中的一个来检测与该邻近对象的位置、形状及尺寸中的至少一个有关的信息；以及基于预定参数的大小来执行该两个获得模式之间的切换处理，使得在参数增大的情况下，当该参数达到第一阈值时，将该两个获得模式中的一个获得模式切换至另一个获得模式，并且在该参数减小的情况下，当该参数达到小于该第一阈值的第二阈值时，将该另一个获得模式切换至所述一个获得模式。
在根据本发明的实施例的显示及图像拾取设备检测对象的对象检测程序和方法，通过使用具有图像显示功能和图像拾取功能的显示及图像拾取面板来获得邻近对象的已拾取图像，并且基于已拾取的图像来产生预定的被处理图像。然后，基于已拾取图像和被处理图像中的至少一个，通过选择性地使用两个获得模式中的一个来检测与该邻近对象的位置、形状及尺寸中的至少一个有关的信息。此外，基于预定参数的大小来执行两个获得模式之间的切换处理。在这种情况下，在参数增大的情况下，当该参数达到第一阈值时，将该两个获得模式中的一个获得模式切换至另一个获得模式，并且在该参数减小的情况下，当该参数达到小于该第一阈值的第二阈值时，将该另一个获得模式切换至所述一个获得模式。换句话说，通过使用滞后效应来执行两个获得模式之间的切换处理。从而，例如，即使参数在第一阈值或第二阈值附近波动的情况下，也可防止随着参数的每一波动来执行两个获取模式之间切换处理，从而防止了获得模式之间的高频切换。
在根据发明的实施例中的显示及图像拾取设备中，该已拾取图像可以是通过使用显示及图像拾取面板来拾取邻近对象的阴影的图像而获得的阴影图像，该被处理图像可以是通过执行利用显示光图像(display-light-utilized image)和该阴影图像之间的差分处理而获得的差分图像，该利用显示光图像是通过使用来自显示及图像拾取面板的显示光，由显示及图像拾取面板拾取该邻近对象的图像而获得。此外，“阴影图像”是由通过外部光拾取阴影的图像所获得的图像，并且意味着在不利用显示光的情况下所获得的图像。
在根据本发明的实施例的显示及图像拾取设备检测对象的对象检测程序或方法中，基于预定参数的大小来执行两个获得模式之间的切换处理，并且在参数增大的情况下，当该参数达到第一阈值时，将该两个获得模式中的一个获得模式切换至另一个模式，而在该参数减小的情况下，当该参数达到小于该第一阈值的第二阈值时，将该另一个获得模式切换至所述一个获得模式；从而，例如，即使参数在第一阈值或第二阈值附近波动的情况下，也可防止获得模式之间的高频切换。所以，无论任何使用条件，都可稳定地检测对象。
以下描述将会更完整地呈现本发明的其它和进一步的目的、特征及优点。
附图说明
图1是示出根据本发明的第一实施例的显示及图像拾取设备的配置的方框图；
图2是示出图1中所示的I/O显示面板的配置例子的方框图；
图3是示出每个像素的配置例子的电路图；
图4是用于描述每个像素和传感器读出H驱动器(sensor readout Hdriver)之间的连接关系的电路图；
图5是用于描述背光源(backlight)的开关状态和显示状态之间的关系的时序图；
图6是示出根据第一实施例的指尖(fingertip)提取处理的流程图；
图7是用于描述图6中所示的每个提取处理的时序图；
图8是示出图7中所示的差分图像指尖提取处理的细节的流程图；
图9是用于描述差分图像指尖提取处理的影印图；
图10A和10B是用于描述在明亮的外部光的情况下的差分图像指尖提取处理的图解；
图11A和11B是用于描述在黑暗的外部光的情况下的差分图像指尖提取处理的图解；
图12A和12B是用于通过差分图像指尖提取处理来描述光接收信号的动态范围的图解；
图13A至13D是用于描述同时存在多个待检测的指尖时的情况下的差分图像指尖提取处理的影印图；
图14是示出图7中所示的阴影图像指尖提取处理的细节的流程图；
图15是用于描述阴影图像指尖提取处理的构思的透视图；
图16是示出阴影图像指尖提取处理的已拾取图像的例子的示意图；
图17是用于描述阴影图像指尖提取处理的影印图；
图18是用于通过阴影图像指尖提取处理来描述光接收信号的图解；
图19A和19B是用于描述移动平均图像产生处理的图解；
图20是用于描述移动平均图像产生处理的图解；
图21是用于描述移动平均图像产生处理的图解；
图22是用于描述差分图像指尖提取处理和阴影图像指尖提取处理之间的比较的图解；
图23是用于根据比较例来描述提取处理之间的切换处理的图解；
图24A和24B是用于根据第一实施例来描述提取处理之间的切换处理的图解；
图25是用于描述检测图24A中所示的环境光的亮度的方法的例子的影印图；
图26是示出根据本发明的第二实施例的指尖提取处理的流程图；
图27是用于描述图26中所示的图像合成处理的影印图；
图28是用于根据比较例来描述系数组合之间的切换处理的图解；
图29是用于根据第二实施例来描述系数组合之间的切换处理的图解；
图30A和30B是示出系数组合的例子的影印图；
图31A和31B是示出系数组合的另一个例子的影印图；
图32A和32B是用于使用指尖提取处理的结果来描述应用的例子的图解；
图33是用于使用指尖提取处理的结果来描述应用的例子的图解；
图34是用于使用指尖提取处理的结果来描述应用的例子的图解；
图35是用于使用指尖提取处理的结果来描述应用的例子的图解；
图36A和36B是用于根据本发明的修改来描述移动平均图像产生处理的图解；
图37A和37B是用于根据本发明的修改来描述移动平均图像产生处理的图解；
图38是示出根据本发明的修改的显示及图像拾取设备的配置的方框图；以及
图39是示出图38中所示的显示及图像拾取设备中的每个像素的配置例子的电路图。
具体实施方式
下面将结合附图详细描述优选实施例。
第一实施例
图1示出根据本发明的第一实施例的显示及图像拾取设备(display-and-image-pickup apparatus)的整体配置。显示及图像拾取设备包括I/O显示面板20、背光源15、显示驱动电路12、光接收驱动电路13、图像处理部分14以及应用程序执行部分11。
I/O显示面板20由液晶面板(LCD(液晶显示器))配置，在该液晶面板中，在其整个表面之上以矩阵形式排列多个像素，并且I/O显示面板20具有在执行线顺序(line-sequential)操作的同时基于显示数据来显示诸如预定符号或字符之类的图像的功能(显示功能)，以及像将于稍后描述那样具有拾取接触I/O显示面板20或在I/O显示面板20邻近的对象的图像的功能(图像拾取功能)。此外，背光源15是I/O显示面板20的光源，并且如稍后描述，其通过例如排列多个发光二极管而形成，背光源15与I/O显示面板20的操作时序同步地以预定时间高速地执行开关操作。
显示驱动电路12是驱动I/O显示面板20(驱动线顺序操作)以使得基于显示数据来在I/O显示面板20上显示图像(以执行显示操作)的电路。
光接收驱动电路13是驱动I/O显示面板20(驱动线顺序操作)以使得获得I/O显示面板20中的光接收数据(以拾取对象的图像)的电路。每个像素中的光接收数据均在逐帧的基础上存储在帧存储器13A中，以作为已拾取图像而被输出至图像处理部分14。
图像处理部分14基于从光接收驱动电路13中所输出的已拾取图像来执行预定的图像处理(运算处理)，并且检测及获得与接触I/O显示面板20或在I/O显示面板20邻近的对象有关的信息(该对象的位置坐标数据、与形状或尺寸有关的数据等)。稍后将详细描述检测信息的处理。
应用程序执行部分11基于图像处理部分14的检测结果，根据预定应用软件来执行处理，并且作为应用程序执行部分11，引证例如，允许在显示数据中包括和在I/O显示面板20上显示已检测对象的位置坐标的部分等。应用程序执行部分11中所产生的显示数据被提供至显示驱动电路12。
接下来，下面将参考图2描述I/O显示面板20的具体配置例子。I/O显示面板20包括显示区域(传感器区域)21、显示器H驱动器22、显示器V驱动器23、传感器读出H驱动器25以及传感器V驱动器24。
显示区域(传感器区域)21是将来自背光源15的光进行调制以将其作为显示光发射、并且拾取接触该区域或在该区域邻近的对象的图像的部位，并且在显示区域21中，以矩阵形式排列作为光发射器件(显示器件)和光接收器件(图像拾取器件)(其将在稍后描述)的液晶器件。
显示器H驱动器22与显示器V驱动器23一起基于用于显示驱动的显示信号以及显示驱动电路12所提供的控制时钟来以线为顺序驱动显示区域21中的每一个像素的液晶器件。
传感器读出H驱动器25与传感器V驱动器24一起以线为顺序驱动显示区域21中的每一个像素的光接收器件以获得光接收信号。
接下来，下面将参考图3，描述显示区域21中的每个像素的具体配置例子。图3中所示的像素31包括作为显示器件和光接收器件的液晶器件。
更具体地，由薄膜晶体管(TFT)等配置的开关器件31a排列在显示器件侧面上在水平方向延伸的栅极电极31h和在垂直方向延伸的漏极电极31i的交叉点处，并且包括液晶的像素电极31b排列在开关器件31a和相对电极(facing electrode)之间。然后，开关器件31a基于通过门极电极31h所提供的驱动信号来执行开关操作，并且在导通状态中，基于通过漏极31i所提供的显示信号来将像素电压施加给像素电极31b以设置显示状态。
另一方面，例如光电二极管等配置的光接收传感器31c例如排列在邻近显示器件的光接收器件侧上，并且将电源电压VDD提供给光接收传感器31c。此外，复位开关31d和电容器31e连接至光接收传感器31c，当通过复位开关31d来复位光接收传感器31c时，对应于光接收量的电荷积累在电容器31e中。然后，当读出开关31g导通的时候，通过缓冲放大器31f将该积累的电荷提供给信号输出电极31j，然后，将所积累的电荷输出至外面。此外，通过复位电极31k所提供的信号来控制复位开关31d的开关操作，并且通过读出控制电极31m所提供的信号来控制读出开关31g。
接下来，下面参考图4，描述显示区域21中的每个像素和传感器读出H驱动器25之间的连接关系。红色(R)像素31、绿色(G)像素32和蓝色(B)像素33依次排列在显示区域21中。
当读出开关31g、32g和33g中的每一个均导通的时候，连接至像素的光接收传感器31c、32c和33c中的每一个的电容中所积累的电荷经缓冲放大器31f、32f和33f中的每一个放大后通过每一个信号输出电极而提供至传感器读出H驱动器25。此外，恒流源41a、41b和41c中的每一个都连接至各个信号输出电极，使得在传感器读出H驱动器25中高灵敏度地检测对应于光接收量的信号。
接下来，下面将描述根据实施例的显示及图像拾取设备的操作。
首先，下面将描述显示及图像拾取设备的基本操作，即：显示图像的操作和拾取对象的图像的操作。
在显示及图像拾取设备中，基于应用程序执行部分11所提供的显示数据，在显示驱动电路12中产生显示驱动信号，并且通过驱动信号在I/O显示面板20上执行线顺序显示驱动以显示图像。此外，显示驱动电路12在该时刻驱动背光源15以与I/O显示面板20同步地执行光的开/关操作。
在此，下面将参考图5描述背光源15的开关状态与I/O显示面板20的显示状态之间的关系。
首先，例如，在以1/60秒的帧周期显示图像的情况下，在每个帧周期的前半周期(在1/120秒期间)中关断背光源15(转为关断状态)，而不执行显示。另一方面，在每个帧周期的后半周期中导通背光源15(转为导通状态)，在该帧周期内将显示信号提供给每个像素以显示图像。
因此，每个帧周期的前半周期是不从I/O显示面板20发射显示光的非发光周期(non-lighting period)，而每个帧周期的后半周期是I/O显示面板20发射显示光的发光周期(lighting period)。
在有接触或邻近I/O显示面板20的对象(例如，指尖等)的情况下，通过光接收驱动电路13的线顺序光接收驱动，I/O显示面板20中的每个像素的光接收器件拾取该对象的图像，并且将来自每个光接收器件的光接收信号提供给光接收驱动电路13。用于1帧的像素的光接收信号存储在光接收驱动电路13中，并且作为已拾取图像而输出至图像处理部分14。
然后，在图像处理部分14中，基于已拾取的图像来执行预定的图像处理(运算处理)(其将于稍后描述)，从而检测到与接触或邻近I/O显示面板20的对象有关的信息(位置坐标数据、与该对象的形状或尺寸有关的数据等)。
接下来，下面参考图6至22，详细描述作为本发明的特征部分之一，通过图像处理部分14提取诸如指尖之类的接触或邻近I/O显示面板20的对象(邻近对象)的处理(指尖提取处理)。图6示出图像处理部分14的指尖提取处理的流程图，图7示出部分指尖提取处理的时序图。
首先，在作为一个帧显示周期的前半周期的、背光源15关断的周期(非发光周期)，I/O显示面板20执行拾取邻近对象的图像的处理以获得图像A(阴影图像)(图6中的步骤S11，参考图7)。
接下来，在作为一个帧显示周期的后半周期的、背光源导通的周期(发光周期)，I/O显示面板20执行拾取邻近对象的图像的处理以获得图像B(利用显示光图像)(参考图7)。然后，图像处理部分14基于图像B和图像A之间的差分图像C来执行指尖提取处理(差分图像指尖提取处理)(步骤S12)。
此外，在差分图像指尖提取处理的同时，图像处理部分14基于图像A(阴影图像)来执行指尖提取处理(阴影图像指尖提取处理)(步骤S13，参考图7)。
接下来，图像处理部分14基于预定参数的大小(其将于稍后描述)来确定是否要使用步骤S12中的差分图像指尖提取处理的提取结果(其是从差分图像提取处理中的提取结果中所选择的)和步骤S13中的阴影图像指尖提取处理的提取结果(步骤S14)。在图像处理部分14基于预定参数的大小而确定要使用差分图像指尖提取处理的提取结果的情况下(步骤S14：Y)，图像处理部分14使用差分图像指尖提取处理的提取结果(步骤S15)，并将最终结果输出至应用程序提取部分11(步骤S17)。
另一方面，在图像处理部分14基于预定参数的大小而确定不使用差分图像指尖提取处理的提取结果的情况下(步骤S14：N)，图像处理部分14使用阴影图像指尖提取处理的提取结果(步骤S16)，并将最终结果输出至应用程序提取部分11(步骤S17)。
之后，图像处理部分14确定是否完成图像处理部分14的整个指尖提取处理(步骤S18)，在图像处理部分14确定尚未完成指尖提取处理的情况下(步骤S18：N)，重复步骤S11至S17的处理，另一方面，在图像处理部分14确定要完成指尖提取处理的情况下(步骤S18：Y)，终止指尖提取处理。
因此，当基于预定参数的大小(将在稍后描述)来使用差分图像指尖提取处理和阴影图像指尖提取处理中的一种的提取结果之时，将在这两个指尖提取处理之间执行切换处理。
接下来，下面将详细描述差分图像指尖提取处理和阴影图像指尖提取处理。
首先，将在下面参考图8至13A、13B、13C和13D，详细描述差分图像指尖提取处理。图8示出差分图像指尖提取处理的细节的流程图。
首先，如上所述，在作为一个帧显示周期的后半周期的、背光源15导通的周期(发光周期)，I/O显示面板20执行拾取邻近对象的图像的处理以获得图像B(利用显示光图像)(图8中的步骤S121，参考图7)。
接下来，图像处理部分14产生图像B与图像A(阴影图像)(通过背光源15关断周期(非发光周期)的图像拾取而获得)之间的差分图像C(步骤S122)。
然后，图像处理部分14执行确定所产生的差分图像C的质心的运算处理(步骤S123)，以确定接触(邻近)中心(步骤S124)。
因此，在差分图像指尖提取处理中，基于图像B(其通过使用显示光而获得)和图像A(其通过外部光(环境光)而非显示光的使用)而获得)之间的差分图像C来执行指尖提取处理，因此如图9中所示的差分图像C的影印图像例子中所示，消除了外部光的亮度的影响，并且在没有外部光的亮度的影响的情况下检测了邻近对象。
更具体地，例如如图10A中的剖面图中所示，在入射的外部光很强烈的情况下，在背光源15导通的状态中，光接收输出电压Von1在除了手指接触的点之外的点处具有与外部光的亮度相对应的电压值Va，如图10B中所示，并且在手指接触的点处，光接收输出电压Von1减小至与此时来自背光源的光在对象(手指)接触的表面上所反射的反射率相对应的电压值Vb。另一方面，在背光源15关断的状态中，如同在背光源15导通的状态中的情况下，光接收输出电压Voff1在除了手指接触的点之外的点处具有与外部光的亮度相对应的电压值Va；然而，手指接触的点处于外部光被阻挡的状态中，因此光接收输出电压Voff1在该点具有处于很低电平的电压值Vc。
此外，如图11A中的剖面图中所示，在入射的外部光很弱(很少)的情况下，如图11B中所示，因为外部光很少，因此在背光源15导通的状态中，光接收输出电压Von2在除了手指接触的点之外的点处具有处于很低电平的电压值Vc，而在手指接触的点处，光接收输出电压Von2增加至与所反射的来自背光源的光的反射率相对应的电压值Vb。另一方面，在背光源15关断的状态中，光接收输出电压Von2在手指接触的点以及其它点处均保持在处于很低电平且未变化的电压值Vc。
因此，如从图10A、10B、11A、11B之间的比较中可以看到的那样，在对象未接触面板的显示区域21的点处，在存在外部光的情况与不存在外部光的情况之间的光接收输出电压具有很大的差异。然而，在手指接触的点处，无论外部光存在或不存在，当背光源导通时的电压Vb以及当背光源关断时的电压Vc都基本处于相同的状态中。
所以，当检测到背光源15导通时的电压与背光源15关断时的电压之间有差异，那么将电压之间存在特定或较大差异(如电压Vb和电压Vc之间的差异)的点确定为手指接触或靠近的点，并且即使在进入面板的外部光很强烈的情况下，或具有很少的外部光的情况下，在一致的条件下也能很好地检测接触或是靠近面板的对象。
此外，如图12A和12B中所示，下面描述检测光接收输出电压所需的动态范围。图12A示出面板的显示区域21的接触状态，其中手指f接触面板表面，并且在显示区域21上放置具有近似100％的反射率的圆形对象m。在该状态中，在其中将手指f和对象m两者均被扫描的线上的光接收输出电压转变为图12B中所示的状态。此外，在图12B中，电压Von3是背光源导通的状态中的光接收输出电压，电压Voff3是背光源关断的状态中的光接收输出电压。
如图12B中所示，在放置具有近似100％的反射率的对象m的点处，比背光源导通时检测到的电压更高的电压处有不需要被观测的电平Vy，而等于或低于电平Vy的范围Vx是需要检测的动态范围。因此，应该理解，可以溢出无需观测的电平Vy的信号以被考虑为相同电平。
此外，如图13A至13D中所示的图像(图像A至C以及图像C的二进制图像)所示，在差分图像指尖提取处理中，还同时获得了与I/O显示面板20的显示区域21上所放置的多个接触或邻近对象有关的信息，诸如每个对象的位置、形状、尺寸等。
接下来将参考图14至21，详细描述阴影图像指尖提取处理。图14示出阴影图像指尖提取处理的细节的流程图，图15示出阴影图像指尖提取处理中的状态的透视图。
首先，图像处理部分14产生已获得的图像A(阴影图像)的反转图像(-A)(步骤S131)。此外，图像处理部分14产生原始图像A的移动平均图像MA(步骤S132)。
更具体地，为了产生移动平均图像MA，例如参考图19A和19B，在图像A中，在包括一个标记像素30A及其周围像素的像素区域30中(在此例中是一(2a+1)像素×(2a+1)像素的像素区域)执行像素数据的平均运算处理，例如如图20B中所示，当运算结果反映在包括相邻标记像素的像素区域中的平均运算处理中时，标记像素被顺序地移动以在整个所拾取的图像上执行平均运算处理。此外，期望基于待检测的对象的预期尺寸(目标尺寸a)(例如，将像素区域50的尺寸设置为等效于目标尺寸a)来设置平均运算处理中的像素区域50的尺寸(在此例中，(2a+1)像素×(2a+1)像素)。虽然将在稍后描述该细节，但是由于像素区域50具有例如不同于图16中所示的图像20A(对应于稍后描述的图像D或图像E)这样的尺寸，因此作为邻近对象，除了手指之外，还防止检测到拳头部分(由标号60A所指示的部分)。进一步，例如如图21中所示，例如，可以按照其原样来复制像素区域50的周围部分的像素数据，并且可以使用其作为平均运算处理中所必需的实际像素区域50附近的区域51的像素数据。
接下来，图像处理部分14通过计算来从移动平均图像MA中确定后续步骤(S136)中所使用的预定阈值TH(步骤S133)，更具体地，基于移动平均图像MA中的最亮像素的像素数据(具有最大像素数据)和原始图像A中的最暗像素的像素数据(具有最小像素数据)来确定阈值TH(例如，通过计算这些像素数据的平均值)。此外，假设在正常情况下邻近对象不同时置于显示区域21的四个角上，可以将四个角上的像素的像素数据的平均值分配为最亮像素的像素数据(具有最大像素数据)。
接下来，图像处理部分14产生已产生的移动平均图像MA的反转图像(-MA)(步骤S134)，并产生原始图像A的反转图像(-A)与移动平均图像MA的反转图像(-MA)之间的差分图像，即，移动平均图像MA和原始图像A之间的差分图像D＝(-A)-(-MA)＝MA-A(步骤S136)。然后，图像处理部分14通过从图像D的每个像素数据中减去步骤S133中所计算的阈值TH来产生图像E＝D-TH(步骤S136)。
如图17中的图像D和E以及图18中的图像D和E中的光接收输出电压波形例子Gd和Ge所示，当仅检测具有等效于目标尺寸的尺寸的指尖部分时，不检测大于指尖部分的拳头部分。此外，图18中所示的光接收输出电压波形例子Ga、G(-a)、Gma和G(-ma)分别对应于原始图像A、原始图像A的反转图像(-A)、移动平均图像MA以及移动平均图像MA的反转图像(-MA)中的光接收输出电压波形例子。
接下来，如同在上述差分图像指尖提取处理的情况下那样，图像处理部分14基于图像E来执行质心计算处理(步骤S137)和接触(邻近)中心确定处理(步骤S138)。
因此，在阴影图像指尖提取处理中，基于通过使用外部光所拾取的图像A的移动平均图像MA和原始图像A之间的差分图像D来执行指尖提取处理。因此如上面所描述，仅检测具有等效于目标尺寸的尺寸的对象，并且即使在不发射显示光的情况下(例如在背光源15通常是关断的情况下，诸如作为显示器件的液晶器件是半透明液晶器件且露天使用的情况下，在I/O显示面板20上显示黑色图像的情况下等)，也可检测到邻近对象。
此外，如同在差分图像指尖提取处理的情况下，阴影图像指尖提取处理中还可同时获得与I/O显示面板20的显示区域21上所放置的多个接触或邻近对象有关的信息，诸如每个对象的位置、形状、尺寸等。
因此，使用上述的差分图像指尖提取处理和上述阴影图像提取处理之一的邻近对象的检测结果作为最终结果，以将其从图像处理部分14输出至应用程序执行部分11。
图22通过比较示出了阴影指尖提取处理和差分图像指尖提取处理的指尖提取处理的特性。在图中，圆形符号表示适用于对应情况下的指尖提取处理，三角符号表示是否适用于对应情况下的指尖提取处理依赖于环境，叉号表示原则上不适用于对应情况下的指尖提取处理。如图中所示，在明亮环境中，差分图像指尖提取处理更适合于指尖提取处理，因此认为使用了差分图像指尖提取处理的提取结果，另一方面，在背光源15关断且不发射显示光，或是在黑暗显示状态的情况下，指尖提取处理可以不执行提取，因此在这种情况下，认为使用了阴影图像指尖提取处理的提取结果。
接下来，参考图23至25，以与比较例相比较的方式来描述作为本发明的特征部分之一的差分图像指尖提取处理和阴影图像指尖提取处理之间的切换处理。
首先，在图23中所示的比较例中，依据切换参数是否大于预定切换阈值TH101来基于预定切换参数(例如，稍后将描述的环境光的亮度或显示亮度)的量级执行差分图像指尖提取处理和阴影图像指尖提取处理之间的切换处理。更具体地，当切换参数等于或小于切换阈值Th101时，使用差分图像指尖提取处理的提取结果，而另一方面，当切换参数大于切换阈值Th101时，使用阴影图像指尖提取处理的提取结果。然而，例如如图中的箭头P101所示，当切换参数在切换阈值Th101的附近波动时，如图中箭头P102所示，将会频繁地在执行差分图像指尖提取处理和阴影图像指尖提取处理之间切换。然后，当如此高频地在执行指尖提取处理之间切换时，检测邻近对象的位置等的操作变得不稳定。
另一方面，在实施例中，在预定参数正在增大的情况下，当参数达到第一切换阈值时，执行从两个指尖提取处理中的一个指尖提取处理到另一个指尖提取处理的切换处理，另一方面，在参数正在减小的情况下，当参数达到小于第一阈值的第二切换阈值时，执行另一个指尖提取处理到所述一个指尖提取处理的切换处理。换句话说，通过使用滞后效应(hysteresis)来执行两个指尖提取处理之间的切换处理。
更具体地，例如如图24A中所示，在使用环境光(外部光)的亮度作为预定参数的情况下，基于环境光的亮度来执行阴影指尖提取处理和差分指尖提取处理之间的切换处理，并且在环境光的亮度增大的情况下，当环境光的亮度达到第一亮度阈值Th11时，执行从差分图像指尖提取处理到阴影图像指尖提取处理的切换处理，而另一方面，在环境光的亮度减小的情况下，当环境光的亮度达到小于第一亮度阈值Th11的第二亮度阈值Th12时，执行从阴影图像指尖提取处理到差分图像指尖提取处理的切换处理。
另外，可使用上述阴影图像的移动平均图像(MA)来测量环境光的亮度。更具体地，例如如图25中所示，使用具有移动平均图像(MA)的最大亮度的部分(图中由标号P3所指示的部分)作为指示周围环境的明亮度(环境光的亮度值)。当以这种方式使用移动平均图像时，I/O显示面板20的光接收传感器输出中的偏差的影响变得可忽略。
此外，例如如图24B中所示，在使用I/O显示面板20的显示亮度作为预定参数的情况下，基于该显示亮度来执行阴影图像指尖提取处理和差分图像指尖提取处理之间的切换处理，并且在显示亮度正在增大的情况下，当显示亮度达到第一亮度阈值Th21时，执行从阴影图像指尖提取处理到差分图像指尖提取处理的切换处理，而另一方面，在显示亮度正在下降的情况下，当显示亮度达到小于第一亮度阈值Th21的第二亮度阈值Th22时，执行从差分图像指尖提取处理到阴影图像指尖提取处理的切换处理。
所以，例如如图24A和24B中的箭头P11、P12、P21及P22所示，即使当环境光的亮度或显示亮度在阈值Th11、Th12、Th21或Th22附近波动的情况下，也可防止随着环境光的亮度或显示亮度的每一波动来执行两个指尖提取处理之间的切换处理，因而防止了如在比较例中的那种频繁地在指尖提取处理之间的切换。
如上所述，在该实施例中，基于预定参数的大小来执行两个指尖提取处理之间的切换处理，并且在参数正在增大的情况下，当参数达到第一阈值时，执行从两个指尖提取处理中的一个指尖提取处理到另一个指尖提取处理的切换处理，而另一方面，在参数减小的情况下，当参数达到小于第一阈值的第二切换阈值时，执行另一个指尖提取处理到所述一个指尖提取处理的切换处理；因而，例如，即使当参数在第一阈值或第二阈值附近波动的情况下，也可防止指尖提取处理之间的高频切换。所以，无论任何使用条件都可稳定地检测对象。
此外，基于图像A来产生移动平均图像MA，基于移动平均图像MA和原始图像A之间的差分图像D来检测对象，通过从差分图像D的每个像素数据中减去阈值TH来获得图像E，并且将平均运算处理中的像素区域50的尺寸设置为等价于待检测的对象的预期尺寸(目标尺寸)，因而，防止了检测大于指尖的拳头部分，因此更可靠地执行检测处理。
进一步，在一个操作周期(一个帧显示周期)中，在获得图像B(利用显示光图像)之前获得图像A(阴影图像)；因而，例如如图7中所示，在执行差分图像指尖提取处理之前，执行移动平均图像MA的运算操作的时间(其会花费一些时间)是可保障的，并且与在获得图像A之前来获得图像B的情况相比较，花更短的时间来执行整个处理。
第二实施例
接下来，下面将描述本发明的第二实施例。根据本实施例的显示及图像拾取设备执行任何情况中的差分图像指尖提取处理和阴影指尖提取处理，并且通过使用来自图像A(阴影图像)和差分图像C的合成图像来执行指尖提取处理。此外，合成“来自阴影图像和差分图像的合成图像”时的加权系数(稍后将描述的α和β)的多个组合是可记录的。另外，其它配置和操作与第一实施例中的那些相同，将不进一步描述。
图26示出根据实施例的指尖提取处理的流程图。如图中所示，当如同第一实施例的情况下获得图像A(阴影图像)时(步骤S21)，将分别执行除了质心计算处理和接触(邻近)中心确定处理之外的差分图像指尖提取处理和阴影图像指尖提取处理(步骤S22和S23)。
接下来，图像处理部分14基于预定参数(例如，环境光的亮度)的大小(其将在稍后描述)来确定是否要使用来自稍后所描述的组合(加权系数α和β的组合)A(其来自步骤S12中的差分图像指尖提取处理中所获得的差分图像C和步骤S13中的阴影图像指尖提取处理中所获得的阴影图像A(更确切地，基于阴影图像A的图像E))的合成图像作为合成图像F(步骤S24)。在图像处理部分14基于预定参数的大小而确定要使用来自组合A的合成图像的情况下(步骤S24：Y)，图像处理部分14使用合成图像(步骤S25)。另一方面，在图像处理部分14确定不使用来自组合A的合成图像的情况下(步骤S24：N)，图像处理部分14使用来自组合B的合成图像(其将在稍后描述)(步骤S26)。
接下来，例如如图27中所示，从差分指尖提取处理所产生的差分图像C和阴影指尖提取处理所产生的图像E来产生合成图像F＝α×C+β×E(步骤S27)。另外，α和β分别表示差分图像C和图像E的加权系数，并且准备了加权系数α和β的多个组合(例如，α、β＝1/2、1、2、4、8等)。
此后，如同第一实施例的情况下那样，图像处理部分14执行质心计算处理(步骤S28)，执行接触(邻近)中心确定处理(步骤S29)和最终结果输出处理(步骤S30)，并且由图像处理部分14确定是否要完成指尖提取处理(步骤S31)。然后，在确定尚未完成指尖提取处理的情况下(步骤S31：N)，重复步骤S21至S30的处理，而另一方面，在确定要完成指尖提取处理的情况下(步骤S31：Y)，终止指尖提取处理。
因此，当基于预定参数的量级(其将于稍后描述)来使用从作为图像合成中的加权系数α和β的不同组合之一的两个组合A和B所合成的合成图像F时，执行使用来自这两个组合A和B的合成图像F的指尖提取处理之间的切换处理。
接下来，将参考图28至31A和31B，以与比较例相比较的方式描述作为本发明的特征部分之一的、使用来自两个组合A和B的合成图像F的指尖提取处理之间的切换处理。
首先，在图28中所示的比较例中，基于预定切换参数(例如环境光的亮度，其将于稍后描述)的大小，依据切换参数是否大于预定切换阈值Th201来执行使用来自组合A的合成图像F的指尖提取处理与来自组合B的合成图像F的指尖提取处理之间的切换处理。更具体地，当切换参数等于或小于切换阈值Th201时，使用利用来自组合B的合成图像F的指尖提取处理，当切换参数大于切换阈值Th201时，使用利用来自组合A的合成图像F的指尖提取处理。然而，例如如图中的箭头P201所示，当切换参数在切换阈值Th201附近波动时，如图中的箭头P202所示，将频繁地执行使用来自组合A的合成图像F的指尖提取处理与使用来自组合B的合成图像F的指尖提取处理之间的切换。于是，当以如此高频地执行指尖提取处理之间的切换时，检测邻近对象的位置等的操作变得不稳定。
另一方面，在该实施例中，在预定参数正在增大的情况下，当参数达到第一切换阈值时，将执行从使用来自组合A和B之一的合成图像的指尖提取处理至使用来自另一个组合的合成图像的指尖提取处理的切换处理，而另一方面，在预定参数正在减小的情况下，当参数达到小于第一切换阈值的第二切换阈值时，将执行从使用来自组合A和B中的另一个组合的合成图像的指尖提取处理至使用来自所述一个组合的合成图像的指尖提取处理的切换处理。换句话说，通过滞后效应的使用来执行使用来自两个组合A和B的合成图像的指尖提取处理之间的切换处理。
更具体地，例如如图29中所示，在使用环境光(外部光)的亮度作为预定参数的情况下，基于环境光的亮度来执行使用来自两个组合A和B的合成图像的指尖提取处理之间的切换处理，并且在环境光的亮度正在增大的情况下，当环境光的亮度达到第一亮度阈值Th31时，执行从使用来自组合B的合成图像的指尖提取处理至使用来自组合A的合成图像的指尖提取处理的切换处理，而另一方面，在环境光的亮度正在减小的情况下，当环境光的亮度达到小于第一亮度阈值Th31的第二亮度阈值Th32时，执行从使用来自组合A的合成图像的指尖提取处理至使用来自组合B的合成图像的指尖提取处理的切换处理。
因而，例如如图29中的箭头P31和P32所示，即使环境光的亮度在阈值Th31或Th32附近波动的情况下，也可防止随着环境光的亮度的每一波动来执行使用来自两个组合A和B的合成图像的指尖提取处理之间的切换处理，因此如同在第一实施例的情况下那样，防止了如在比较例中那样在指尖提取处理之间高频地切换。
在这种情况下，如同使用来自组合A和B的合成图像的指尖提取处理(其将于稍后描述)，结合图30A、30B、31A和31B，依据将把差分图像C和基于阴影图像A的图像E的加权系数中的哪一个设置为更大(把加权系数α和β中的哪一个设置为更大)，来考虑两个例子。
首先，作为两个例子中的一个，例如如图30A和30B中所示，在来自组合A1的合成图像F1a中，差分图像C的加权系数α小于阴影检测所产生的图像E的加权系数β(例如，α＝1/2，β＝2)，在来自组合B1的合成图像F1b中，差分图像C的加权系数大于阴影检测所产生的图像E的加权系数β(例如，α＝4，β＝1/2)。在这种配置中，当在暗环境中主要使用差分图像C的值时，防止了暗电流(dark-current)噪声，而另一方面，当在亮环境中主要使用基于阴影图像A的图像E的值时，防止了图30B中的箭头P4所示的差分边缘(differential edge)。因此，由于用于周围环境的更合适的图像处理是可能的，所以该配置例子主要在I/O显示面板20中对于光的灵敏度很低等情况下是令人满意的。换句话说，该例子配置为使得更高灵敏度地使用输出，并且防止噪声输出。另外，在强烈的外部光下的差分图像指尖提取处理中，目标对象高速地移动等情况下，通过拾取图像A和B之间的时间差以及外部光的影响而发生上述差分边缘(混淆现象)。
此外，作为另一个例子，例如如图31A和31B中所示，在来自组合A2的合成图像F2a中，差分图像C的加权系数α大于阴影检测所产生的图像E的加权系数β(例如，α＝4，β＝1)，而另一方面，在来自组合B2的合成图像F2b中，差分图像C的加权系数α小于阴影检测所产生的图像E的加权系数β(例如，α＝1，β＝4)。换句话说，该系数α和β的组合与图30A和30B中所示的加权系数α和β的组合是相对的。由于在I/O显示面板20的输出的S/N(信噪比)为高、或是依赖于应用的种类的情况下，将相对于亮度反转组合率的量值相关性(magnitude correlation)是有效的。在这种配置中，通过将具有更低灵敏度的处理结果乘以高放大倍率(增大加权系数)，以平衡的方式使用来自阴影图像指尖提取处理和差分图像指尖提取处理两者的处理结果，因此能够获得更稳定的输出。此外，在后处理中，很容易在固定阈值处辨别手指。然而，即使在暗周围环境的情况下，减小I/O显示面板20的输出的噪声也是必需的，并且单独防止上述差分边缘的出现也是必需的。
如上所述，在该实施例中，基于预定参数的大小来执行使用来自组合A和B的合成图像的指尖提取处理之间的切换处理，在预定参数正在增大的情况下，当参数达到第一切换阈值时，执行从使用来自组合A和B之一的合成图像的指尖提取处理至使用来自另一个组合的合成图像的指尖提取处理的切换，并且在参数正在减小的情况下，当参数达到小于第一切换阈值的第二切换阈值时，执行从使用来自另一个组合的合成图像的指尖提取处理至使用来自所述一个组合的合成图像的指尖提取处理的切换处理，因此如同在第一实施例中的情况下，例如，即使参数在第一阈值或第二阈值的附近波动的情况下，也可防止指尖提取处理之间的高频切换。所以，无论任何使用条件都可稳定地检测对象。
应用程序的执行例子
接下来，参考图32A和32B至35，下面将描述应用程序执行部分11使用上述指尖提取处理所检测的对象位置信息等的应用程序的一些实施例子。
首先，图32A中所示的例子是当指尖61接触I/O显示面板20的表面时，指尖61所接触之处的点的轨迹在屏幕上显示为绘图线611的例子。
此外，图32B中所示的例子是使用手的形状的手势识别。更确切地，识别出接触(靠近)I/O显示面板20的手62的形状，并且将所识别出的手的形状显示为图像，通过所显示对象的运动621来在图像上执行一些处理。
进一步，如图33中所示的例子是通过将握紧状态下的手63A改变为伸开状态中的手63B，I/O显示面板20在两种状态中图像识别(image-recognize)出接触或是靠近的手以基于这些图像识别来执行处理。当基于这些识别来执行处理时，例如，执行诸如放大之类的指令。此外，作为所执行的这类指令，例如，I/O显示面板20连接至个人计算机，以及通过这些图像以更自然的方式在计算机等上输入切换命令的操作。
此外，例如如图34中所示，当准备了多个I/O显示面板20，并且该多个I/O显示面板20通过一些传输部件而相互连接时，操作I/O显示面板20的用户可通过将由检测接触或靠近一个I/O显示面板20的对象所获得的图像发送至另一个I/O显示面板20以及在另一个I/O显示面板20上显示来彼此通信。换句话说，如图25中所示，准备两个I/O显示面板20，因而，能够执行诸如将一个面板中的图像所识别的手65的形状发送至另一个面板以使得在另一个面板上显示手形642，或是将手64触摸一个面板所显示的轨迹642发送至另一个面板以及在另一个面板上显示之类的处理。因此，向其它用户发送作为移动图像的绘图状态，以及发送手写字符、符号等的I/O显示面板20可能是有潜力的新通信工具。作为这种例子，例如，期望将I/O显示面板20应用于蜂窝电话等的显示面板。
此外，例如如图35中所示，使用画笔，并且画笔接触显示面板20的表面以绘制字符，并且在I/O显示面板20上将画笔66所接触的点显示为图像661，因而通过画笔输入手写笔迹是可能的。在这种情况下，可识别及显示画笔的细微接触(fine touch)。在相关技术的笔迹识别中，例如一些数字转换器中，通过检测电场来在显示中反映特制的(special)钢笔的倾角；然而，在该例子中，检测真实的画笔所接触的表面，因而以更现实的意义执行了信息输入。
虽然参考第一和第二实施例描述了本发明，但是本发明不特别地限于实施例，并且可做各种修改。
例如，在上述实施例中，描述了将阈值Th11、Th12、Th21、Th22、Th31以及Th32固定的情况；然而，例如，可将这些阈值任意地调整。
此外，在根据本发明的移动平均图像产生处理中，当执行平均图像处理(averaging image processing)时，可减少目标像素，并且可在减少后的目标像素上执行运算操作以减少处理。例如，如图36A和36B中所示，当沿着一个像素方向顺序移动标记像素时，仅对该一个像素方向上的像素执行平均运算处理，之后，当沿着另一个方向顺序移动标记像素时，仅对该另一个像素方向上的像素执行平均运算处理。进一步，如图37A和37B所示，可以通过使用运算电路70至73来执行至预定方向的点加法(dot addition)处理。
进一步，在上述实施例中，根据原始图像A来产生移动平均图像MA，并且基于待检测对象的预期尺寸(目标尺寸a)来设置移动平均运算处理中的像素区域50的尺寸，因而在移动平均图像MA中，消除了具有比像素区域50更大的尺寸的图像，即，比像素区域50具有更高的空间频率(spatial frequency)的图像(在这种情况下是指尖图像)，并且通过确定移动平均图像MA和原始图像A之间的差异，消除比像素区域50具有更低的空间频率的图像(在这种情况下是阴影图像)，并且只提取了具有高空间频率的图像(在这种情况下是指尖图像)。换句话说，在上述实施例中，作为这种高通滤波器和允许最简单及高速处理的方法的例子，描述了确定移动平均图像MA和原始图像A之间的差异的方法。因此，确定该差异的方法不限于上面实施例中所描述的方法，并且通过使用另一种高通滤波器可同时执行低通滤波器处理和差分处理。
此外，在上述实施例中描述了背光源15发射显示光的情况；然而，背光源15可发射作为不可见光的红外光以及显示光，并且传感器区域21中的光接收器件可接收红外光。进一步，可以基于红外光分量的亮度的量级，通过检测外部光(环境光)的红外光分量、并使用差分图像指尖提取处理和阴影指尖提取处理中之一的提取结果来执行这两个指尖提取处理之间的切换处理。
此外，在上述实施例中，描述了在I/O显示面板20中显示器件是液晶器件并且将光接收器件分离地排列的情况；然而，如图38和39中所示的显示及图像拾取设备，例如，如有机EL(电致发光)器件，能够以时间分隔来执行光发射操作和光接收操作的光发射/接收器件(显示及图像拾取器件)可构成I/O显示面板(I/O显示面板80)。在这种配置中，可获得与上述实施例中的效果相同的效果。另外，在该情况下，不发射显示光的周期是显示及图像拾取器件不执行光发射操作的周期。
本领域的技术人员应用理解，依据设计需求及其它因素，只要其在所附权利要求或其等效的范围之内，可发生各种修改、组合、子组合及变更。

Claims (17)

1.一种显示及图像拾取设备，包含：
显示及图像拾取面板，其具有图像显示功能和图像拾取功能；
图像产生部件，用于基于通过该显示及图像拾取面板的使用而获得的邻近对象的已拾取图像来产生预定的被处理图像；
图像处理部件，用于基于已拾取图像和被处理图像中的至少一个，通过选择性地使用两个获得模式中的一个来获得与该邻近对象的位置、形状及尺寸中的至少一个有关的信息；
切换部件，用于基于预定参数的大小来执行图像处理部件中的两个获得模式之间的切换处理，使得在参数增大的情况下，当该参数达到第一阈值时，将该两个获得模式中的一个获得模式切换至另一个获得模式，并且在该参数减小的情况下，当该参数达到小于该第一阈值的第二阈值时，将该另一个获得模式切换至所述一个获得模式。
2.如权利要求1所述的显示及图像拾取设备，其中
该已拾取图像是通过利用显示及图像拾取面板拾取邻近对象的阴影的图像而获得的阴影图像，以及
该被处理图像是通过在利用显示光图像和该阴影图像之间执行差分处理而获得的差分图像，该利用显示光图像是通过来自该显示及图像拾取面板的显示光的使用，利用该显示及图像拾取面板拾取该邻近对象的图像而获得的。
3.如权利要求2所述的显示及图像拾取设备，其中
该两个获得模式中的一个是基于该差分图像而执行的差分获得模式，并且该另一个是基于该阴影图像而执行的阴影获得模式。
4.如权利要求3所述的显示及图像拾取设备，其中
该预定参数是环境光的亮度。
5.如权利要求4所述的显示及图像拾取设备，其中
该切换部件通过该阴影图像的移动平均图像的使用来检测环境光的亮度。
6.如权利要求3所述的显示及图像拾取设备，其中
该预定参数是显示及图像拾取面板的显示亮度。
7.如权利要求2所述的显示及图像拾取设备，其中
该图像产生部件具有通过加权系数的多个组合的使用而从该差分图像和该阴影图像中产生合成图像的功能，
该两个获得模式中的一个是在该差分图像的加权系数大于该阴影图像的加权系数的情况下，基于通过该阴影图像的加权系数和该差分图像的加权系数的组合的使用的合成图像而执行的第一合成获得模式，而另一个是在该差分图像的加权系数小于该阴影图像的加权系数的情况下，基于通过该阴影图像的加权系数和该差分图像的加权系数的组合的使用的合成图像而执行的第二合成获得模式。
8.如权利要求7所述的显示及图像拾取设备，其中
该预定参数是环境光的亮度，以及
该切换部件执行切换处理，使得在该环境光的亮度增大的情况下，当该环境光的亮度达到第一亮度阈值时，将该第一合成获得模式切换至该第二合成获得模式，而在该环境光的亮度减小的情况下，当该环境光的亮度达到小于该第一亮度阈值的第二亮度阈值时，将该第二合成获得模式切换至该第一合成获得模式。
9.如权利要求7所述的显示及图像拾取设备，其中
该预定参数是环境光的亮度，以及
该切换部件执行切换处理，使得在该环境光的亮度增大的情况下，当该环境光的亮度达到第一亮度阈值时，将该第二合成获得模式切换至该第一合成获得模式，而在该环境光的亮度减小的情况下，当该环境光的亮度达到小于该第一亮度阈值的第二亮度阈值时，将该第一合成获得模式切换至该第二合成获得模式。
10.如权利要求7所述的显示及图像拾取设备，其中
该预定参数是环境光的亮度，以及
该切换部件通过阴影图像的移动平均图像的使用来检测环境光的亮度。
11.如权利要求1所述的显示及图像拾取设备，其中
用户可任意地调整该第一和第二阈值。
12.如权利要求1所述的显示及图像拾取设备，其中
该图像处理部件获得与同时放置在该显示及图像拾取面板上的多个邻近对象中的每一个的位置、形状及尺寸中的至少一个有关的信息。
13.如权利要求1所述的显示及图像拾取设备，其中
在该显示及图像拾取面板上显示所获得的与该邻近对象的位置、形状及尺寸中的至少一个有关的信息。
14.如权利要求1所述的显示及图像拾取设备，其中
该显示及图像拾取面板包括多个液晶器件和多个图像拾取器件。
15.如权利要求1所述的显示及图像拾取设备，其中
该显示及图像拾取面板包括被允许按时间分隔执行光发射操作和光接收操作的多个显示及图像拾取器件。
16.如权利要求15所述的显示及图像拾取设备，其中
该显示及图像拾取器件是有机EL器件。
17.一种检测对象的方法，其包含以下步骤：
通过具有图像显示功能和图像拾取功能的显示及图像拾取面板的使用来获得邻近对象的已拾取图像；
基于该已拾取图像来产生预定被处理图像；
基于已拾取图像和被处理图像中的至少一个，通过选择性地使用两个获得模式中的一个来检测与该邻近对象的位置、形状及尺寸中的至少一个有关的信息；以及
基于预定参数的大小来执行该两个获得模式之间的切换处理，使得在参数增大的情况下，当该参数达到第一阈值时，将该两个获得模式中的一个获得模式切换至另一个获得模式，并且在该参数减小的情况下，当该参数达到小于该第一阈值的第二阈值时，将该另一个获得模式切换至所述一个获得模式。
CN2008101745393A 2007-11-09 2008-11-10 显示及图像拾取设备,检测对象的对象检测程序和方法 Expired - Fee Related CN101430868B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007291767A JP4835578B2 (ja) 2007-11-09 2007-11-09 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP291767/07 2007-11-09

Publications (2)

Publication Number Publication Date
CN101430868A CN101430868A (zh) 2009-05-13
CN101430868B true CN101430868B (zh) 2012-10-31

Family

ID=40623736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101745393A Expired - Fee Related CN101430868B (zh) 2007-11-09 2008-11-10 显示及图像拾取设备,检测对象的对象检测程序和方法

Country Status (5)

Country Link
US (1) US8085251B2 (zh)
JP (1) JP4835578B2 (zh)
KR (1) KR101534588B1 (zh)
CN (1) CN101430868B (zh)
TW (1) TWI393943B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102767A1 (ja) * 2007-02-23 2008-08-28 Sony Corporation 撮像装置、表示撮像装置および撮像処理装置
KR20100099008A (ko) * 2009-03-02 2010-09-10 삼성전자주식회사 오토 포커싱 제어 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP4699536B2 (ja) * 2009-03-06 2011-06-15 シャープ株式会社 位置検出装置、制御方法、制御プログラムおよび記録媒体
JP2011086179A (ja) * 2009-10-16 2011-04-28 Sony Corp 情報入力装置、情報入力方法、情報入出力装置、情報入力プログラムおよび電子機器
JP5510998B2 (ja) * 2009-11-13 2014-06-04 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP5464583B2 (ja) * 2009-11-27 2014-04-09 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
TWI521410B (zh) 2010-06-14 2016-02-11 原相科技股份有限公司 物件影像擷取裝置以及擷取指示物之物件影像的方法
CN102298468B (zh) * 2010-06-24 2014-07-23 原相科技股份有限公司 物件影像撷取装置以及撷取指示物的物件影像的方法
CN102314294A (zh) * 2010-06-29 2012-01-11 宏碁股份有限公司 执行应用程序的方法
TWI450154B (zh) * 2010-09-29 2014-08-21 Pixart Imaging Inc 光學觸控系統及其物件偵測方法
CN102446034B (zh) * 2010-10-13 2014-05-07 原相科技股份有限公司 光学触控系统及其物件侦测方法
TWI464691B (zh) 2010-11-16 2014-12-11 Pixart Imaging Inc 影像感測模組與光學訊號處理裝置
KR101694272B1 (ko) * 2010-12-03 2017-01-10 삼성전자주식회사 디스플레이 장치에서의 터치 및 근접 정보 검출 장치 및 방법
US9152255B2 (en) * 2011-05-03 2015-10-06 Htc Corporation Management and application methods and systems for touch-sensitive devices, and computer program products thereof
CN102801409B (zh) * 2011-05-23 2014-11-26 烟台瑞和控电信息系统有限公司 一种基于手势识别的智能开关
FR2980597B1 (fr) * 2011-09-27 2014-05-09 Isorg Interface utilisateur sans contact
FR2980598B1 (fr) * 2011-09-27 2014-05-09 Isorg Interface utilisateur sans contact a composants semiconducteurs organiques
FR2989483B1 (fr) 2012-04-11 2014-05-09 Commissariat Energie Atomique Dispositif d'interface utilisateur a electrodes transparentes
FR2995419B1 (fr) 2012-09-12 2015-12-11 Commissariat Energie Atomique Systeme d'interface utilisateur sans contact
FR2996933B1 (fr) 2012-10-15 2016-01-01 Isorg Appareil portable a ecran d'affichage et dispositif d'interface utilisateur
JP5752157B2 (ja) * 2013-01-31 2015-07-22 シャープ株式会社 文字表示装置及び文字表示方法
CN104035648A (zh) * 2013-03-04 2014-09-10 联想(北京)有限公司 状态切换的方法及电子终端
TWI483169B (zh) * 2013-06-11 2015-05-01 Pixart Imaging Inc 電容偵測電路以及使用此電容偵測電路的電能供應裝置
CN109600515A (zh) * 2013-06-18 2019-04-09 联想(北京)有限公司 一种信息处理方法以及电子设备
CN103995645B (zh) * 2014-05-26 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
JP6553406B2 (ja) * 2014-05-29 2019-07-31 株式会社半導体エネルギー研究所 プログラム、及び情報処理装置
FR3025052B1 (fr) 2014-08-19 2017-12-15 Isorg Dispositif de detection d'un rayonnement electromagnetique en materiaux organiques
CN104297746A (zh) * 2014-10-29 2015-01-21 佛山市顺德区美的电热电器制造有限公司 运动物体的轨迹检测方法、检测系统和电子设备
CN108510948A (zh) * 2017-02-28 2018-09-07 昆山国显光电有限公司 发光显示器及其控制方法
JP2019046141A (ja) * 2017-09-01 2019-03-22 アルパイン株式会社 運転者監視装置、運転者監視方法、及びプログラム
TWI634455B (zh) * 2017-09-21 2018-09-01 光寶科技股份有限公司 動作偵測方法與動作偵測裝置
JP7471841B2 (ja) * 2020-02-05 2024-04-22 キヤノン株式会社 検品システム、検品方法
CN111683237A (zh) * 2020-04-17 2020-09-18 中国航空无线电电子研究所 一种具有色彩自调节功能的平视显示界面颜色处理方法
TWI751717B (zh) 2020-09-22 2022-01-01 環鴻科技股份有限公司 提升影像辨識率的前處理方法及系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
CN1896941A (zh) * 2005-07-12 2007-01-17 索尼株式会社 显示设备以及显示方法
CN101135949A (zh) * 2006-08-31 2008-03-05 索尼株式会社 成像和显示设备、信息输入设备、物体检测介质及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4094794B2 (ja) * 1999-09-10 2008-06-04 株式会社リコー 座標検出装置、情報記憶媒体および座標検出方法
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP1754178A4 (en) * 2004-01-07 2009-07-29 Identification International I FINGERPRINT RECORDING SYSTEMS WITH LOW POWER CONSUMPTION, DEVICE AND METHOD
US7800594B2 (en) * 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
JP2006276223A (ja) * 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
US20070109239A1 (en) * 2005-11-14 2007-05-17 Den Boer Willem Integrated light sensitive liquid crystal display
JP4916853B2 (ja) * 2005-11-29 2012-04-18 京セラ株式会社 撮像装置およびその方法
JP2007163891A (ja) * 2005-12-14 2007-06-28 Sony Corp 表示装置
US8698727B2 (en) * 2007-01-05 2014-04-15 Apple Inc. Backlight and ambient light sensor system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768322A (zh) * 2003-03-31 2006-05-03 东芝松下显示技术有限公司 显示装置及信息终端装置
CN1896941A (zh) * 2005-07-12 2007-01-17 索尼株式会社 显示设备以及显示方法
CN101135949A (zh) * 2006-08-31 2008-03-05 索尼株式会社 成像和显示设备、信息输入设备、物体检测介质及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2002-351615A 2002.12.06
JP特开2007-102729A 2007.04.19

Also Published As

Publication number Publication date
TW200925706A (en) 2009-06-16
CN101430868A (zh) 2009-05-13
KR101534588B1 (ko) 2015-07-07
TWI393943B (zh) 2013-04-21
US8085251B2 (en) 2011-12-27
US20090123029A1 (en) 2009-05-14
JP4835578B2 (ja) 2011-12-14
KR20090048371A (ko) 2009-05-13
JP2009116778A (ja) 2009-05-28

Similar Documents

Publication Publication Date Title
CN101430868B (zh) 显示及图像拾取设备,检测对象的对象检测程序和方法
US8610670B2 (en) Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
US8319749B2 (en) Image pickup apparatus, display-and-image-pickup apparatus and image pickup processing apparatus
US9405406B2 (en) Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
CN101135949B (zh) 成像和显示设备、信息输入设备、物体检测方法
US8638317B2 (en) Display apparatus and method for controlling the same
JP4257221B2 (ja) 表示装置および情報端末装置
JP4775386B2 (ja) センシング装置、表示装置、電子機器およびセンシング方法
JP4645658B2 (ja) センシング装置、表示装置、電子機器およびセンシング方法
JP2009205423A (ja) 表示撮像装置および物体の検出方法
JP5247139B2 (ja) 表示装置および方法、プログラム、並びに、電子機器
JP2009193482A (ja) センシング装置、表示装置、電子機器およびセンシング方法
JP4161929B2 (ja) 画像表示装置および画像表示装置の駆動方法
JP4270247B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP4720833B2 (ja) センシング装置、表示装置、電子機器およびセンシング方法
JP4919094B2 (ja) 画像表示装置および画像表示装置の駆動方法
JP5271936B2 (ja) 表示装置及び表示方法
JP4788755B2 (ja) 表示撮像装置、物体検出プログラムおよび物体の検出方法
JP2009199204A (ja) 電気光学装置、及びその制御方法、並びに電子機器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NIPPON DISPLAY CO., LTD.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20121120

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20121120

Address after: Aichi

Patentee after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Sony Corporation

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121031

Termination date: 20191110

CF01 Termination of patent right due to non-payment of annual fee