CN102625060A - 用于移动式应用的cmos图像传感器的动态范围扩展 - Google Patents

Abstract

本发明提供一种用于处理图像的系统，所述系统可以包括像素配置电路，其被使能为针对像素阵列中的每个像素设定多个积分时间中的一个以及多个信号增益中的一个。列模数转换器可以被使能为针对像素阵列中的像素生成相应的数字数据，数字处理电路可以被使能为从被分组为像素组的像素的所述相应的数字数据对输出数据进行内插，其中，像素组包括目标像素和同一彩色平面中的相邻像素。

Description

用于移动式应用的CMOS图像传感器的动态范围扩展

相关申请的交叉引用/参考文件的合并

本申请引用于2011年1月31日提交的美国专利申请第13/018,100号。

上述申请的全部内容通过引用合并于此。

技术领域

本发明的某些实施例总体上涉及图像处理，更具体地，涉及用于移动式应用的CMOS图像传感器的动态范围扩展。

背景技术

在数码相机中，光穿过相机镜头以曝光在具有光电二极管的像素阵列上，使得每个像素中捕获的光量可以被转换为模拟电信号。来自每个像素的模拟电信号被放大并且经由模数转换被转换为数字信号。数字信号随后可用于进一步的数字处理以产生捕获的图像。

数码相机或者其他数字成像系统中的图像传感器执行从像素捕获光到数字图像输出的图像产生处理。因此，图像传感器在用于确定最终图像质量的数字图像系统中是重要的部件。CMOS图像传感器广泛地用在需要高速度性能和低功耗的应用中，因为CMOS图像传感器通常比电荷耦合器件(CCD)提供更高的帧速率操作。CMOS图像传感器还可以被形成在低功耗的、尺寸极为紧凑的芯片中，并且被用在各种应用中的数码相机实现中，这些应用诸如移动电话、个人数字助理、便携式计算机等。

然而，CMOS图像传感器可能受到高读取噪声(即，低信噪比(SNR))和高固定模式噪声(即，低动态范围(DR))的困扰。较之电荷耦合器件，CMOS图像传感器提供较低的信噪比(SNR)和较小的动态范围(DR)。

动态范围是可测量量(诸如光)的最小可能值和最大可能值之间的比，其被表述为以10为底的对数值(分贝，dB)。动态范围量化了使场景中的高光和暗影两者均充分成像的能力。例如，人类视觉具有极高的动态范围，因为人眼可以在明亮日光下看到物体，也可以在没有月亮的黑夜看到物体。人眼具有约200dB的动态范围。

由于典型的移动传感器的动态范围通常约为60dB，因此对于现今的电子数字成像设备，几乎不可能再现人眼体验的全动态范围。然而，增强图像传感器的动态范围仍是业界的研究目标之一。

通常，动态范围可以通过以下方法扩展：在芯片上添加更多的硬件以在模拟域或数字域中储存更多的光信息，诸如在每个像素中添加更多的器件以增加电荷收集能力；或者添加更多的帧和/或线存储器以保存曝光不同的图像；或者添加光掩模以改变不同像素的灵敏度。这些类型的硬件解决方案在移动式应用中具有严重的限制，因为像素尺寸极小以至于不能允许像素中具有更多的晶体管，并且移动设备的小模块尺寸也限制了芯片上的额外的存储器的尺寸，并且像素的小尺寸还限制了光掩模的性能和均匀性。

更具体地，已提出了如下技术，包括多重积分、对数传感器、双灵敏度像素和空间变化灵敏度像素，以改进图像传感器的动态范围。然而，所有这些技术都被认为不能胜任。

多重积分方法需要额外的存储器以在处理图像之前储存不同积分的全部或部分图像。对数传感器方法具有高的像素响应不均匀性，从而其色彩响应差。双灵敏度像素方法需要像素内部有额外的晶体管和/或存储，因此像素尺寸难于缩小。

空间变化灵敏度像素方法在不同像素上使用不同的光掩模以在同一像素阵列上对光信息进行二次采样，并且每个像素的灵敏度不能在不同的照明条件下变化。此外，像素响应是非线性的。因此，像素响应技术需要完全校准传感器的光响应并且创建查找表。额外的滤波器也增加了成本。

通过将这些系统与如本申请的以下部分中参照附图阐述的本发明的一些方面相比较，惯用的和传统的方法的另外的限制和缺点对于本领域技术人员将变得明显。

发明内容

本发明的特定实施例提供了用于移动式应用的CMOS图像传感器的动态范围扩展。本发明的一个实施例可以包括针对像素阵列中的每个像素设定多个积分时间中的一个以及多个信号增益中的一个。可以针对像素阵列中的每个像素生成相应的数字数据。可以从被分组为像素组的像素的所述相应的数字数据生成经内插的输出数据，其中，像素组包括目标像素和同一彩色平面中的相邻像素。

一种用于处理图像的系统可以包括像素配置电路，其能够针对像素阵列中的每个像素设定多个积分时间中的一个以及多个信号增益中的一个。列模数转换器可以被使能为针对像素阵列中的像素生成相应的数字数据，并且数字处理电路可以被使能为从被分组为像素组的像素的所述相应的数字数据对输出数据进行内插，其中，像素组包括目标像素和同一彩色平面中的相邻像素。

在研究下面的附图和详细描述之后，本发明的其他系统、方法、特征和优点对于本领域技术人员将是明显的或变得明显。所有这些额外的系统、方法、特征和优点应涵盖于说明书内，在本发明的范围内并且受所附权利要求保护。

附图说明

通过参照说明书的以下部分和附图，可以实现对本公开提供的示例的本质和优点的进一步理解，其中相同的附图标记在若干张图中用于表示相似的部件。在一些实例中，下标与附图标记相关联以表示多个相似部件之一。当提到没有指明现有下标的相似的附图标记时，该附图标记指示所有这些相似的部件。

图1是根据本发明的一个实施例的可以使用的用于模数转换的示例性系统的框图。

图2是根据本发明的一个实施例的可以使用的用于列并行模数转换器的示例性系统的框图。

图3是根据本发明的一个实施例的用于模数转换的示例性系统的框图。

图4是根据本发明的一个实施例的用于模数转换的示例性系统的时序图。

图5是根据本发明的一个实施例的像素响应的示例性曲线图。

图6是根据本发明的一个实施例的示例性像素处理配置的示图。

图7是根据本发明的一个实施例的示例性像素响应的曲线图。

图8是根据本发明的一个实施例的示例像素处理配置的示图。

图9是根据本发明的一个实施例的示例性像素分组的示图。

图10是根据本发明的一个实施例的示例性流程图。

具体实施方式

以下描述仅提供了示例性实施例，并非旨在限制本发明的范围、适用性或配置。相反，接下来的实施例的描述将向本领域技术人员提供用于实现本发明的实施例的帮助性的描述。在不脱离如所附权利要求中阐述的本发明的精神和范围的情况下，可以对元件的功能和布置进行各种改变。

因此，各种实施例可以适当地省略，替换或添加各种过程或部件。例如，应认识到，在替选的实施例中，可以按与所描述的顺序不同的顺序执行方法，并且可以添加、省略或组合各种步骤。再者，参照特定实施例描述的特征可以组合成各种其他实施例。实施例的不同的方面和元件可以用相似的方式组合。

还应认识到，如下系统和方法可以是较大系统的部件，其中其他过程可以优先进行或者以其他方式修改它们的应用。再者，在以下实施例之前、之后或者与之同时，可能需要许多个步骤。

将参照附图详细描述本发明的实施例，使得本领域技术人员可以容易地实施本发明的范围。

本发明的特定实施例可以涉及一种用于但不限于移动式应用的CMOS图像传感器的动态范围扩展的方法和系统。具有低像素动态范围和有限模数转换(ADC)分辨率的CMOS图像传感器的动态范围被扩展，特别是像素数目少的移动式成像传感器。

图1是根据本发明的一个实施例的可以使用的用于模数转换的示例性系统的框图。参照图1，示出了用于处理输入数据的电路的一部分，包括ADC 101、处理器102和控制逻辑103。

ADC 101将输入模拟信号(诸如来自例如视频图像传感器(图1中未示出)的像素信号)转换为等同的数字信号。ADC 101输出的数字信号可以由处理器102进一步处理。处理器102可以例如使用数字信号处理方法将来自ADC 101的数字信号压缩为诸如H.263或H.264的标准视频格式。处理器102还可以包括存储器块102a，其中可以储存码。尽管为了使描述简单，存储器块102a被示为处理器102的一部分，但是存储器块102a可以是分立的设备。上述码可以由处理器102执行以执行各种功能，诸如数字信号处理。存储器模块102a也可以用于储存来自ADC 101的数字信号、和/或通过对来自ADC 101的数字信号进行处理而得到的数字信号。

控制逻辑103可以包括生成用于诸如ADC 101的多种模块的命令、时钟、控制和使能信号的电路。例如，控制逻辑103可以生成用于在ADC 101中计数的时钟信号，其中时钟信号并非连续运行。运行的时钟包括脉冲，而不运行的时钟处于低状态或高状态。控制逻辑103还可以输出使能信号，并且还输出复位信号，其中所述时能信号使得ADC101中的计数器能够在特定的时间部分计数。

图2是根据本发明的一个实施例的可以使用的示例性列并行模数转换器配置的框图。参照图2，示出了像素阵列200和ADC阵列210。像素阵列200可以包括像素元件201和开关元件202。像素元件201可以包括输出例如与像素元件201所检测到的光量成比例的电压的适当电路。像素元件201可以对特定波长的入射光敏感。ADC阵列210可以包括例如ADC元件211的阵列，其中每个ADC元件211可以对应于像素元件201的列。ADC元件211的输出可以储存在存储器块212中。

在操作中，来自例如控制逻辑103的适当的控制信号可以使得开关元件202适当地断开和接通，以使来自特定的像素元件201的输出电压被传送到ADC阵列210。因此，对于每个列Column_1至Column_m，在行扫描时间期间可以仅接通所有行Row_1至Row_n中的一个特定的开关元件202，使得在该扫描时间期间来自相应的像素元件201的输出电压被传送到ADC阵列210。因此，当针对列仅选择一个像素时，可以将真实的像素电压传送到相应的ADC元件211。

来自每个列Column_1至Column_m的像素元件201中的一个的输出电压可以被相应的ADC元件211转换为等同的数字值。然而，由于存在多个ADC元件211，因此每个ADC 211可能需要被校准，使得对于给定的输入，每个ADC元件211输出相似的数字值。校准可以定期进行，例如，诸如在行扫描时间期间进行一次或者帧期间进行一次。校准的特定周期可以取决于设计和/或实现方案。

尽管为了清楚起见，图2可以被绘制和描述为像素阵列200具有开关元件202，但是本发明不限于此。例如，开关元件202可以是ADC阵列210的一部分。

图3是根据本发明的一个实施例的用于模数转换的示例性系统的框图。参照图3，示出了模数转换系统300，其包括像素阵列310、行驱动器320、ADC模块330、线存储器340、数字逻辑块350和斜坡发生器360。ADC模块330包括列CDS 332和列ADC 334。

像素阵列310可以与例如图2中所示的像素阵列200相似。行驱动器320可以包括能够生成字线的适当电路，字线可用于选择特定的行(例如，图2中的Row_1)以输出信号。ADC模块330可以包括列CDS 332，其适用于对来自像素阵列310的模拟信号进行采样。ADC模块330中的列ADC 334可用于将来自列CDS 332的采样信号转换为数字数据。线存储器340可以包括用于储存来自ADC模块330的数字数据的适当电路，诸如锁存电路。数字逻辑块350可以包括用于处理来自线存储器340的数字数据的适当电路。数字逻辑块350可以包括例如多种逻辑电路和/或数字信号处理器。斜坡发生器360可以生成基准斜坡信号，其可用于确定等同于采样信号的数字数据。

在操作中，通过行驱动器320输出的水平字线对像素阵列310中的像素的行寻址。由像素阵列310的行(例如，图2中的Row_1)输出的电荷或电压信号经由列位线被传送到ADC模块330。像素阵列310中的像素元件被布置成与图2相似的二维结构，其中行驱动器320控制特定的行以将其像素信号输出到列位线上。因此，行中的每个像素将并行输出其信号。

ADC模块330中的多个列CDS 332对列位线上的像素信号进行采样，并且采样的像素信号随后由列ADC 334转换为等同的数字数据。数字数据可以对应于像素阵列310中的像素。列CDS 332可以使用例如相关双采样，这是一种用于测量诸如电压或电流的电学值的技术，其允许去除不期望的偏移。该技术极为频繁地用在测量传感器输出时。像素的输出被测量两次，第一次是测量像素的复位电平，第二次是测量像素的信号电平。两者之间的差表示入射光强度。这两个电平均包括由热噪声和器件失配引起的偏移。通过取两者之差，消除了该偏移。

像素阵列310中的像素元件201的二维阵列被组织为行和列。给定行中的像素元件201共享复位线，从而行中的所有像素元件201被同时复位。行中的像素元件201还连接到位线，并且通常可以选择像素阵列310中的仅一行。因此，尽管像素阵列310中的多个像素元件201(例如，图2中的Column_1)共享同一列位线，但是由于在任何给定时间仅选择一行，因此列位线上的像素信号不会因为与来自列中的其他像素元件201的信号混合而劣化。

ADC模块330中的每个列CDS 332首先对复位信号进行采样并且随后接收来自像素阵列310的像素信号。列CDS 332随后获得复位信号和像素信号之间的差。相应的列CDS 334随后将差信号与可以由斜坡发生器360输出的基准斜坡信号相比较。当基准斜坡信号首先开始斜变时，可以将ADC模块330中的每个列ADC 334中的计数器(未示出)使能。当差信号的电平与基准斜坡信号的电平相同时，相应的计数器将停止，并且计数将被储存在线存储器340的相应部分中。该计数是等同于输入像素信号的数字数据。因此，计数可以对应于传送输入像素信号的像素。

数字逻辑块350可以读取线存储器340中储存的数字数据并且可以处理数字信号。例如，在本发明的实施例中，数字逻辑块350可以执行数字信号处理以将数字数据转换为诸如H.263或H.264的各种视频格式之一。因此，数字逻辑块350可以输出数字数据ImageOut。

本发明的各种实施例可以考虑由列ADC 334所转换的信号的不同的模拟增益。该增益可以来自例如列CDS 332中的可变增益放大器，或者来自可以为单斜率ADC的列ADC 334的基准斜坡信号的变化的斜率。其他类型的ADC可能需要其他调整增益的方法。例如，SAR或循环ADC可能需要不同的基准以调整它们的增益。使用两个增益值的本发明的各种实施例可以将两个增益值称为“低增益”和“高增益”。尽管出于示例性目的指出了两个增益值，但是本发明不限于此。各种实施例可以使用三个或更多的增益值。

图3中描述的各种模块的控制信号可以被假定为在每个块内生成，或者由全方位(catch-all)数字逻辑块350生成。该假设使描述更简单并且还将用于其余的附图。

图4是根据本发明的一个实施例的可以使用的用于模数转换的示例性系统的时序图。参照图4，示出了三个示例性行m、m+1和m+2，其中水平轴表示时间。三个行m、m+1和m+2均具有相似的发生事件，并且它们以相关的时序差被示出。因此，将仅讨论与行m对应的行为。

在时间t1处，行m可以处于帧N的起点处。在从时间t2到时间t3的时间段期间，行m可以由第一复位脉冲402复位。第一复位脉冲402将像素阵列310的行m中的像素元件201清除到已知状态，从而像素元件201可以积累当前帧的光电子。此外，在第一复位脉冲402被断言(assert)之后，由列ADC 334从来自前一帧的行m的像素元件201的模拟信号转换而来的等同的数字数据可以被读出到线存储器340。

从时间t3到时间t4的时间段可以变化以允许用于不同行中的像素元件201的不同的积分时间。本发明的实施例可以允许两个不同的积分时间。这两个积分时间可以被称为“短积分时间”和“长积分时间”。对于长积分时间，较之短积分时间，可以被称为预积分段的从时间t3到时间t4的时间段更短。长积分时间可以对于低光场景有利，而对于亮光场景，积分时间可以被设定为更短。尽管出于示例性目的指出了两个积分时间，但是本发明不限于此。例如，各种实施例可以使用三个或更多的积分时间。

在从时间t4到时间t5的时间段期间，行m可以在积分之前由第二复位脉冲404复位。该第二复位脉冲404作用于与第一复位脉冲402相似的目的，以将像素元件201复位到已知状态，使得它们可以准备好积累光电子。然而，在第二复位脉冲404期间不读出数字数据。

在时间t5到时间t6期间，行m中的像素元件201可以积累光电子直至积分段在时间t6处结束。对于长积分时间，较之短积分时间，从时间t5到时间t6的积分时间更长，因为对于长积分时间，较之短积分时间，预积分段更短。

行m的每个像素元件201处的电荷随后将由每个列CDS 332传送到相应的列ADC334。每个ADC 334中的计数器随后将如参照图3所述的那样进行计数以生成等同的数字数据。该计数将在时间t6之后读出。本发明的各种实施例可以使用时间t7处的第三复位脉冲406的起点以读出数字数据，用于储存在线存储器340中。

图5是根据本发明的一个实施例的像素响应的示例性曲线图。参照图5，示出了曲线图500，其中水平轴表示亮度，而竖直轴表示像素响应。像素响应可以是来自像素元件201的模拟信号，像素响应也可以被表达为来自列ADC 334的经转换的数字数据。

因此，可以校准列ADC 334以能够对从像素响应的ADC最小电平到像素响应的ADC最大电平计数。然而，由于电路中的固有噪声，列ADC 334可能不能区分低于读取噪声电平的像素响应。因此，与读取噪声电平相关联的亮度Lmin可以是所检测的最小亮度。所检测的最大亮度可以是亮度Lmax。

因此，列ADC 334的动态范围可以被表达为：

DR＝20log(Lmax/Lmin)

＝20log[(ADC最大)/(读取噪声)]        (式1)

为了扩展传感器的动态范围，可以修改读出时序，使得同一彩色平面中的相邻行可以具有不同的积分时间。一个行可以具有长积分时间，而相邻行可以具有短积分时间。具有长积分时间的像素将捕获场景的低光信息，而具有短积分时间的像素将捕获场景的高光信息。

并且，由于列ADC具有有限的分辨率，因此在列读出时间期间，可以将不同的模拟增益应用于相邻的列。例如，一个列可以具有高增益，而相邻列可以具有低增益。可以根据场景的全局或局部亮度来选择特定的积分时间和增益设定。全局或局部亮度可以由能够处理来自一个或多个先前帧的数字数据的电路、诸如处理器102或数字逻辑块350来确定。

在每个帧之后或者在给定数目的帧之后可以由诸如处理器102、控制逻辑103和/或数字逻辑350的电路动态地调整积分时间和增益设定，其中使用一个或多个先前帧中的场景的全局或局部亮度来确定积分时间和增益设定。积分时间和增益设定也可以采用缺省值。

图6是根据本发明的一个实施例的示例性像素处理配置的示图。参照图6，示出了像素阵列600，其包括可以与像素元件201相似的各个像素元件602。每个像素元件602可以被配置为对表示为R、B、Gr和Gb的彩色平面的特定频率敏感。像素阵列600的行可以具有如所示出的不同的积分时间。例如，行Row0、Row1、Row4和Row5可以具有长积分时间，而Row2、Row3、Row6和Row7可以具有短积分时间。像素阵列600的列可以被配置为具有不同的模拟增益。例如，列Col0、Col1、Col4和Col5可以具有高增益，而列Col2、Col3、Col6和Col7可以具有低增益。

因此，可以看到，根据控制像素元件602并且处理其输出的方式，像素元件602可以与四种像素响应中的一种相关。像素元件602可以与例如长积分时间和高增益、长积分时间和低增益、短积分时间和高增益、以及短积分时间和低增益相关。

例如，Row0和Col0的交叉点处的Gr像素元件602与长积分时间和高增益相关联。Row0和Col2的交叉点处的Gr像素元件602与长积分时间和低增益相关联。Row2和Col0的交叉点处的Gr像素元件602与短积分时间和高增益相关联。Row2和Col2的交叉点处的Gr像素元件602与短积分时间和低增益相关联。

如果使用基准斜坡信号的斜率来改变增益设定，则可能需要斜坡发生器360向需要高增益的相应的列ADC 334提供高增益斜坡信号，并且向需要低增益的相应的列ADC334提供低增益斜坡信号。

图7是根据本发明的一个实施例的示例性像素响应的曲线图。参照图7，示出了具有关于四种不同类型的像素响应的像素响应的曲线图700。像素响应702是与长积分时间和高增益相关联的像素元件602。像素响应704关于与长积分时间和低增益相关联的像素元件602。像素响应706关于与短积分时间和高增益相关联的像素元件602。像素响应708关于与短积分时间和低增益相关联的像素元件602。每个像素响应具有由式1定义的动态范围。因此，针对被组合的四个像素的扩展动态范围可以被表达为：

DRext＝20log(Lmax_SL/Lmin_LH)

＝DR+20log[(长积分时间/短积分时间)*(高增益/低增益)]        (式2)

由于通过在读出期间改变增益和积分时间设定来生成输出图像，因此需要将每个像素的输出规格化以反映其真实亮度信息。参照图8和9讨论输出像素的重建。

图8是根据本发明的一个实施例的示例像素处理配置的示图。图8与图6相似，不同之处在于每个像素802标有行编号和列编号以使图9的描述更加容易。可以注意到，每个像素802对应于例如像素阵列200或310中的同一位置的像素。本发明的实施例将对每个像素802使用内插(interpolation)，以在不损失分辨率的情况下重建最终图像的输出像素。内插可以例如由处理器102和/或数字逻辑块350完成。

图9是根据本发明的一个实施例的示例性像素分组的示图。参照图9，示出了像素分组900、902、904、906和908。分组900、902、904和906相似，不同之处在于它们涉及不同的彩色平面。因此，将仅描述一个分组。分组908是特殊情况并且也将被讨论。此外，尽管在该层级提及像素，但是将理解，所处理的对象是等同于来自输入像素的模拟信号的数字数据，其中每个数字数据对应于位于像素阵列200或310中的特定的行和列处的特定像素。

像素分组900应用于颜色Gr的彩色平面。所关注的像素或者目标像素是Gr₂₂，其位于像素分组900的中心处。像素分组900中的其他8个像素是图8中的在同一彩色平面中围绕所关注的像素Gr₂₂的那些像素。如可以看到的，这些像素是Gr₀₀、Gr₀₂、Gr₀₄、Gr₂₀、Gr₂₄、Gr₄₀、Gr₄₂和Gr₄₄。因此，通过有效地将3×3掩模施加到同一彩色平面上的每个像素来完成内插。下式3中示出了用于计算目标像素值的等式。

(式3)

x_ij是规格化的像素输出，Y₂₂是窗口中的九个像素的加权和，并且a_ij是每个像素(其中a_ij的总和不是零)的权重。如果a_ij的总和是零，则Y₂₂可以被定义为零。本发明的各种实施例可以确定实施例中所使用的电路在测试和/或特性分析期间的权重a_ij。

为了使像素输出规格化，首先将四个像素响应定义为：

h_k(x)＝(c_k*x)+d_k，其中k＝1，2，3，4                (式4)

其中h_k(x)是实际的像素输出并且x是规格化的像素输出。对于权重a_ij，可以根据本发明的各种实施例中所使用的电路的测试和特性分析来确定c_k和d_k的值。规格化的像素输出x随后可被写为

$x=\frac{h_k\left(x\right)-d_k}{c_k},$ 其中k＝1，2，3，4                    (式5)

根据此式，针对每个特性像素来选择积分时间和增益的组合。

一些像素输出可能饱和并且一些其他的像素输出可能非常接近零。因此，可能需要通过使用例如两个阈值h_low和h_high来筛选出数字码极低或极高的那些像素输出。如果像素值在h_low以下或h_high以上，则3×3掩模中的该像素的系数将被设定为零。可以根据设计和/或实现方案来确定h_low和h_high的值。其余的输出像素可以根据它们的增益和积分时间设定而被规格化，并且能够重建所关注的像素Y₂₂。

此外，存在位于像素阵列800的边缘处的像素，诸如像素Gr₀₀。尽管该像素在右侧和下侧具有相邻像素，但是在上侧或左侧不存在相邻的像素。因此，可以使用各种方案来填入包括所关注的像素和八个周围的像素的像素分组。

一个方案可以包括如下的像素阵列：例如，所述像素阵列在像素阵列800的上侧和下侧具有两个额外的像素行，在左侧和右侧具有两个额外的列。

另一方案可以包括复制像素以生成缺失像素。示出了关于像素分组908的示例。可以看到像素Gr₀₀是所关注的像素。然而，还可以看到，在像素阵列800中不存在与像素Gr-1、Gr-2、Gr-3、Gr-4和Gr-5对应的像素。因此，这些像素可以是与像素阵列800中存在的像素对应的所分配的数字值。因此，像素Gr-1、Gr-2和Gr-4可以具有与像素Gr₀₀相同的数字值，像素Gr-3可以具有与像素Gr₀₂相同的数字值，并且像素Gr-5可以具有与像素Gr₂₀相同的数字值。

本发明的实施例可以针对每个缺失像素使用为零的值，并且式3的条件仍适用。因此，像素Gr-1、Gr-2、Gr-3、Gr-4和Gr-5可以被设定为为零的值。

图10是根据本发明的一个实施例的示例性流程图。参照图10，示出了包括框1000至1006的流程图。在框1000中，可以针对帧确定并设定长积分时间和短积分时间。还可以针对帧设定高增益和低增益。所述设定可以取决于先前的一个帧或多个帧。先前的帧可以由例如处理器102或数字逻辑块350处理以确定帧可能是全局明亮还是局部明亮。根据亮度的确定，可以将积分时间和增益设定调整到特定值。

如框1002所示，来自例如像素阵列310的模拟信号随后可以由ADC模块330转换为数字数据。数字数据随后可以被储存在线存储器340中。线存储器340中储存的数字数据随后可以被读取并且储存在例如存储器块102a中。线存储器340中的数字数据的读取和储存可以在例如处理器102和/或数字逻辑块350的控制下例如经由编程的I/O或直接存储器访问。

框1004示出了现在可以如参照图8和9描述的将所得到的数字数据分组。分组可以经由例如先前描述的3×3掩模进行。

框1006随后描述了可以如以上的式5所描述的将分组像素规格化。随后可以在框1008中使用规格化的像素以根据例如式3对目标像素进行内插。

因此，本发明的实施例公开了一种新的读出方案，除其他之外，其涉及将至少两个积分时间和至少两个ADC输入范围应用到读出路径以捕获场景的高动态范围信息。为了扩展移动成像传感器上的动态范围，将不同的积分时间应用到不同的像素行，并且将不同的增益应用到不同的像素列。可以根据图像的局部和全局亮度改变积分时间和增益设定。

对于每个像素，可以处理相邻的像素以创建高动态范围像素。结果，输出图像是不会降低空间分辨率的更高动态范围的图像。新的读出方案允许捕获高场景内动态范围的图像而不会改变像素架构。其适用于所有尺寸的像素，并且良好适用于像素尺寸变小、芯片尺寸极为有限并且成本必须极低的移动式传感器。图像重建算法易于实现并且可以与常规的彩色处理算法组合。

在针对帧的所有像素应用不同的增益和积分时间的情况下，描述了本发明的各种实施例。然而，本发明不限于此。例如，当帧的局部部分非常亮时，本发明的各种实施例可以仅针对帧的该局部部分提供动态范围扩展。然而，这可能需要超出用于整个帧的动态范围扩展所需的额外的电路。

尽管已描述了本发明的各种实施例，但是本发明不限于此。例如，尽管已针对示例性实施例讨论了两个积分时间和两个增益值，但是本发明的其他实施例可以具有两个或更多个积分时间和/或两个或更多个增益值。

尽管已参照特定实施例描述了本发明，但是本领域技术人员将理解，在不脱离本发明的范围的情况下，可以进行各种改变并且可以替换等同方案。此外，在不脱离本发明的范围的情况下，可以进行许多修改以针对本发明的教导调节特定的情形或材料。因此，本发明不限于所公开的特定实施例，相反，本发明将涵盖落在所附权利要求的范围内的所有实施例。

Claims (20)

1.一种处理图像的方法，所述方法包括以下步骤：

针对像素阵列中的每个像素设定多个积分时间中的一个以及多个信号增益中的一个；

对于所述像素阵列中的每个像素生成相应的数字数据；以及

从被分组为像素组的像素的所述相应的数字数据对输出数据进行内插，其中，所述像素组包括目标像素和同一彩色平面中的相邻像素。

2.根据权利要求1所述的方法，其中，所述积分时间是长积分时间和短积分时间之一。

3.根据权利要求1所述的方法，其中，所述信号增益是高增益和低增益之一。

4.根据权利要求1所述的方法，其中，所述积分时间的设定和所述信号增益的设定取决于全局亮度信息和局部亮度信息中的至少一个。

5.根据权利要求1所述的方法，其中，所述像素组的目标像素位于3×3阵列的中心。

6.根据权利要求5所述的方法，其中，根据下式对所述目标像素的输出数据进行内插：

其中，Y₂₂是所述目标像素的经内插的数据，x_ij是位于所述像素组的第i行和第j列的像素的规格化的数据，a_ij是位于所述第i行和所述第j列的像素的经确定的权重，其中当a_ij的总和为零时Y₂₂被设定为X₂₂。

7.根据权利要求6所述的方法，其中，根据下式生成像素的所述规格化的数据：

其中，x是像素的所述规格化的数据，h_k(x)是所述像素的所述相应的数字数据，k是积分时间和信号增益的特定组合并且k＝1，2，3或4，并且c_k和d_k是经确定的常数。

8.根据权利要求1所述的方法，其中，动态地设定像素的所述积分时间和所述信号增益。

9.根据权利要求1所述的方法，其中，通过改变可变增益放大器的增益来控制所述信号增益。

10.根据权利要求1所述的方法，其中，通过改变列模数转换器的斜坡信号的斜率来控制所述信号增益。

11.一种用于处理图像的系统，所述系统包括：

像素配置电路，其被使能为针对像素阵列中的每个像素设定多个积分时间中的一个以及多个信号增益中的一个；

列模数转换器，其被使能为针对所述像素阵列中的像素生成相应的数字数据；以及

数字处理电路，其被使能为从被分组为像素组的像素的所述相应的数字数据对输出数据进行内插，其中，所述像素组包括目标像素和同一彩色平面中的相邻像素。

12.根据权利要求11所述的系统，其中，所述积分时间是长积分时间和短积分时间之一。

13.根据权利要求11所述的系统，其中，所述信号增益是高增益和低增益之一。

14.根据权利要求11所述的系统，其中，所述积分时间的设定和所述信号增益的设定取决于全局亮度信息和局部亮度信息中的至少一个。

15.根据权利要求11所述的系统，其中，所述像素组的所述目标像素位于3×3阵列的中心。

16.根据权利要求15所述的系统，其中，所述数字处理电路根据下式对所述目标像素的输出数据进行内插：

其中，Y₂₂是所述目标像素的经内插的数据，x_ij是位于所述像素组的第i行和第j列的像素的规格化的数据，a_ij是位于所述第i行和所述第j列的像素的经确定的权重，其中当a_ij的总和为零时Y₂₂被设定为X₂₂。

17.根据权利要求16所述的系统，其中，所述数字处理电路根据下式生成像素的规格化的数据：

其中，x是像素的所述规格化的数据，h_k(x)是所述像素的所述相应的数字数据，k是积分时间和信号增益的特定组合并且k＝1，2，3或4，并且c_k和d_k是经确定的常数。

18.根据权利要求11所述的系统，其中，动态地设定像素的所述积分时间和所述信号增益。

19.根据权利要求11所述的系统，其中，通过改变可变增益放大器的增益来控制所述信号增益。

20.根据权利要求11所述的系统，其中，通过改变列模数转换器的斜坡信号的斜率来控制所述信号增益。

Images