CN102016876B - 用于处理从机动车内向外摄取到的图像信息的方法和装置 - Google Patents

Abstract

本发明涉及一种用于改进特别是驾驶员辅助系统的驾驶员辅助功能的方法以及由摄像机(24)和计算机单元构成的相应装置，所述驾驶员辅助系统基于从机动车内向外摄取到的视频图像(23)。根据本发明提出，为了改善下雨时的功能，刮水器(4)通过摄像机图像(1)被用于将各个图像和/或图像部分(2，3)分级为在质量方面高品质的或者在质量方面低品质的，以便改进来自摄像机(24)的图像(1)的质量。摄像机(24)的图像用于自动的驾驶员辅助系统(25)。

Description

用于处理从机动车内向外摄取到的图像信息的方法和装置

技术领域

本发明涉及用于处理从机动车内向外摄取到的图像信息的方法和装置。

背景技术

对于机动车中很多不同驾驶员辅助系统而言，需要机动车环境的图像数据，这些图像数据由摄像机提供。这些图像数据有助于车道的保持(LDW或Lane-Departure-Warning：车道偏离报警)，以便警告驾驶员例如自身的过度疲劳；有助于自动的车道控制(LKS或Lane-Keeping-Support：车道保持支持)，例如作为自动的机动车转向的一部分；有助于识别道路交通指示牌(RSR、Road-Sign-Recognition：道路标记识别)或者也有助于具有物体识别和警报功能的主动夜视支持。用于夜视支持的图像数据由具有夜视功能的摄像机提供。

具有基于摄像机的、基于机动车环境的图像数据的主动识别功能的所有系统的共同之处在于这些系统对可供使用的图像质量非常敏感。对于道路标记或者分隔线的识别，也如同在识别道路交通指示牌时，驾驶员视野中在质量方面高品质的图像是必需的。因为为此而使用的摄像机大多位于风挡玻璃的上部中间或者位于机动车的特意设置的凹槽中，所以摄像机透过风挡玻璃的视野不比驾驶员本身更好。因此，所述系统的性能在下雨时显著下降，因为摄像机的光程被严重干扰并且由此完全不再识别分隔线或者仅仅不稳定地识别分隔线并且根本检测不到道路指示牌。

特别地，机动车环境的在下雨时由于被雨淋湿的风挡玻璃而部分严重畸变的图像使得上述驾驶员辅助系统不能分析所摄取的图像或者仅仅不充分地分析所摄取的图像，或者风挡玻璃上的雨滴具有如同局部透镜那样的作用并且使摄像机如此严重地炫光(blenden)，使得不再可以摄取到可用的图像。

由DE 10219788公开了以下技术：通过对比度的分析处理来分析处理图像信息，从而可以确定有效的视野范围，以便整个单元可以将可用的图像信息与不可用的图像信息分开。但是，通过所述技术不可以实现驾驶员辅助功能的真正改进。

发明内容

本发明提出一种用于改进特别是驾驶员辅助系统的驾驶员辅助功能的方法，所述驾驶员辅助系统基于从机动车内向外摄取到的视频图像。在此，通过各个视频图像或者各个图像的区域的加权或者选择将对于驾驶员辅助功能而言可供使用的图像数据划分为在质量方面较好或者较差的图像数据。

本发明利用刮水器的作用。可以在风挡玻璃被刮水器刮拭之后紧接着获得较好质量的图像。成像刮水器阴影的图像已经具有较高质量的部分和较低质量的图像部分。因此，在摄取这些图像时重要的是：将较高质量的图像或者图像部分与由于风挡玻璃上的湿气而畸变或者甚至不能用的图像或者图像部分区分开。

与此相应地，提出一种用于从机动车内向外摄取图像信息的装置，其具有至少一个摄像机和至少一个计算机单元，其中，所述计算机单元将来自摄像机的图像信息划分为各个图像单元并且对每个单独的图像单元实施统计计算，其中，所述计算机单元使用所述统计计算的数据来判断在所述图像单元中是否存在刮水器阴影以及图像信息的质量是高还是低。因此优选检验：图像信息的质量等级大于还是小于质量等级的一个预给定的阈值。

在从属权利要求中说明本发明的其它有利构型。

为了实施所述方法，在视频传感器的后面连接一个计算机单元，所述计算机单元分析处理图像信息。所述分析处理导致对视频传感器的图像信息中的刮水器阴影的检测，并且对图像信息中的刮水器阴影的位置和时刻的检测被用于将具有高质量的整个图像或者各个图像区域与具有低质量的图像或者图像区域区分开。这优选通过以下方式进行：区分图像或者图像区域的质量等级大于还是小于一个预给定的阈值。如果质量等级大于一个预给定的阈值，则存在具有高质量的图像或者图像部分。如果质量等级小于用于质量的预给定的阈值，则存在具有低质量的图像或者图像部分。

在单个图像中，所述区分通过刮水器阴影对所述单个图像的空间划分来实现，其中，在质量方面高品质的图像区域刚刚才被刮水器刮拭过，而在质量方面低品质的图像区域在较长时间以前被刮水器刮拭过或者甚至处于即将刮拭之前，其中，可供使用的图像由于刮水器前波而特别差。在最简单的情况中，计算机单元将图像划分为各个图像区域、优选划分为彼此接触的扇形(Kreissegment)，并且所述计算机单元确定每个单独的图像区域的亮度直方图。由直方图可以求得，扇形的图像区域是否被刮水器以扇形遮盖。

为了确定刮水器是否已经遮盖图像，分析处理每个图像区域的直方图，并且与周围图像区域相比显著更多数量的暗的像点指示出所述图像区域中的刮水器或者刮水器的一部分。为了由表示所有像点的亮度值分布的直方图来确定具有主要暗的像点或者主要亮的像点，可以将所述直方图与另一直方图进行相关，其中，所述另一直方图表示由刮水器遮蔽的图像区域的理想亮度分布。在刮水器或者其阴影被计算机单元肯定地(positiv)检测到之后，计算机单元可以将具有低图像质量的图像区域进行分类，因为刚刚被刮水器刮拭过的图像区域通常具有较好的并且未因为潮湿的风挡玻璃而发生畸变的图像。

在通过驾驶员辅助系统分析处理图像数据时，为了产生驾驶员辅助信号，使具有较好质量的图像数据的图像区域比具有较差质量的图像数据的图像区域更强地加权。驾驶员辅助系统中所使用的用于图像分析处理的算法确定这些不同质量的图像或者图像区域的最佳加权方式，原则上可以在算法中在两个地方进行所述加权。不同质量的图像或者图像区域可以共同借助一个相应于加权的数字进入用于分析的算法，或者在没有加权信息的情况下通过算法分析处理这些图像并且借助于关于经分别分析的图像的品质的信息自加权借助所选择的算法进行分析的结果。最后，也可以一起使用两个用于加权的方法。通过以下详细解释的加权，能够以更高的可靠性实施道路指示牌的识别或者分隔线的识别，因为驾驶员辅助信号在较大程度上受在质量方面高品质的图像影响而仅仅在较小程度上受在质量方面较差的图像影响。

在摄取彼此相继的图像时，可以通过使图像摄取与刮水器运动在时间上同步来改善图像数据的加权。对此，以有利的方式使用PLL方法，即软件实现的锁相环(Phase Locked Loop：PLL)，所述PLL方法使相位计数器与肯定的刮水器检测的结果彼此同步。特别是在不可以提供关于刮水器位置的精确信息的机动车中，所述方法适用于与来自视频传感器的各个图像并行地向用于图像分析处理的算法提供关于刮水器相对刮水器循环中的图像摄取的相位的信息。对于很多在时间上跨越多个刮水器循环的图像的序列，如此根据刮水器相位得出这些图像在时间上周期性的加权，其中，在时间上在刮水器刮拭之后紧接着摄取到的图像通过相位计数器的相关以刮水器频率以比紧邻近地在刮水器刮拭之前摄取到的图像更高的加权系数进入图像分析。

为了借助于PLL方法使各个图像的加权同步，将两个信号的相位进行相互比较并且使一个信号匹配于另一个信号，直到在两个信号之间具有稳定的相位关系。第一个在此应用的信号来自刮水器检测的算法，所述刮水器检测在一个完整的刮水器循环内两次短时间地显示逻辑值“真”，即，当刮水器一次在第一次刮拭过去时刮拭视频传感器的图像以及一次在第二次往回刮拭时刮拭所述图像的时候显示逻辑值“真”。相应地，在逻辑值“真”之间，刮水器循环的检测信号显示逻辑值“假”，即，当刮水器没有成像在图像中的时候显示逻辑值“假”。用于同步的第二信号是相位计数器，所述相位计数器可以在一个刮水器循环内的任一点开始并且可以通过相位计数器的界限内的任一频率来计数相位。因为刮水器通过它的机械设置对于刮水器相位的一个预先确定的份额位于图像中，对于所述份额使相位计数器对应于逻辑值“真”而对于剩余的相位份额使相位计数器对应于逻辑值“假”。此后，PLL算法改变相位计数器的相位以及频率，直到可能随着刮水器通过雨水传感器控制装置在其频率方面发生改变的刮水器检测信号同步运行为止。关于PLL算法的详细解释参阅专业文献。在图像信息的加权时，相位计数器的由PLL算法产生的信号被用于加权图像信息。在此，通过表或者通过闭函数给相位计数器的每个相位值分配一个加权值，使得对于每个图像首先存在关于刮水器运动的明确的相位关系，即，以例如通过0至2π、0°至360°表达的相位的形式或者直接的数字的形式，并且通过所述相位关系给图像分配一个例如0至1区间内的加权系数，这代表图像信息的可用性，其中，在上述例子中0代表完全不可用而1代表完全可用。

通过同步可以预测摄取到的图像的刮水器刮拭。通过获知何时发生下一次刮水器刮拭，可以给刮水器刮拭之后的第一个图像分配高的质量度量并且借助时间上的衰减函数在其质量标准方面评价时间上随后的图像，使得紧邻近另一次刮水器刮拭之前的图像在其质量标准方面被评价为最小的。只要可以从机动车的电总线系统中得出关于车窗风扇是否已接通的数据，则有利的是，不将刮水器检测之后的第一个图像在质量方面评价为最高的，而将比刮水器刮拭之后的第一个图像在时间上更长摄取的图像在质量方面评价为最高的。因为车窗风扇导致可能在刮拭之后残留的刮拭条纹蒸发。因此，相对于刮水器刮拭在时间上向后推延在质量方面评价为最好的图像。

在方法的构型中，除了用于产生用于检测刮水器的信号的直方图分析处理和接着用于产生用于加权的系数的、刮水器位置与刮水器频率的同步，也可以通过确定噪声系数在其质量方面评价各个图像区域。在此，具有高噪声系数的图像在质量方面比具有低噪声系数的图像品质更低。可以与刮水器的检测无关地实施所述噪声系数的确定。

为了进一步改进质量确定，还可以实施可信度检验，这些可信度检验例如利用由同步预期的两个刮水器过度(Scheibenwischerübergang)之间的时间在内容上检验质量确定。长时间未被刮水器刮拭的图像或者图像区域在质量方面肯定比在最后的刮水器刮拭刚刚过去时摄取到的图像或者图像区域更差。对于可信度检验，同样可以考虑图像区域的位置。相对刮水器的路径位于刮水器之前的图像区域肯定比紧挨着位于运动的刮水器之后的图像区域更差。

在本发明的特殊构型中，刮水器的角度传感器数据用于相位计数器与加权的同步。在此，由与刮水器连接的角度传感器读出刮水器的当前定位角度(Stellwinkel)并且使相位计数器与所述信号同步。

为了进一步提高通过驾驶员辅助系统分析处理图像数据的质量，可以将调节刮水器频率的、常规的雨水传感器与所述系统连接。为了相位计数器的同步，考虑所述信号，以便在根据变化的下雨情况而发生改变的刮水器频率与相位计数器之间尽可能快地建立稳定的相位关系。在此，与刮水器控制装置耦接的雨水传感器的作用在于，刮水器不比所需更频繁地刮拭视频传感器的图像，因为在小雨时刮水器的过高频率可以导致摄取到的图像的大量低评价，因为刮水器比所需更频繁地拭过摄像机图像并且由此使往往大量图像部分不必要地恶化。

另一改进实现了摄像机的曝光控制装置与刮水器的同步。未经同步的曝光控制装置可以通过往复的刮水器阴影开始振荡，并且在刮水器通过时增强感兴趣的物体的曝光而在两次遮盖之间将感兴趣的物体的曝光减小到经调节的程度上。但是，只要使曝光控制装置同步，则位于刮拭的刮水器后面的、在质量方面高品质的图像部分可用于分析处理，其中，所述图像部分接合到具有经调节的曝光的其它图像部分中并且由于欠曝光或者过曝光造成的人为现象不接合到分析处理中。

附图说明

根据附图详细解释本发明。

附图示出：

图1：具有在其中成像的刮水器阴影的、用于驾驶员辅助系统的摄像机的简略图像，

图2：图像的扇形示例性划分，

图3：图像加权功能的框图，

图4：用于解释图像质量下降的示意图，

图5：根据本发明的实施形式用于改进图像信息的装置的驾驶员辅助系统的框图。

具体实施方式

图1中示出了简略的摄像机图像1，所述摄像机图像用于驾驶员辅助系统，例如RSR、LDW或者LKS。摄像机图像1具有图像区域2和图像区域3，所述图像区域2具有非常差的质量而所述图像区域3具有较好质量。两个图像区域2和3通过刮水器阴影4彼此分开，其中，刮水器阴影4从右向左滑过图像1。在较好质量的图像区域3中存在可识别为机动车尾部和道路标记的各个图像组成部分5和6。在较差质量的图像区域2中同样可以看到图像组成部分7，所述图像组成部分7仅仅可隐约地识别为另一机动车尾部，因为在透过其摄取图像1的风挡玻璃上的雨水使视野畸变到无法识别。除了畸变，在具有较差质量的图像区域2中存在暂时的水滴8和9，这些水滴具有如同透镜那样的作用并且聚焦在前行驶的机动车的光并且可能使摄像机的曝光控制装置炫光。对于通过图5中的驾驶员辅助系统300进行的分析处理，具有较差质量的图像区域2几乎不可用，但至少以非常小的加权进入到图像分析中。

为了检测刮水器阴影4的通过，在图2中示出了如何将图像1的部分区域划分为扇形11、12、13、14、15、16、17、18、19、20、21和22，其中，如此选择大小，使得宽度位于刮水器成像的数量级上。扇形11、12、13、14、15、16、17、18、19、20、21和22以有利的方式如此布置，使得它们定向在刮拭摄像机图像的刮水器4的定向上。因此，可以将这些扇形进行分组，只要刮水器阴影4刮拭过摄像机图像1，则图像区域11、12、13、14、15、16、17、18、19、20、21和22的直方图大致具有直方图14′。相反，由刮水器阴影4遮盖的图像区域大致具有直方图19′。通过每个直方图与由刮水器遮盖的图像区域的理想直方图的相关，用于刮水器检测的功能产生其信号，其中，高的相关度导致正的检测信号，低的相关度相反导致负的检测信号。

在图3中示出了图像加权功能的框图30。来自视频传感器24的视频图像23直接提供给驾驶员辅助功能25和刮水器检测功能26。刮水器检测功能26与视频图像23被刮水器的实际刮拭直接耦接。来自刮水器检测功能26的信号进入到软件实现的PLL 27中，所述PLL 27产生一个相位计数器信号并且使所述相位计数器信号与刮水器检测功能26的信号同步。可选地，所述PLL 27包含雨水传感器的雨水潮湿检测的附加信号28，用于改变雨水传感器的刮水器频率。经同步的相位计数器信号随后进入到驾驶员辅助功能25中，在那里给所述信号分配一个加权系数。所述加权系数用于加权视频图像23以进行分析处理并且由此用于改进驾驶员辅助功能的输出信号29。

在图4中示出了图像质量的质量度量q的时间变化，其中，在横坐标上绘出在此未详细定义的质量度量q而在纵坐标上绘出时间t或者视频传感器的各个图像的序列。在跃变点40和41上，图像被刮水器刮拭。在图4中的示意图中，摄像机10每半个刮水器周期摄取图像。每次刮水器刮拭之后的第一个图像具有最高的质量度量，所述质量度量记录在点42a、42b和42c上。在图中向右，所记录的点42a、42b和42c后面是具有最后一次刮水器刮拭之后随着增长的时间越来越差的质量的图像。质量的下降通常遵循典型的衰减曲线，其中，精确的变化取决于很多不同的参数，如风挡玻璃的表面质量、刮水器的老化、下雨的强度、雨滴的大小、落到风挡玻璃上的水的污染程度、风挡玻璃上清洁剂的残留以及其他在此未列举出的参数。在此，0°至360°或者0至2π的刮水器循环包括从第一跃变点、例如39直到再下一个跃变点、例如41的变化，因为刮水器在一个循环中两次刮拭过图像。因为刮水器仅仅在一个确定的角度内往复振荡，所以0°至360°的循环根据刮水器在机械上如何构造相应于刮水器相对水平线的、约0°至约90°的实际位置。

最后在图5中示出了风挡玻璃50的视图，具有绘出的刮水器51和在上部中间示出的摄像机100。摄像机100透过风挡玻璃50摄取图像，以便摄取机动车环境中的细节，所述机动车环境由驾驶员辅助系统300分析处理，并且在可光学地、声学地或者触觉地构造的人机界面(human machineinterface，HMI)400上向驾驶员示出分析处理的结果以进行支持。为了改进用于驾驶员辅助系统300的图像信息，在驾驶员辅助系统与摄像机之间接入计算机单元200，所述计算机单元分析以及如此组织摄像机100的摄像机图像，使得在驾驶员辅助系统中仅仅在质量方面高品质的图像被较高地加权。

Claims (13)

1.用于处理从一机动车内向外摄取到的图像信息（1）的方法，具有

用于在所述图像信息（1）中检测一刮水器（4）的至少部分的步骤，

以及通过一检测到的刮水器阴影（4）将一单个图像的图像信息（1）在空间上划分为在质量方面高品质的（3）图像信息和在质量方面低品质的（2）图像信息的步骤，

其中，所述刮水器阴影将相对刮水器路径位于所述刮水器之前的、具有在质量方面低品质的图像信息的第一图像区域与紧挨着位于运动的刮水器之后的、具有在质量方面高品质的图像信息的第二图像区域分开。

2.根据权利要求1所述的方法，其特征在于，使一相位计数器与一刮水器（4）的两次彼此相继进行的检测之间的时间间隔同步，其中，借助于所述相位计数器将在一摄取到的图像通过所述刮水器刮拭之后紧接着摄取到的图像信息（3）分级为在质量方面最高品质的，将紧邻近地在一摄取到的图像通过所述刮水器刮拭之前摄取到的图像信息（2）分级为在质量方面最低品质的。

3.根据权利要求2所述的方法，其特征在于，根据对一刮水器（4）的检测交替地确定所述图像信息的质量，其中，在图像中检测到所述刮水器时实施所述空间上的划分以及在图像中未检测到一刮水器时借助于经同步的相位计数器实施所述质量分级。

4.根据权利要求1所述的方法，其特征在于，通过确定各个图像部分（2，3）的噪声系数来检测一刮水器，其中，将显示一高噪声系数（2）的图像部分（2，3）分级为在质量方面较低品质的以及将显示一低噪声系数（3）的图像部分分级为在质量方面较高品质的。

5.根据权利要求1所述的方法，其特征在于，通过将所述图像信息（1）划分为各个图像部分（11，12，13，14，15，16，17）来检测一刮水器（4），以及接着确定每个单独的图像部分（11，12，13，14，15，16，17）的亮度直方图（18，19），其中，将与其它图像部分相比具有低曝光的图像部分评价为被所述刮水器（4）遮盖。

6.根据权利要求1至4中任一项所述的方法，其特征在于，附加地进行不同图像区域（2，3）的质量分级的可信度检验，其中，使用所述图像区域（2，3）的位置、最后检测到刮水器的时间和/或同步参数中的时间进行可信度评判。

7.根据权利要求2至4中任一项所述的方法，其特征在于，当存在关于一接通的车窗风扇的数据时，推延被分级为在质量方面高品质的图像信息，这些图像信息在一比通过所述刮水器（4）刮拭之后紧接着摄取更晚的时刻被摄取。

8.根据权利要求2至4中任一项所述的方法，其特征在于一软件实现的PLL同步，在所述PLL同步中将图像中的所述刮水器的检测与一图像计数器的期满进行比较，其中，如果所述图像计数器的期满与所述刮水器的检测在时间上不同时发生，则确定一相位差，并且在此情况下通过改变待计数的图像的数量来改变所述图像计数器的期满，直到图像中的所述刮水器的检测与所述图像计数器的期满在时间上同时发生为止。

9.根据权利要求2至4中任一项所述的方法，其特征在于所述质量分级与所述刮水器（4）的角度传感器数据的同步。

10.根据权利要求2至4中任一项所述的方法，其特征在于曝光参数与所述刮水器（4）的检测的同步。

11.用于处理从一机动车内向外摄取到的图像信息的装置，具有：

用于在所述图像信息（1）中检测一刮水器（4）的至少部分的第一单元；

通过一检测到的刮水器阴影（4）将一单个图像的图像信息（1）在空间上划分为在质量方面高品质的（3）图像信息和在质量方面低品质的（2）图像信息的第二单元，

其中，所述第二单元通过所述刮水器阴影将相对刮水器路径位于所述刮水器之前的、具有在质量方面低品质的图像信息的第一图像区域与紧挨着位于运动的刮水器之后的、具有在质量方面高品质的图像信息的第二图像区域分开。

12.根据权利要求11的装置，其中，所述装置附加地使用时间数据以进行统计计算，并且使用同步形式的所述时间数据以通过预测来改进单独的图像部分中的所述刮水器的检测。

13.根据权利要求12的装置，其中，所述装置使用PLL同步形式的所述时间数据以通过预测来改进单独的图像部分中的所述刮水器的检测。