CN101494794A - 获得图像的设备和方法以及处理图像的设备和方法 - Google Patents
获得图像的设备和方法以及处理图像的设备和方法 Download PDFInfo
- Publication number
- CN101494794A CN101494794A CNA2008101869254A CN200810186925A CN101494794A CN 101494794 A CN101494794 A CN 101494794A CN A2008101869254 A CNA2008101869254 A CN A2008101869254A CN 200810186925 A CN200810186925 A CN 200810186925A CN 101494794 A CN101494794 A CN 101494794A
- Authority
- CN
- China
- Prior art keywords
- exposure
- image
- picture signal
- colour element
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 title claims abstract description 16
- 206010044565 Tremor Diseases 0.000 claims abstract description 42
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 239000006231 channel black Substances 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Abstract
提供了一种获得图像和设备和方法以及处理图像的设备和方法。所述图像获得设备包括:传感器,通过使用彩色滤光片检测像素阵列值,所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素;曝光控制器,控制彩色像素和参考像素的曝光时间;图像产生器,从检测的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。因此,能够进行手抖函数的准确估计,从而实现高质量彩色图像恢复。
Description
本申请要求于2008年1月22日在韩国知识产权局提交的10-2008-0006478号韩国专利申请的优先权,该申请全部公开于此以资参考。
技术领域
本发明涉及一种获得和处理图像的设备和方法,更具体地,涉及一种通过有效地处理在低光照等级获得的图像来获得高质量彩色图像的设备和方法。
背景技术
随着数字相机的使用的增多,有更多机会在低光照情况(诸如,弱光的室内或夜晚)下进行拍摄。此外,相机用户对于能够在甚至是低光照条件下获得清晰的图像的功能的需求增加。因此,相机制造商竞相研究和开发在低光照下具有优越性能的数字相机。然而,由于稳定由拍摄者的手抖或由去除拍摄的图像的噪声造成的不稳定图像会限制得到清晰的图像。
发明内容
提出本发明以克服上述问题,其目的在于提供一种获得互相对齐的长曝光彩色图像和短曝光参考图像的设备和方法,以不改变相机的现有结构而在低光照下恢复高质量的更清晰的彩色图像。
本发明还提供一种处理图像的设备和方法,以通过使用互相对齐的长曝光彩色图像和短曝光参考图像获得清晰的彩色图像。
本发明公开了一种图像获得设备,包括:传感器,通过使用彩色滤光片检测像素阵列值,所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素;曝光控制器,控制彩色像素和参考像素的曝光时间;图像产生器,从检测的像素阵列值中产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
本发明还公开了一种获得图像的方法,该方法包括:通过控制用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的曝光时间来获得像素阵列值,所述彩色像素和参考像素包括在彩色滤光片中;以及通过使用获得的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
本发明还公开了一种图像处理设备,包括:图像获得单元,通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号;函数估计单元,通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数;图像恢复单元,通过使用估计的手抖函数对长曝光彩色图像信号执行去卷积来产生恢复的图像信号。
本发明还公开了一种处理图像的方法,该方法包括:通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号;通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数;以及通过使用估计的手抖函数对长曝光彩色图像信号执行去卷积来产生恢复的图像信号。
附图说明
被包括以提供对本发明进一步理解并合并于此的附图是本说明书的一部分,示出本发明的示例性实施例,并与本发明的描述一起用于解释本发明的各个方面。
图1是示出根据本发明实施例的图像获得设备的框图;
图2A和图2B示出根据本发明实施例的用于获得图像的方法的彩色滤光片阵列的配置;
图3A和图3B是根据本发明实施解释例如何控制每个彩色滤光片的曝光时间的示图;
图4示出如何从使用黑和白像素作为参考像素的彩色滤光片的像素阵列值产生具有相同分辨率的长曝光彩色图像和短曝光单色图像;
图5是根据本发明实施例的图像处理设备的框图;
图6是根据本发明实施例的使用像素阵列值获得恢复的图像的方法的流程图;
图7是根据本发明实施例的获得图像的方法的流程图;
图8是根据本发明实施例的处理图像的方法的流程图;
图9示出依照本发明的根据获得和处理图像的方法获得的图像。
具体实施方式
以下参照示出本发明的示例性实施例的附图来更全面地描述本发明。在以下对本发明的描述中,当认为描述模糊本发明的观点时,将省略对该领域的技术人员共知的相关功能或结构的详细描述。考虑本发明中的组件的功能来定义在此使用的术语,可根据使用者或操作者的意图或习惯改变所述术语。
图1是示出根据本发明实施例的图像获得设备100的框图。参照图1,图像获得设备100包括传感器110、曝光控制器120和图像产生器130。
可用以下等式1表示将图像输入到图像获得设备(诸如,数字相机)。
等式1
图像获得设备100期望获得作为完全对齐的图像的长曝光图像和短曝光图像。通过拍摄需要准确估计手抖的PSF的相同场景来获得长曝光图像和短曝光图像。众所周知,如果用于PSF估计的获得的图像信号没有被正确对齐,则PSF估计的准确度会大幅地降低。
传感器110通过获得经由形成彩色滤光片的像素发送的作为彩色信息的像素阵列值来感测图像。传感器110包括感测图像的图像传感器,诸如电荷耦合器(CCD)或互补金属氧化物半导体(CMOS)。彩色滤光片可如典型的数字相机一样被放置在图像传感器的光学元件的前方。
根据本发明的当前实施例,彩色滤光片可以是常规使用的彩色滤光片。例如,包括在彩色滤光片中的彩色像素包括红(R)像素、绿像素(G)和蓝像素(B)。通常,由彩色滤光片获得的像素阵列值仅用于获得彩色图像。
然而,在本发明中,控制用于包括在彩色滤光片中的像素的曝光时间以获得互相正确对齐的彩色图像和参考图像。参考图像是被参考用于估计手抖(以下称为“手抖函数”)的PSF的图像。
通过短曝光创建参考图像,从而将被用于获得参考图像的参考像素可以是能够发送具有高感光度的光的像素。例如,参考像素可以是黑和白(W)像素或绿(G)像素。然而,只要手抖函数可被有效地估计,彩色滤光片的类型或系统,或形成彩色滤光片的像素的颜色都可以以不同方式被改变。
因此,通过使用由R、G、B和W像素形成的彩色滤光片的阵列,传感器110可获得三通道长曝光彩色像素阵列值和单通道短曝光单色阵列值。
曝光控制器120控制传感器110的彩色像素和参考像素的曝光时间。曝光控制器120同步彩色像素和参考像素的曝光开始时间,并控制彩色像素的曝光时间长于参考像素的曝光时间。在这种情况下,由于在实质上短时间内获得参考图像,故曝光控制器120可控制传感器110感测具有高感光度的参考图像。
此外,曝光控制器120可控制传感器110,故在保持曝光彩色像素的同时,可重复发生参考像素的短曝光。可通过研究通过重复参考像素的短曝光获得的参考图像的改变的信息来估计手抖的轨迹,关于估计的手抖的轨迹的信息可被用作手抖函数的初始信息。
图像产生器130从感测的像素阵列值产生互相正确对齐的长曝光彩色图像和短曝光参考图像。根据本发明的当前实施例,图像产生器130对通过彩色像素和参考像素检测的像素阵列值执行插值,并产生彩色像素的各个颜色的长曝光参考图像信号和短曝光图像信号。
如上所述,根据本发明的当前实施例,由于可获得互相完全对齐且具有相同开始时间的长曝光彩色图像和短曝光参考图像,故从开始就避免了对齐错误,从而以后不需执行对齐图像的附加过程。
图2A和图2B示出根据本发明实施例的用于获得图像的方法的彩色滤光片阵列的配置。
图2A示出包括R、G、B和W像素的彩色滤光片阵列。在图2A中,R、G和B像素被用作彩色像素,W像素被用作参考像素。
图2B示出包括R、G和B像素的彩色滤光片阵列。在图2B中,R、G1和B像素被用作彩色像素,G2像素被用作参考像素。此外,在图2B中,由于G1像素被用作彩色像素且G2像素被用作参考像素,故分别示出都是G像素的G1和G2像素。
图3A和图3B是根据本发明实施例解释如何控制每个彩色滤光片的曝光时间的示图。
在图3A和图3B中,水平轴表示时间。如图3A所示,曝光控制器120将彩色像素(R、G和B像素)和参考像素(W或G2像素)的曝光开始时间彼此同步,并控制彩色像素(R、G和B像素)的曝光时间长于参考像素(W或G2像素)的曝光时间。
此外,为了获得如图3B中所示的手抖函数的初始信息,曝光控制器120可控制传感器110使得在曝光彩色像素的同时重复发生参考像素的短曝光。
图4示出如何从使用黑和白像素作为参考像素的彩色滤光片的像素阵列值产生具有相同清晰度的长曝光彩色图像和短曝光单色图像。
如图4所示,拜尔型(Bayer-type)彩色滤光片可通过将从彩色像素阵列410获得的像素阵列值插值来产生三通道长曝光RGB彩色图像420和单通道黑白图像430。
图5是根据本发明实施例的图像处理设备500的框图。
图像处理设备500包括图像获得单元510、函数估计单元520和图像恢复单元530。
图像获得单元510具有与图1中的图像获得设备100的结构相应的结构。图像获得单元510具有包括用于获得彩色图像的彩色像素和用于获得用于估计手抖函数的参考图像的参考像素的彩色滤光片,控制彩色像素的曝光时间和参考像素的曝光时间以获得互相正确对齐的长曝光彩色图像信号和短曝光参考图像信号。
图像获得单元510同步彩色像素和参考像素的曝光开始时间,并控制彩色像素的曝光时间长于参考像素的曝光时间,以获得长曝光彩色图像信号和短曝光参考图像信号。
函数估计单元520使用长曝光彩色图像信号和短曝光参考图像信号估计手抖函数。
根据本发明的当前实施例,可通过最小化对象函数的等式(诸如,以下满足ki≥0且 的等式2)计算手抖函数。
等式2
这里,∑i||ki||2是用于稳定解的Tikhonov正则化项,且参数λ可被固定为3。然而,Tikhonov正则化项仅是示例,能够表示手抖函数的特点的任何其它项也能够被用作为正则化项。此外,参数可以是固定值,但是也可以是在优化期间在每次重复时改变的值。
根据本发明的当前实施例,表示长曝光彩色图像信号的值取代B,表示短曝光参考图像信号的值取代I,从而可估计手抖函数。
同时,根据本发明的当前实施例,在曝光彩色像素的同时,通过重复发生参考像素的短曝光来获得参考图像,关于参考图像的信息被用作手抖函数的初始信息,从而可更准确和快速地估计手抖函数。
为此,图像获得单元510通过在曝光彩色像素的同时重复参考像素的短曝光来收集多个短曝光参考图像信号。随后,由于获得已经以预定时间间隔拍摄的参考图像的信号,故函数估计单元520通过使用收集的参考图像信号根据运动估计方法来追踪手抖的轨迹。追踪的手抖的轨迹被用作手抖函数的初始信息,从而可更准确和快速地估计手抖函数。
图像恢复单元530使用估计的手抖函数对通过图像获得单元510获得的长曝光彩色图像信号执行去卷积,并产生恢复图像信号。
此外,根据本发明的当前实施例,可对用于估计手抖函数的长曝光彩色图像信号和短曝光参考图像信号执行以下处理。
首先,函数估计单元520减小长曝光彩色图像信号和短曝光参考图像信号的噪声。随后,函数估计单元520将减噪的长曝光彩色图像信号转换为长曝光单通道图像信号,以统一用于估计手抖函数的图像信号的通道数。
可使用各种方法统一图像信号的通道数。例如,在长曝光彩色图像中,可使用三个通道中的一个(例如,红、绿和蓝)的图像,或RGB图像的平均图像可被产生为单通道图像。或者,RGB图像可被转换为灰度图以产生单通道图像。
接下来,函数估计单元520通过使用转换的长曝光单通道图像信号和减噪的短曝光参考图像信号估计手抖函数。
图6是根据本发明实施例的使用像素阵列值获得恢复的图像的方法的流程图。在图6中,对通过使用如图4所示的RGBW像素阵列产生的图像执行处理。根据本发明的当前实施例,通过使用RGBW像素阵列获得的单色(W)像素阵列和RGB像素阵列互相完全对齐。
将从单色像素阵列获得的像素阵列值插值以产生短曝光黑白图像img_white_SET,即是,参考图像(操作S610)。随后,将从RGB像素阵列获得的像素阵列值插值以产生长曝光彩色图像img_rgb_LET(操作S620)。
减小单通道黑白图像的噪声以获得减噪的短曝光黑白图像img_white_SET_NR(操作S630)。此外,同样通过减小长曝光彩色图像img_rgb_LET的噪声获得减噪的长曝光彩色图像img_rgb_LET_NR(操作S640)。在这种情况中,考虑到短曝光黑白图像具有短曝光时间,从而具有比长曝光彩色图像更多的噪声的事实,对短曝光黑白图像使用噪声减小滤波器。
由于长曝光彩色图像img_rgb_LET_NR具有三通道且短曝光黑白图像img_white_SET_NR具有单通道,故长曝光彩色图像img_rgb_LET_NR和短曝光黑白图像img_white_SET_NR需要具有相同的通道数以估计手抖的PSF,即,手抖函数。为此,在长曝光彩色图像img_rgb_LET_NR上执行灰度转换以产生灰度图象img_gray_LET(操作S650)。
随后,使用减噪的短曝光黑白图像img_white_SET_NR和灰度图象img_gray_LET估计手抖的PSF(操作S660)。使用估计的PSF和已经获得的长曝光彩色图像img_rgb_LET_NR产生恢复的彩色图像(或恢复的RGB图像)(操作S670)。
图7是根据本发明实施例的获得图像的方法的流程图。
通过控制包括在彩色滤光片中的彩色像素和参考像素的曝光时间获得像素阵列值(操作S710)。在这种情况下,彩色像素用于获得彩色图像且参考像素用于获得参考图像以进行手抖函数估计。为了在操作S710中控制曝光时间,使彩色像素和参考像素的曝光开始时间彼此同步,且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
通过使用获得的像素阵列值获得互相正确对齐的长曝光彩色图像信号和短曝光参考图像信号(操作S720)。根据本发明的当前实施例,在操作S720,可对从彩色像素和参考像素获得的像素阵列值执行插值,以产生彩色像素的各个彩色的长曝光图像信号和短曝光图像信号。
图8是根据本发明实施例的处理图像的方法的流程图。
控制包括在彩色滤光片中的彩色像素和参考像素的曝光时间以获得互相正确对齐的长曝光彩色图像信号和短曝光参考图像信号(操作S810)。在这种情况中,彩色像素用于获得彩色图像且参考像素用于获得参考图像以进行手抖函数估计。此外,使彩色像素和参考像素的曝光开始时间彼此同步,且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数(操作S820)。
通过使用估计的手抖函数对长曝光彩色图像信号执行去卷积以产生恢复的图像信号(操作S830)。
在操作S810,在曝光彩色像素的同时,通过重复参考像素的短曝光来收集多个短曝光参考图像信号。随后,在操作S820,使用获得的参考图像信号来追踪手抖的轨迹,所述轨迹信息可被用作手抖函数的初始信息。因此,可更准确和快速地估计手抖函数。
在操作S820,长曝光彩色图像信号和短曝光参考图像信号的噪声被减小。为了统一长曝光彩色图像信号和短曝光参考图像信号的通道数,将减噪的长曝光彩色图像信号转换为长曝光单通道图像信号。随后,转换的长曝光单通道图像信号和减噪的短曝光参考图像信号用于估计手抖函数。
图9示出依照本发明的根据获得和处理图像的方法获得的图像。
图像910是高感光度短曝光黑白图像,图像920是低感光度长曝光彩色图像(图9中用黑白示出)。如果具有对齐错误,则不能够进行准确的PSF估计,这会引起严重的伪影(artifact),致使如图像940的低质量图像恢复。
然而,根据本发明的当前实施例,当使用高感光度短曝光黑白图像和低感光度彩色图像时,可解决由于对齐错误引起的手抖函数的不准确估计的问题。
当比较通过根据本发明的图像处理方法的恢复的彩色图像930与通过使用不准确的手抖函数恢复的彩色图像940时,显而易见地,根据本发明恢复的图像930比图像940具有更高的质量。
根据本发明,控制包括在彩色滤光片中的彩色像素和参考像素的曝光时间,从而具有相同图像获得开始时间的长曝光彩色图像信号和短曝光参考图像信号互相完全对齐。使用所述长曝光彩色图像信号和短曝光参考图像信号,从根本上避免了对齐错误,从而能够进行手抖函数的准确估计。
此外,通过使用根据本发明估计的手抖函数,可恢复清晰的彩色图像。根据本发明,处理图像的设备和方法可用于在夜晚拍摄景色、实施夜晚监控、拍摄室内场景等。
本领域的技术人员应该理解:在不脱离本发明的精神和范围的情况下,可以对本发明进行各种修改和改变。因此,本发明覆盖提供的这些本发明的修改和改变,该修改和改变落入附加权利要求和其同等物的范围内。
Claims (16)
1、一种图像获得设备,包括:
传感器,通过使用彩色滤光片检测像素阵列值,所述彩色滤光片包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素;
曝光控制器,控制彩色像素和参考像素的曝光时间;和
图像产生器,从检测的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
2、如权利要求1所述的图像获得设备,其中,曝光控制器同步彩色像素和参考像素的曝光开始时间,并控制彩色像素的曝光时间长于参考像素的曝光时间。
3、如权利要求2所述的图像获得设备,其中,为了获得手抖函数的初始信息,曝光控制器控制传感器在曝光彩色像素的同时,重复发生参考像素的短曝光。
4、如权利要求1所述的图像获得设备,其中,图像产生器对通过彩色像素和参考像素检测的像素阵列值执行插值,从而产生彩色像素的各个颜色的长曝光图像信号和短曝光图像信号。
5、一种获得图像的方法,该方法包括:
通过控制用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的曝光时间来获得像素阵列值,所述彩色像素和参考像素包括在彩色滤光片中;以及
通过使用获得的像素阵列值产生长曝光彩色图像信号和短曝光参考图像信号,所述长曝光彩色图像信号和短曝光参考图像信号互相对齐。
6、如权利要求5所述的方法,其中,在曝光时间的控制步骤中,彩色像素和参考像素的曝光开始时间彼此同步,且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
7、如权利要求6所述的方法,其中,为了获得手抖函数的初始信息,在曝光时间的控制步骤中,在曝光彩色像素的同时,控制参考像素的曝光时间,从而重复发生参考像素的短曝光。
8、如权利要求5所述的方法,其中,在图像信号的产生步骤中,对通过彩色像素和参考像素检测的像素阵列值执行插值,从而产生彩色像素的各个颜色的长曝光图像信号和短曝光图像信号。
9、一种图像处理设备,包括:
图像获得单元,通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号;
函数估计单元,通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数;和
图像恢复单元,通过使用估计的手抖函数对长曝光彩色图像信号执行去卷积来产生恢复的图像信号。
10、如权利要求9所述的图像处理设备,其中,图像获得单元通过同步彩色像素和参考像素的曝光开始时间并控制彩色像素的曝光时间长于参考像素的曝光时间来获得长曝光彩色图像信号和短曝光参考图像信号。
11、如权利要求10所述的图像处理设备,其中,图像获得单元通过在曝光彩色像素的同时控制重复发生参考像素的短曝光来收集多个短曝光参考图像信号,函数估计单元通过使用收集的参考图像信号来追踪手抖的轨迹来获得信息,并使用获得的信息作为手抖函数的初始信息。
12、如权利要求9所述的图像处理设备,其中,函数估计单元减小长曝光彩色图像信号和短曝光参考图像信号的噪声,将减噪的长曝光彩色图像信号转换为长曝光单通道图像信号,并通过使用转换的长曝光单通道图像信号和减噪的短曝光参考图像信号来估计手抖函数。
13、一种处理图像的方法,该方法包括:
通过控制包括用于获得彩色图像的彩色像素和用于获得用于手抖函数估计的参考图像的参考像素的彩色滤光片的曝光时间来获得互相对齐的长曝光彩色图像信号和短曝光参考图像信号;
通过使用长曝光彩色图像信号和短曝光参考图像信号来估计手抖函数;以及
通过使用估计的手抖函数对长曝光彩色图像信号执行去卷积来产生恢复的图像信号。
14、如权利要求13所述的方法,其中,在获得图像信号的步骤中,彩色像素和参考像素的曝光开始时间彼此同步,且彩色像素的曝光时间被设置为长于参考像素的曝光时间。
15、如权利要求14所述的方法,其中,在获得图像信号的步骤中,通过在曝光彩色像素的同时控制重复发生参考像素的短曝光来收集多个短曝光参考图像信号,通过使用收集的参考图像信号来追踪手抖的轨迹来获得信息,并使用获得的信息作为手抖函数的初始信息。
16、如权利要求13所述的方法,其中,手抖函数的估计的步骤包括:
减小长曝光彩色图像信号和短曝光参考图像信号的噪声;
将减噪的长曝光彩色图像信号转换为长曝光单通道图像信号;以及
通过使用转换的长曝光单通道图像信号和减噪的短曝光参考图像信号估计手抖函数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080006478 | 2008-01-22 | ||
KR10-2008-0006478 | 2008-01-22 | ||
KR1020080006478A KR101391432B1 (ko) | 2008-01-22 | 2008-01-22 | 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101494794A true CN101494794A (zh) | 2009-07-29 |
CN101494794B CN101494794B (zh) | 2013-04-24 |
Family
ID=40622130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101869254A Active CN101494794B (zh) | 2008-01-22 | 2008-12-10 | 获得图像的设备和方法以及处理图像的设备和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8169491B2 (zh) |
EP (1) | EP2083563B1 (zh) |
KR (1) | KR101391432B1 (zh) |
CN (1) | CN101494794B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106572285A (zh) * | 2015-10-08 | 2017-04-19 | 三星电机株式会社 | 相机模块、电子装置及其操作方法 |
CN113674685A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 像素阵列的控制方法、装置、电子设备和可读存储介质 |
CN113691738A (zh) * | 2018-06-07 | 2021-11-23 | 杜比实验室特许公司 | 从单拍摄hdr彩色图像传感器生成hdr图像 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636486B2 (en) * | 2004-11-10 | 2009-12-22 | Fotonation Ireland Ltd. | Method of determining PSF using multiple instances of a nominally similar scene |
US8989516B2 (en) | 2007-09-18 | 2015-03-24 | Fotonation Limited | Image processing method and apparatus |
US8264576B2 (en) * | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
US7639889B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method of notifying users regarding motion artifacts based on image analysis |
US8417055B2 (en) | 2007-03-05 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Image processing method and apparatus |
US8698924B2 (en) | 2007-03-05 | 2014-04-15 | DigitalOptics Corporation Europe Limited | Tone mapping for low-light video frame enhancement |
US8199222B2 (en) | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
US7639888B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts |
JP4855704B2 (ja) * | 2005-03-31 | 2012-01-18 | 株式会社東芝 | 固体撮像装置 |
IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
US9307212B2 (en) | 2007-03-05 | 2016-04-05 | Fotonation Limited | Tone mapping for low-light video frame enhancement |
US7773118B2 (en) | 2007-03-25 | 2010-08-10 | Fotonation Vision Limited | Handheld article with movement discrimination |
KR101574733B1 (ko) * | 2008-11-19 | 2015-12-04 | 삼성전자 주식회사 | 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 |
GB2488769A (en) * | 2011-03-07 | 2012-09-12 | Sony Corp | Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets |
JP5910043B2 (ja) * | 2011-12-02 | 2016-04-27 | 富士通株式会社 | 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置 |
KR101929494B1 (ko) * | 2012-07-10 | 2018-12-14 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
KR101886246B1 (ko) * | 2012-07-12 | 2018-08-07 | 삼성전자주식회사 | 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법 |
TWI644568B (zh) * | 2013-07-23 | 2018-12-11 | 新力股份有限公司 | 攝像元件、攝像方法及攝像程式 |
EP4273806A3 (en) * | 2016-04-20 | 2024-01-24 | Leica Biosystems Imaging, Inc. | Digital pathology color calibration |
CN111314603B (zh) | 2018-03-27 | 2021-11-19 | 华为技术有限公司 | 拍照方法、拍照装置和移动终端 |
KR20220131054A (ko) * | 2021-03-19 | 2022-09-27 | 에스케이하이닉스 주식회사 | 이미지 처리 장치 및 그 동작 방법 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5420635A (en) * | 1991-08-30 | 1995-05-30 | Fuji Photo Film Co., Ltd. | Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device |
US6204881B1 (en) * | 1993-10-10 | 2001-03-20 | Canon Kabushiki Kaisha | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range |
US5828793A (en) * | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
US6825884B1 (en) * | 1998-12-03 | 2004-11-30 | Olympus Corporation | Imaging processing apparatus for generating a wide dynamic range image |
US6778210B1 (en) | 1999-07-15 | 2004-08-17 | Olympus Optical Co., Ltd. | Image pickup apparatus with blur compensation |
US6876384B1 (en) | 2000-04-19 | 2005-04-05 | Biomorphic Vlsi, Inc. | Pixel selective white balancing |
US7409104B2 (en) * | 2002-07-18 | 2008-08-05 | .Sightic Vista Ltd | Enhanced wide dynamic range in imaging |
KR100810310B1 (ko) * | 2003-08-29 | 2008-03-07 | 삼성전자주식회사 | 조도차가 다른 영상의 재구성 장치 및 방법 |
US8570389B2 (en) * | 2004-07-22 | 2013-10-29 | Broadcom Corporation | Enhancing digital photography |
JP4522207B2 (ja) * | 2004-09-17 | 2010-08-11 | キヤノン株式会社 | カメラシステム、カメラ本体及び交換レンズ |
JP2006157568A (ja) * | 2004-11-30 | 2006-06-15 | Konica Minolta Holdings Inc | 撮像装置およびプログラム |
JP4487191B2 (ja) | 2004-12-24 | 2010-06-23 | カシオ計算機株式会社 | 画像処理装置および画像処理プログラム |
EP1679907A1 (en) * | 2005-01-05 | 2006-07-12 | Dialog Semiconductor GmbH | Hexagonal color pixel structure with white pixels |
JP4193812B2 (ja) * | 2005-05-13 | 2008-12-10 | カシオ計算機株式会社 | 撮像装置、撮像方法及びそのプログラム |
JP5079271B2 (ja) | 2006-06-28 | 2012-11-21 | 京セラ株式会社 | 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法 |
US7821553B2 (en) * | 2005-12-30 | 2010-10-26 | International Business Machines Corporation | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
JP5011814B2 (ja) * | 2006-05-15 | 2012-08-29 | ソニー株式会社 | 撮像装置、および画像処理方法、並びにコンピュータ・プログラム |
-
2008
- 2008-01-22 KR KR1020080006478A patent/KR101391432B1/ko active IP Right Grant
- 2008-06-16 US US12/213,199 patent/US8169491B2/en active Active
- 2008-11-27 EP EP08170104A patent/EP2083563B1/en active Active
- 2008-12-10 CN CN2008101869254A patent/CN101494794B/zh active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106572285A (zh) * | 2015-10-08 | 2017-04-19 | 三星电机株式会社 | 相机模块、电子装置及其操作方法 |
CN106572285B (zh) * | 2015-10-08 | 2020-06-12 | 三星电机株式会社 | 相机模块、电子装置及其操作方法 |
CN113691738A (zh) * | 2018-06-07 | 2021-11-23 | 杜比实验室特许公司 | 从单拍摄hdr彩色图像传感器生成hdr图像 |
CN113691738B (zh) * | 2018-06-07 | 2023-04-18 | 杜比实验室特许公司 | 从单拍摄hdr彩色图像传感器生成hdr图像 |
CN113674685A (zh) * | 2021-08-25 | 2021-11-19 | 维沃移动通信有限公司 | 像素阵列的控制方法、装置、电子设备和可读存储介质 |
CN113674685B (zh) * | 2021-08-25 | 2023-02-24 | 维沃移动通信有限公司 | 像素阵列的控制方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20090080616A (ko) | 2009-07-27 |
US8169491B2 (en) | 2012-05-01 |
EP2083563B1 (en) | 2012-01-11 |
CN101494794B (zh) | 2013-04-24 |
EP2083563A1 (en) | 2009-07-29 |
KR101391432B1 (ko) | 2014-05-07 |
US20090185041A1 (en) | 2009-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101494794B (zh) | 获得图像的设备和方法以及处理图像的设备和方法 | |
US8890942B2 (en) | Camera module, image processing apparatus, and image processing method | |
US7884868B2 (en) | Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus | |
US20120092526A1 (en) | Method and apparatus for image noise reduction using noise models | |
JP5096645B1 (ja) | 画像生成装置、画像生成システム、方法、およびプログラム | |
TWI471004B (zh) | 成像裝置、成像方法及程式 | |
JP2011029735A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2011029735A5 (zh) | ||
JP2006180429A (ja) | 画像処理装置および画像処理プログラム | |
CN101742123A (zh) | 图像处理设备和方法 | |
JP2010166558A (ja) | 撮像装置 | |
WO2007119680A1 (ja) | 撮像装置 | |
JP2020144489A (ja) | 画像処理方法、画像処理装置、プログラム、学習済みモデルの製造方法、および、画像処理システム | |
JP6678504B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
US20100277625A1 (en) | Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program | |
CN110602415B (zh) | 曝光控制装置、方法及摄像机 | |
JP5199736B2 (ja) | 画像撮像装置 | |
JP3619077B2 (ja) | 撮像装置、撮像装置の制御方法及び記憶媒体 | |
US7903890B2 (en) | Image processing device, learning device, and coefficient generating device and method | |
US20230177713A1 (en) | Information processing apparatus, information processing method, and program | |
US20090174789A1 (en) | Imaging apparatus and method of controlling imaging | |
KR20200139321A (ko) | 이미지 센서 및 이를 포함하는 이미지 처리 시스템 | |
JP2005167497A (ja) | 撮像装置、良質画像獲得方法、及びプログラム | |
JP4871664B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2002330335A (ja) | 静止画像撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |