CN102622746A - 图像数据处理的方法和系统 - Google Patents

图像数据处理的方法和系统 Download PDF

Info

Publication number
CN102622746A
CN102622746A CN2012100211003A CN201210021100A CN102622746A CN 102622746 A CN102622746 A CN 102622746A CN 2012100211003 A CN2012100211003 A CN 2012100211003A CN 201210021100 A CN201210021100 A CN 201210021100A CN 102622746 A CN102622746 A CN 102622746A
Authority
CN
China
Prior art keywords
pixel
particle
image
frame
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100211003A
Other languages
English (en)
Other versions
CN102622746B (zh
Inventor
W·D·罗斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luminex Corp
Original Assignee
Luminex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luminex Corp filed Critical Luminex Corp
Publication of CN102622746A publication Critical patent/CN102622746A/zh
Application granted granted Critical
Publication of CN102622746B publication Critical patent/CN102622746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G01N15/1433
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1456Electro-optical investigation, e.g. flow cytometers without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30072Microarray; Biochip, DNA array; Well plate

Abstract

提供一种用于图像数据处理的方法和系统。该方法和系统的实施方式包括执行以下步骤中一个或多个的配置:背景信号测量、使用归类染料发射和群集拒绝的颗粒标识、图像间对准、图像间颗粒关联、指示发射的荧光积分和图像平面归一化。

Description

图像数据处理的方法和系统
本申请是国际申请日为2006年9月21日、中国国家阶段申请号为200680034792.8、题为“图像数据处理的方法和系统”的发明专利申请的分案申请。
发明背景
技术领域
本发明一般涉及图像数据处理的方法和系统。某些实施方式涉及执行用于多重应用中颗粒图像处理的一个或多个步骤的方法和系统。
相关技术描述
以下描述和示例并不因其包含在本节中而被归入现有技术。
使用诸如电荷耦合装置(CCD)检测器之类的检测器成像被应用在生物技术应用的若干当前可用仪器中。许多商用系统被配置成对目标人类(或其它动物)细胞成像。然而,这些系统不能用来使用不同波长的光生成图像以确定细胞的身份或者细胞所属亚类。对于将CCD检测器用于测量细胞的荧光发射的多重应用而言,细胞或其它颗粒的亚类或类基于荧光发射在图像中的绝对位置而非诸如波长成分的荧光发射特征。
因此,期望开发一种用于多重应用中颗粒图像数据处理的方法和系统。
发明内容
以上所列问题大部分可由一种执行与颗粒的数据图像处理相关联的一个或多个步骤的计算机实现方法、存储介质和系统来解决。以下仅为该计算机实现方法、存储介质和系统的示例性实施方式,不应以任何方式解读为对权利要求书的主题的限制。
该计算机实现方法、存储介质和系统的实施方式可被配置成将带有与其关联的荧光材料的颗粒的图像划分成分区阵列,确定对分区内多个像素测得的光学参数的统计值,并将所确定的统计值指派为对应分区的背景信号。
除此以外或作为替代,该计算机实现方法、存储介质和系统的其它实施方式可被配置成分析带有与其关联的荧光材料的颗粒的图像,以标识图像内呈现光学参数值高于第一预定阈值的一个或多个像素。此外,该方法、存储介质和系统还可以被配置成在一个或多个所标识像素的集合内确定在该集合内分别呈现最大光学参数值的位置,并计算在这些位置中的至少一个周围的多个像素的光学参数强度变化率。
除此之外或作为替代,该计算机实现方法、存储介质和系统的其它实施方式可被配置成获取颗粒的多个图像的数据,其中多个图像的每一个对应于一不同波长带。此外,该方法、存储介质和系统可被配置成创建多个图像的合成图像,并操控多个图像中至少一个的坐标使得对应于多个图像中每一个内颗粒的斑点在随后的合成图像内会聚。
除此之外或作为替代,该计算机实现方法、存储介质和系统的其它实施方式可被配置成分析带有均匀浓度的与其关联的荧光材料的颗粒的第一图像以及带有未知浓度的与其关联的荧光材料的颗粒的第二图像,以分别标识第一和第二图像内呈现高于第一预定阈值的光学参数值的一个或多个像素。此外,该方法、存储介质和系统可被配置成在第一和第二图像的各自分区内对分别在分析第一和第二图像的步骤中标识的像素集合进行归类,其中第一和第二图像中分区的尺寸基本上相等。该方法、存储介质和系统还可被配置成对第一图像内的每个相应分区产生像素集合所归类到的荧光发射水平的统计代表量。此外,该方法、存储介质和系统可被配置成分区将在分析第二图像的步骤期间标识的每个像素集合的荧光发射水平除以对相应的第一图像分区产生的统计量,以获得归一化的荧光值。
附图简述
通过阅读以下详细描述并参照附图,本发明的其它目的和优点将变得显而易见,在附图中:
图1是示出被配置成为多重应用的获取和处理图像的系统的一个实施方式的横截面图的示意图;
图2是描绘确定图像内背景信号的方法的流程图;
图3是描绘发现颗粒并判定是接受还是拒绝对颗粒进行进一步图像处理的方法的流程图;
图4是描绘图像间对准的方法的流程图;以及
图5是描绘用于为成像系统创建归一化矩阵并将该归一化矩阵应用于后续成像的方法的流程图。
虽然本发明允许各种变体和替换形式,但是在附图中通过示例的方式示出其具体实施方式,并在本文中进行详细描述。然而应该理解,附图和详细描述并不旨在将本发明限制于所公开的特定形式,相反,本发明涵盖落在由所附权利要求书限定的本发明的精神和范围内的所有变体、等效方案和替换方案。
较佳实施方式的详细描述
虽然本文针对颗粒描述各实施方式,但是应该理解,本文所述的系统和方法也可用于微球、聚苯乙烯小珠、微粒、金纳米颗粒、量子点、纳米点、纳米颗粒、纳米壳、小珠、微珠、胶乳颗粒、胶乳小珠、荧光小珠、荧光颗粒、着色颗粒、着色小珠、组织、细胞、微生物、有机物、无机物、或本领域中已知的任何其它离散物质。颗粒可用作分子反应的媒介。在Fulton的美国专利No.5,736,330、Chandler等人的No.5,981,180、Fulton的No.6,057,107、Chandler等人的No.6,268,222、Chandler等人的No.6,449,562、Chandler等人的No.6,514,295、Chandler等人的No.6,524,793以及Chandler的No.6,528,165中示出并描述了适当颗粒的示例,这些专利被结合于此,如同在本文中详尽阐述一样。本文所描述的系统和方法可用于在这些专利中描述的任何颗粒。此外,在本文所描述的方法和系统实施方式中使用的颗粒可从诸如得克萨斯州奥斯汀市的卢米尼克斯公司(Luminex Corporation)的制造商处购得。在本文中使用的术语“颗粒”和“微球”可相互交换。
此外,与本文所描述的系统和方法兼容的颗粒类型包括带有附加到颗粒表面或者与颗粒表面相关联的荧光材料的颗粒。在Chandler等人的美国专利No.6,268,222以及Chandler等人的No.6,649,414中示出并描述了这些颗粒类型,其中荧光染料或荧光颗粒被直接耦联到颗粒表面以提供归类荧光(即经测量并用于确定颗粒身份或颗粒所属亚类的荧光发射),这些专利通过引用结合于此,如同在本文中详尽阐述一样。可用于本文所述方法和系统的颗粒类型还包括将一种或多种荧光物或荧光染料纳入颗粒核中的颗粒。
可用于本文所描述的方法和系统的颗粒还包括到曝露在一个或多个适当光源下时其内出现一个或多个荧光信号的颗粒。此外,还可以将颗粒制成在这些颗粒被激发时呈现多个荧光信号,每一个信号可单独或结合起来用于确定颗粒的身份。如下所述,图像数据处理可包括颗粒归类,尤其是对于多分析物流体,以及确定绑定到颗粒上的分析物的量。由于在操作过程中表示绑定到颗粒的分析物的量的指示信号通常是未知的,因此对本文所描述的过程可使用特殊染色的颗粒,这些颗粒不仅发射归类波长或波长带内的荧光,而且发射指示波长或波长带内的荧光。
本文所描述的方法通常包括分析一个或多个颗粒图像并处理从图像测得的数据以确定颗粒的一个或多个特征,诸如,但不限于表示颗粒在多个检测波长下的荧光发射大小的数值。可根据Fulton的美国专利No.5,736,330、Chandler等人的No.5,981,180、Chandler等人的No.6,449,562、Chandler等人的No.6,524,793、Chandler的No.6,592,822以及Chandler等人的No.6,939,720中描述的方法对颗粒的一个或多个特征进行后续处理,诸如使用一个或多个数值来确定表示颗粒所属的多重复用亚类的标志ID和/或表示绑定到颗粒表面的分析物的存在和/或量的指示值,这些专利通过应用结合于此,如同在本文中详尽阐述一样。在一个示例中,Chandler等人的美国专利No.5,981,180中描述的技术可在多重复用方案中与本文描述的荧光测量一起使用,其中将颗粒归类归类成亚类用以分析单个样品中的多个分析物。
参照附图,注意,图1并未按比例绘制。特别地,明显放大图中某些元件的比例,以强调这些元件的特征。为清楚起见,图中并未包含系统的某些元件。
图1示出被配置成根据本文所述方法的各个实施方式生成、获取或提供颗粒图像并对图像进行处理的一个系统实施方式。图1所示的系统可在诸如颗粒的多分析物测量的应用中使用。该系统包括含有光源10的成像子系统。光源10可包括一个或多个光源,诸如发光二极管(LED)、激光器、弧光灯、白炽灯、或本领域中任何其它合适光源。除此之外或作为替代,光源可包括一个以上的光源(未示出),每个光源被配置成生成不同波长或不同波长带的光。用于图1所示系统的适当光源组合的一个示例包括,但不限于两个或多个LED。可通过分束器(未示出)或本领域中已知的任何其它合适光学元件将来自一个以上光源的光组合到共用照明光路中,使得来自这些光源的光可被同时导向颗粒。或者,成像子系统可以包括诸如反射镜的光学元件(未示出)以及被配置成取决于使用哪个光源来照射颗粒而将该光学元件移进和移出照射光路的器件(未示出)。以这种方式,可以使用光源来以不同光波长或波长带依次照射颗粒。(多个)光源还可以从基板(未示出)上方而非下方照射基板。
光源可被选择成提供使颗粒或耦联其上的材料发射荧光的波长或波长带的光。作为实例,可将波长或波长带选择成激发纳入颗粒中和/或耦联到颗粒表面的荧光染料或其它荧光材料。以这种方式,可将波长或波长带选择成使颗粒发射用于颗粒归类的荧光。此外,波长或波长带可以被选择成使颗粒发射用于检测和/或量化在颗粒表面上发生的反应的荧光。
如图1所示,成像子系统可以包括被配置成将光从光源10引导到颗粒16所固定的基板14的光学元件12。在一个示例中,光学元件12可以是准直透镜。然而,光学元件12可以包括能够用于对从光源10到基板14的光进行成像的任何其它适当光学元件。此外,虽然在图1中将光学元件示为单个光学元件,但是应该理解,光学元件12可以包括一个以上的折射元件。此外,虽然在图1中将光学元件12示为折射光学元件,但是应该理解,可使用一个或多个反射光学元件(可能与一个或多个折射光学元件组合)来对从光源10到基本14的光进行成像。
颗粒16可以包括以上所述的任何颗粒。基板14可以包括本领域中已知的任何适当基板。固定在基板14上的颗粒可被置于用于保持基板14和在其上固定的颗粒16相对于成像子系统的位置的成像室(未示出)或任何其它器件中。用于保持基板14的位置的器件也可被配置成在成像之前改变该基板的位置(例如将成像系统聚焦在基板上)。可以使用磁性吸引、真空过滤板、或本领域中已知的任何其它适当方法在基板上对颗粒进行固定。用于定位微球以供成像的方法和系统的示例在Pempsell的2005年11月9日提交的序列号为11/270,786的美国专利申请中有描述,该申请通过引用结合于此,如同在本文中详尽阐述一样。颗粒固定方法本身对本文所述的方法和系统并不十分重要。然而,较佳地将颗粒固定成使颗粒在检测器积分时段没有可感知的运动,该时段可能几秒钟长。
如图1所示,成像子系统可包括光学元件18和分束器20。光学元件18被配置成将来自基板14和在其上固定的颗粒16的光聚焦到分束器20。还可以如上相对于光学元件12所述地配置光学元件18。分束器20可以包括本领域中已知的任何适当分束器。分束器20可被配置基于光的波长将来自光学元件18的光导向不同的检测器。例如,具有第一波长或波长带的光可透过分束器20,而具有与第一波长或波长带不同的第二波长或波长带的光可被分束器20反射。成像子系统还可以包括光学元件22和检测器24。透过分束器20的光可被导向光学元件22。光学元件22被配置成将透过分束器的光聚焦到检测器24上。成像子系统还可以包括光学元件26和检测器28。被分束器20反射的光可被导向光学元件26。光学元件26被配置成将由分束器反射的光聚焦到检测器28上。可以如上相关于光学元件12所述地配置光学元件22和26。
检测器24和28可以包括例如,电荷耦合装置(CCD)检测器或本领域中已知的任何其它合适成像检测器,诸如CMOS检测器、光敏元件的二维阵列、时间延迟积分(TDI)检测器等。在某些实施方式中,可使用诸如二维CCD成像阵列的检测器来同时获取基本上整个基板的图像或固定在基板上的全部颗粒的图像。以这种方式,来自基板上所照射区域的所有光子可被同时采集,由此消除因在包括光电倍增管(PMT)和扫描器件的其它当前可用系统中使用采样开口而导致的误差。此外,该系统中包含的检测器的数目可以等于感兴趣的波长或波长带数,使得每个检测器用于生成波长或波长带之一下的图像。
可使用设置在从分束器到检测器的光路中的光学带通元件(未示出)或者本领域中已知的任何其它合适光学元件,来对由检测器生成的每个图像进行光谱滤波。所捕捉的每个图像使用不同的滤波“带”。可以将获取图像的每个波长或波长带的检测波长中心和宽度可与感兴趣的荧光发射相匹配,无论是用于颗粒归类还是指示信号。以这种方式,可将图1所示的系统的成像子系统配置成同时在不同波长或波长带上生成多个图像。虽然图1所示的系统包括两个检测器,但是应该理解,该系统可以包括两个以上的检测器(例如三个检测器、四个检测器等等)。如上所述,可将每个检测器配置成通过包括用于同时将不同波长或波长带的光导向不同检测器的一个或多个光学元件,来同时在不同波长或波长带上生成图像。
此外,虽然在图1中将该系统示为包括多个检测器,但是应该理解,该系统可以包括单个检测器。单个检测器可用于在多个波长或波长带上依次生成多个图像。例如,可将不同波长或波长带的光依次导向基板,并在使用不同波长或波长带的每一个照射基板的过程中生成不同的图像。在另一示例中,可以更改用于选择导向单个检测器的光的波长或波长带(例如通过将不同的滤波器移进和移出成像光路),以在不同的波长或波长带上依次生成图像。
因此,将图1所示的成像子系统配置成生成表示颗粒在若干感兴趣的波长上的荧光发射的多个图像或一个图像系列。此外,该系统可被配置成向处理器(即处理引擎)提供表示颗粒的荧光发射的多个数字图像或数字图像系列。在一个这种示例中,该系统可以包括处理器30。处理器30可被配置成从检测器24和28获取(例如接收)图像数据。例如,可采用本领域中已知的任何合适方式(例如经由传输介质(未示出),每个介质通过各自耦合在检测器之一与处理器之间的诸如模数转换器的一个或多个电子组件将检测器之一耦合到处理器)将处理器30耦合到检测器24和28。较佳地,处理器30被配置成处理和分析这些图像以确定颗粒16的一个或多个特性,诸如颗粒归类以及与在颗粒表面上发生的反应有关的信息。可由处理器以任何合适格式输出该一个或多个特性,诸如具有在每个波长下每个颗粒的荧光大小的条目的数据阵列。具体而言,处理器可被配置成执行本文所述的方法实施方式的一个或多个步骤来处理和分析图像。
处理器30可以是诸如通常包括在典型的个人计算机、大型计算机系统、工作站等中的处理器。一般而言,术语“计算机系统”可以被宽泛地定义成涵盖具有执行来自存储器介质的指令的一个或多个处理器的任何设备。可以使用任何其它适当功能硬件来实现处理器。例如,处理器可以包括在固件中含有固定程序的数字信号处理器(DSP)、现场可编程门阵列(FPGA)、或者采用以诸如极高速集成电路(VHSIC)硬件描述语言(VHDL)“编写”的顺序逻辑的其它可编程逻辑器件(PLD)。在另一示例中,可在处理器30上执行以执行本文所述的计算机实现方法的一个或多个步骤的程序指令(未示出)可以按需采用诸如C#(部分适当采用C++)、ActiveX控件、JavaBeans、微软基础类(MFC)的高级语言或其它技术或方法来编码。可采用各种方式中的任一种来实现程序指令,包括基于过程的技术、基于组件的技术、和/或面向对象的技术等。
实现诸如本文所述的方法的程序指令可在存储介质上传送或者在其上存储。存储介质可以包括,但不限于只读存储器、随机存取存储器、磁盘或光盘、或者磁带。对于每个图像,可将所有定位的颗粒以及针对每个所标识颗粒确定的值和/或统计量存储在存储介质内的存储器介质中。本文所述的图像处理方法可以通过采用一个或多个算法来执行。如以下更详细描述地,这些算法可能是复杂的,因此最好通过计算机实现。这样,本文中特别参照图2-5所述的方法可被称为“计算机实现方法”,因此在本文中,术语“方法”和“计算机实现方法”可以交换使用。注意,在某些情况下,计算机实现方法和本文所述系统的程序指令可被配置成执行除了与本文所述方法相关联的那些之外的进程,因此,计算机实现方法和本文所述系统的程序指令没有必要局限于图2-5的描述。
本文所述的基于成像的系统是替代传统流式细胞术类型的测量系统的可行候选。本文所述的方法、存储介质和系统在数据处理方面可以比基于流式细胞术的应用所必需的更加复杂。然而,本文所述系统的硬件(例如光源、光学元件、检测器等)具有比典型流式细胞术便宜和耐用得多的可能。期望对本文所述的方法的进一步评估和改进(例如可用于实现这些方法的算法的进一步评估和改进)会导致对处理能力的需要降低、对荧光发射值的确定更加准确、以及因此对颗粒的一个或多个特性的确定更加准确。
根据一实施方式,用于图像数据处理的计算机实现方法包括以下步骤(即高级操作)的一个或多个:背景信号测量、使用归类染料发射和群集排异来标识(即发现)颗粒、图像间对准、图像间颗粒校正、指示发射的荧光积分、以及图像平面归一化。这些步骤可通过以上所列次序来依次执行。
一般而言,可以执行背景信号测量,使得从颗粒发射的荧光被准确确定(即来自颗粒的荧光测量可独立于图像背景中的反射光水平以及来自用于对颗粒成像的成像系统的噪声和暗电流偏移来确定)。图2示出表示用于测量图像的背景信号的示例性步骤序列的流程图。如图2的框40所示,该方法可以包括将具有与其关联的荧光材料的颗粒的图像分成分区阵列。这一阵列可以包括任意数目的行和列,这取决于所需背景信号的清晰度、系统的处理能力、和/或正在分析的颗粒数。如图2进一步示出的,该方法在框40之后所沿的路径可以取决于图像内颗粒的占有率。具体而言,在框40之后,该流程进行到框42,其中对图像内的颗粒占有率是否被量化进行判定。
在其中颗粒占有率已被量化的实施方式中,该方法可以进行到框44,其中对占有率是否小于预定阈值进行判定。图2的流程图在框44中具体指出了50%占有率的阈值,但是注意,该方法并不受限于此。特别地,可以将该方法更改成考虑任何预定的占有率值,由此确定测量图像背景信号的动作路线。在感兴趣的颗粒占据小于预定阈值(例如小于约50%)的图像区域的实施方式中,背景信号测量可以包括在分区内的所有像素中确定光学参数的统计值,如框46所示。因此,可将与该分区内的颗粒对应的相对较亮像素的荧光值与来自该分区内背景像素(不与像素出现对应的像素)的信号合并。然而,由于颗粒占据较小量的分区,所以统计值更能代表背景像素。一般而言,统计值可以包括任意数目的统计参数,包括但不限于,中值、平均值、模和截尾平均值。在某些实施方式中,确定中值是特别有益的。
在其它实施方式中,该方法可以进行到框50、52和54,以确定小于分区内全部像素的光学参数统计值。特别地,在感兴趣的颗粒的占有率大于或等于成像区域的预定阈值(例如大于或等于约50%,如连接框44和框50的箭头所示)的实施方式中,或者当颗粒对成像区域的占有率尚为未知(例如如连接框42和框50的箭头所示)的实施方式中,背景信号测量的方法可以通过确定小于分区内全部像素的光学参数的统计值来补偿颗粒区域与背景区域的较大或未知比值。特别地,可以标识图像内呈现预定阈值以上的光学参数值的像素,如框50所示。在某些情况下,在框50中标识的像素可以与紧邻排列的像素形成组,如框52所示。然而,这一过程步骤是可任选地,如该框的虚线边界所示,因此在某些情况下可从该方法删除。
在任一情况下,该方法可以进行到框54,其中只在该分区内未被标识为呈现预定阈值以上的光学参数(如框50所述)的一组像素中确定光学参数的统计值。在某些实施方式中,也可以根据光学参数统计值的确定排除与这些所标识像素形成组的像素。以这种方式,在框50中标识的像素以及(在某些情况下)与在框52所标识的像素形成组的像素可被与背景信号的测量隔离。
在任一情况下,无论所使用的过程步骤序列如何,其统计值被确定的光学参数可以是在一个或多个检测波长下所测量的颗粒的任何荧光发射、图像背景中的散射光发射、以及来自用于对颗粒成像的成像系统的任何噪声和暗电流偏移。此外,无论所使用的过程步骤序列如何,该方法可以进行到框56,以将所确定的统计值指派为对应分区的背景信号。更具体地,分区内全部像素的背景信号水平可被赋予对该分区计算的统计值。在某些情况下,可对图像中的其它分区重复框46、50、52、54和56的过程步骤,并且在某些情况下,对图像中的全部分区重复。以这种方式,对多个分区的每一个以及在某些情况下对全部分区,确定光学参数的统计值。在某些情况下,在两个分区的边界处可能会出现统计值的相对尖锐的反差。为了平滑相邻分区之间统计值的不连续差异,可对分区阵列执行二维统计滤波(例如中值滤波或均值滤波)。结果,分区可在其边界处得到平滑。无论是否使用统计滤波,可将包含所计算统计值的所得nxm像素分区矩阵存储为“背景图像”,可如下进一步所述地使用该矩阵。
注意,参照图2所述的方法可以包括上述用于背景信号测量的方法的附加步骤,因此,该方法没有必要受限于图2的描述。例如,省略图2的框46、50、52、54和56的重复并非必然限制本文所述的方法对这一可能性的包含。如上所述,本文所述的用于图像数据处理的方法可以包括使用来自归类染料和群集排斥(即位置相对靠近的颗粒的排斥)的荧光发射来发现颗粒的过程。在某些实施方式中,本文所述的颗粒发现过程可在确定图像内背景信号的水平之后进行,并且在某些情况下,具体地可在参照图2所述的背景信号测量方法之后进行。然而,在其它实施方式中,本文所述的颗粒发现过程可以独立于背景信号测量来执行。
图3示出表示颗粒发现过程的示例性步骤序列的流程图。如图3的框60所示,该方法可以包括分析具有与其关联的荧光材料的颗粒的图像,以标识图像内呈现预定阈值以上的光学参数值的一个或多个像素。例如,在归类图像(即从在归类染料的波长或波长带上发射的光生成的图像)中搜索呈现强度比该图像的背景信号更高的荧光的像素。在某些实施方式中,可在该图像中搜索强度大大高于该图像的背景信号的像素,诸如强度高2-1000倍的量级。也可以使用相对于图像的背景信号相对较小或较大的强度水平。在其它情况下,可在该图像中搜索呈现固定荧光值的像素,该值可以取决于图像的背景信号或者与其无关。在任一情况下,像素或像素集合的更高水平的荧光发射可以表明荧光发射颗粒的存在。在某些实施方式中,颗粒可被包含在单个像素内。然而,在其它实施方式中,颗粒可散布在多个像素中。
在任一情况下,可对在框60标识的像素进行评估,以确定颗粒在图像内的位置。特别地,图3所示的方法可以进行到框62,以确定多组一个或多个所标识像素内各自呈现光学参数最大值的位置,由此检测图像内颗粒的存在。虽然这些像素可被单个地评估,且因此单个像素内的位置可通过框62确定,框62还可以包括在所标识的像素集合中确定一位置。如本文所使用的,“像素集合”一般可以指彼此紧邻排列的像素分组(即连续排列像素的群集或聚集)。
在某些实施方式中,评估像素集合以确定图像内颗粒的位置是有益的。特别地,如上所述,颗粒可以散布在多个像素中,并且如果是这样,确定单个像素内的位置可能会错误地传达比实际成像更多的颗粒的存在。此外,如果在图像中颗粒的位置与一个或多个其它颗粒相对靠近,则这些颗粒的荧光可能会影响对彼此特性的评估。因此,不能准确地确定颗粒的数据。在某些情况下,如果判定不能准确评估所包含颗粒的特性,则像素集合可能被拒绝(例如从任何进一步成像处理中排除)。以下参照图3的框70-78更详细地描述确定是接受还是拒绝对像素集合进行进一步图像处理的示例性方式。
一般而言,可以通过许多不同方式进行在框62所示的用于确定多组一个或多个所标识像素内的位置。在图3的框64、66和68(框64、66和68通过虚线从框62延伸,并由虚线作为边界,这表明这些过程是示例性的)示出某些示例性方法。如图3所示,框64简述用于确定多组一个或多个所标识像素中各自呈现光学参数最大值的峰值像素的过程。在这一过程中,可对每组像素进行迭代,以确定在该组像素内对每个像素测量的荧光值是否具有最大值。具有最大值的像素可被确定为“峰值像素”。在某些情况下,可以将峰值像素的中心部分指定为该位置。在这种情况下,可以通过框64所示过程简单地执行框62所示的位置确定过程。
然而,在某些实施方式中,判定峰值像素的可选部分是否更适于呈现光学参数最大值的位置是有益的。作为实例,在图像的像素中,颗粒可能未被理想对齐,由此来自颗粒的能量可能未在一组所标识的像素中平均分布。在这一情形中,峰值像素的中心部分可能不代表颗粒的最大荧光测量值,因此,判定峰值像素的偏心部分是否更好地代表颗粒的最大荧光测量是有益的。在这一情形中,该方法可以进行到框66,以计算至少一组一个或多个所标识像素中呈现光学参数最大值的质心位置。具体地,该方法可以包括对靠近峰值像素的及其预定半径之内的像素的荧光测量值进行积分。距峰值像素的示例性半径可从1-10个像素的范围内选择,但是可以考虑其它半径。注意,在预定半径涵盖未被标识为具有预定阈值以上的光学参数的像素的实施方式中,可从该积分中减去全部这些“背景像素”的背景信号。
在某些情况下,对是否将计算出的质心位置指派为呈现光学参数最大值的位置进行分析是有益的。这样,在某些实施方式中,该方法可取决于计算出的质心位置的特性而进行到框68。例如,如果质心位置在任何方向上大于像素宽度的一半,则可将向下一整数值上舍入的所计算位置(例如在x和y坐标上)指派为呈现光学参数最大值的位置。虽然框68将所计算质心位置的尺寸阈值指定为大于像素尺寸的50%以指派质心位置,但是偶然过程却没有必要如此受限。具体而言,可以使用质心位置的任何尺寸阈值(包括与像素尺寸无关的那些)来判定是否指派质心位置。
确定呈现光学参数最大值的过程之后,该方法可以进行到接受和拒绝对像素进行进一步处理的过程。例如,在某些实施方式中,该方法可以进行到框70,其中计算两个峰值像素之间的距离。峰值像素的标识一般可以通过以上参照框64所述的过程来执行,因此,图3的流程图包括虚线连接的框64和70以表明该相关。基于框70中计算出的距离,可以接受或拒绝对与两个峰值像素之一对应的一组像素进行进一步图像处理,如框72所示。例如,如果峰值像素之间的距离小于(和/或等于)预定阈值,诸如但不限于与一个或两个成像颗粒的投影直径或其间的任何距离等效的阈值,则可以拒绝对与两个峰值像素之一对应的一组像素进行进一步图像处理。以这种方式,可以避开与感兴趣颗粒靠得过近的颗粒的荧光发射,该荧光发射可能会妨碍对感兴趣颗粒进行评估。
一般而言,如本文所使用的,术语“成像颗粒的投影直径”可以是指基于用于对颗粒成像的系统的组件配置对成像颗粒估计的直径。一般而言,成像颗粒的大小可以与实际颗粒的尺寸不同,这取决于用于对颗粒成像的成像系统的放大倍率。此外,成像系统的其它组件配置也可能影响该直径。例如,缺陷透镜、光学孔径的衍射、光学滤波器失真、以及成像系统的若干其它组件可能影响成像像素的尺寸并在某些情形中使其失真(本文中称为成像颗粒的拖影)。在某些情况下,成像透镜的点扩散函数(PSF)(或者量化为调制传递函数(MTF))可能是失真的主要因素。
虽然可以拒绝与两个峰值像素对应的任一组像素,但是拒绝与具有较低荧光测量值的峰值像素对应的那组像素是有益的,因为在进一步的图像处理过程中,这一组像素的特性可能比另一组像素更不易辨识。在某些情况下,该方法可以进行到评估剩余一组像素以判定它是否足以进行进一步图像处理。例如,该方法可以进行到框70,以判定该组像素中光学参数的强度变化率是表示单个颗粒还是颗粒团。通常,由于难以对每个颗粒获得准确和不同的信息,因此需要拒绝颗粒团。在其它实施方式中,可以通过计算两组像素中光学参数的强度变化率来在框72中确定对要拒绝的两组像素的选择。特别地,在判定峰值像素之间的距离小于预定阈值时,可对每组像素计算光学参数强度变化率,作为应该拒绝哪一组的指标。框76-78和80-82中分别示出计算一组像素中强度变化率的不同方式,并在以下更详细地描述。
由于颗粒拒绝的方法可以包括框72和74的组合或依次处理,图3的流程图包括框72和74之间的虚线以表明在相应过程之间这一连接的可能性。然而,这一连接是可任选的。特别地,在某些实施方式中,框72和74可以不结合执行,因此框72和74之间的箭头可以省略。在其它实施方式中,框74和72的处理可以反向,并且如果如此,则本文所述的方法可以包括框78和/或82与框70之间的连接。在其它实施方式中,可从该方法中略去框70和72。或者可从该方法中略去框74(以及其用于执行在框76-82所示过程的示例性程序)。在其它情况下,该方法可被配置成在框62之后对图象处理的路径进行选择,并因此可通向框70和74中的任一个,如图3所示。
参照框74,可以计算围绕在框62确定的位置中至少一个的多个像素中的光学参数的强度变化率。如上所述,该变化率可用于接受或拒绝对颗粒进行进一步图像数据处理。更加具体地,该变化率可以是颗粒发射特性的空间梯度(即荧光发射水平的分布)的量度,并且该空间梯度可用于确定感兴趣的颗粒与相邻颗粒的隔离程度。在某些实施方式中,框74的过程之后可以是框76和78所示的步骤序列。特别地,该方法可以包括对围绕框62中确定的位置的预定半径内排列的一组像素计算光学参数的强度变化率。在某些实施方式中,预定半径可大致等于由所确定位置表示的颗粒的投影直径。在其它情况下,预定半径可以大于或小于由所确定位置表示的成像颗粒的投影直径。
在计算光学参数的强度变化率之后,该方法可进行到框78,其中可以通过将强度变化率与预定阈值进行比较来接受或拒绝对该组颗粒进行进一步图像数据处理。在某些实施方式中,框78可以包括在计算强度变化率大于或等于预定阈值时接受该组像素进行进一步处理。特别地,光学参数相对较高的强度变化率可以表示该组像素内的单个颗粒,这是进一步图像处理所需要的。除了这一过程之外,框78可以包括在计算强度变化率小于预定阈值时拒绝对该组像素进行进一步处理。特别地,光学参数相对较低的强度变化率表示该组像素内的颗粒团,如上所述,这是进一步图像处理不需要的。
在图3的框80和82示出计算一组像素内光学参数强度变化率的替换方式。特别地,除此之外或作为替代,该方法可以被路由到框80,以对分别排列在围绕框62中确定的位置之一的不同预定半径内的两组不同像素的光学参数值求和。注意,可将这些半径调节成与颗粒在检测器像素阵列上的扩散有最佳匹配,这种扩散通常基于成像透镜的点扩散函数(PSF)(或者量化为调制传递函数(MTF))、颗粒相对于成像系统焦平面的位置以及颗粒自身大小而发生变化。例如,在某些实施方式中,一个预定半径大致等于图像内单个颗粒的投影直径而另一个预定直径是图像内单个颗粒的投影直径的约1.5倍是有益的。然而,也可以使用其它半径,并且可以使用不同的半径比值。还应该注意,如果从一个半径内的像素减去背景信号的值,则也可以将背景信号从其它半径内的像素值中减去。
对光学参数值求和之后,可以计算对应于半径的每一个的求和值的比值。特别地,使用较小半径获得的求和值可以除以用较大半径获得的求和值,或者反之。在任一情形中,该比值都可用于接受或拒绝对该组像素进行进一步图像数据处理,如框82所示。特别地,框82可以包括在确定比值与设定值相差小于或等于预定阈值的量时接受该组像素以进行进一步评估。此外,框83可以包括在确定比值与设定值相差大于预定阈值的量时拒绝对该组像素进行进一步评估。
对阈值的确定可以基于各种因素,包括但不限于:选择用来执行框80所示过程的半径、要成像颗粒的大小、图像内颗粒的拖影、以及所用成像系统的设置。因此,在不同应用中,在框83中用于接受和拒绝一组像素的预定阈值可以有很大变化。然而,一般准则是更接近单位值的比值可能表示进一步处理所需的一组像素,因为来自更小半径之外的像素的贡献很少。换言之,来自相邻颗粒的光学参数值的影响很可能是最小,因而,感兴趣的光学参数值的误差相对较小。或者,如果该比值大大小于单位值,则相邻明亮颗粒有可能影响感兴趣颗粒的光学参数值。在这种实例中,感兴趣的颗粒可能被丢弃,或者积分半径可能被不恰当地选择。以这种方式,在丢弃感兴趣颗粒的图像数据之前,可用不同半径执行上述积分。
用于执行这一附加积分的算法可以包括对每个小珠以某一固定比例(诸如1.5x)建立内径和外径并存储该结果。在这些情形中,内径可以稍大于期望的小珠投影,诸如是比期望的小珠投影大1.5倍。然后,对于每个小珠,可以稍稍减小内径和外径(保持如上相同的比值)。随后,可对比值集合进行比较以查看大多数比值是否已经改变。如果大多数比值并未改变,则内径仍然过大,并且在内圈外到外圈中(仍)没有获得能量,所以对每个小珠,仍然需要再次减小内径和外径。相反,如果某些比值已经改变,则表示某些能量可能正向外圈移动。
基于来自上一直径的比值集合的变化分布,可将该过程迭代数次。例如,如果重合颗粒的百分比(随后应该被丢弃)已知,则将该百分比等于比值的期望百分比,以结束该迭代。可以在下生产线之后从根据先前数据系统通常如何表现的认知中,或者从测试图像的视觉检查中来导出对重合颗粒的百分比的估算。如果重合颗粒的百分比未知,则新出现百分比随着内径减小而变化然后保持恒定的逐步变化“历史”可以是结束迭代的指示。作为示例,一次减小给定5%的比值变化,然后是10%,再是10%,第四次是12%。在该示例中10%可能是应该丢弃的颗粒数量。当达到百分比12%时,内圈过小,截除了更小的单个好小珠。这样,先前直径应该用作截止点。可以用不同的内径/外径比值重复全部这些过程步骤,以查看是否出现百分比变化的更清晰趋势。在这些情形中,该过程可包括在算法中的“外循环”,其中首先以过较大比值开始,然后步进扫描比值直到实际上比原始比值更小(可任选地跳过原始比值,因为它已被计算过)。
如上所述,本文所述的图像数据处理方法可以包括图像间对准过程。在某些实施方式中,本文所述的图像间对准过程可在确定图像内背景信号水平之后进行和/或在图像内发现颗粒之后进行。在某些情况下,图像内对准过程特别地可在参照图2所述的背景信号测量方法之后进行,和/或在参照图3所述的颗粒发现方法之后进行。然而,在其它实施方式中,本文所述的图像间对准过程可以独立于背景信号测量和/或颗粒发现过程而进行。在任一种情况中,可以在组装设备之后在工厂中进行图像间对准过程。除此之外或作为替代,图像间对准过程可以在现场进行,尤其是在从工厂运出之后系统部件有变化的情况下。
一般而言,如果使用各自如上所述地耦合到滤光器的两个或更多检测器获取颗粒的多个图像,或者如果在使用单个相机拍摄的图像之间替换可互换滤光器,则可以进行图像间对准,因为滤光器自身可能影响图像。多个图像通常是在不同波长下取得的,使得不同水平的荧光被测量并用于对颗粒归类。然而,由于成像子系统硬件的机械公差,与多个图像的每一个中的颗粒相对应的斑点在多个图像合成期间可能没有绝对对准。这种斑点的失配准可能不利地制约对颗粒在所有成像通道中的位置进行关联的能力。然而,可以使用本文所述的图像间对准技术来更改图像与图像的配准,以更好地将斑点对准。如下所述,图像间对准校正过程可以是图像坐标在x和/或y方向上的简单平移。除此之外或作为替代,图像间对准过程可以包括旋转多个图像中的一个或多个。
图4示出描绘图像间对准过程的示例性步骤序列的流程图。如图4的框90所示,该过程可以包括获取具有与之关联的荧光材料的颗粒的多个图像的数据,其中多个图像的每一个对应于不同波长带。在某些情况下,该数据可直接从成像系统获取,但是在其它情况下,该数据可从存储介质获取。在任一情况下,该数据可以表示在不同波长下取得的多个图像,如上所述。可以使用的示例性波长可以对应于不同色彩通道,诸如但不限于,归类通道1的红色、归类通道2的绿色、指示通道的蓝色。如上进一步描述,为了适应每个色彩通道,用于本文所述方法的颗粒可被特定地染色,以在感兴趣的所有波长或所有波长带下发光。特别地,为了测量多个图像内的归类和指示信号两者,可以使用不仅发射归类波长或波长带的荧光而且发射指示波长或波长带的荧光的特定染色颗粒,来执行本文所述的图像间对准过程。
在已获取了多个图像的数据之后,该方法可进行到框92,其中创建多个图像的合成图像。一般而言,合成图像是多个图像相对彼此重叠的单个图像。如上所述,由于成像子系统硬件的机械公差,与多个图像的每一个内的颗粒对应的斑点在多个图像的合成中可能并没有绝对对准。这样,可能需要图像间对准。特别地,该方法可以包括操纵多个图像中至少一个的坐标,使得与多个图像的每一个内颗粒对应的斑点在随后的合成图像内会聚,如框94所示。在某些实施方式中,除了一个(本文中称为“参考图像”)之外的所有多个图像的坐标值都可被操纵。或者,更少的多个图像的坐标值可被操纵。以这种方式,参考图像之外的图像的坐标值可保持用于图像间对准过程。在某些情况下,可将在由指示染料发射的光波长或波长带下获取的图像被指定为参考图像。在其它实施方式中,可将在由归类染料发射的光波长或波长带下获取的图像指定为参考图像。
如上所述和如图4所示,在某些情况下,对坐标的操纵包括图像坐标在x和/或y方向上的垂直偏移,如框96所示。除此之外或作为替代,坐标的操纵可以包括旋转多个图像的一个或多个,如框98所示。框96和98的轮廓为虚线,表示可以使用这些过程的任一个或两者来操纵图像坐标。
在垂直平移的过程中,可确定在x或y方向上的正或负整数平移偏移量以操纵坐标值。可将相应的偏移量添加到一个或多个非参考图像的坐标,并且可使用多个图像来创建新的合成图像,其中某些图像具有新坐标。一般而言,可以一直执行垂直平移校正步骤,直到在合成图像内的对准不再可能有进一步改进。在确定不可获得通过垂直平移的进一步改进时,可以保存具有通过该过程操纵的坐标的每个非参考图像的x平移和y平移值,用于随后的颗粒成像。诸如表格的任何适当数据结构可适用于这些值。
如上所述,除此之外或作为替代,坐标值的操纵包括旋转一个或多个非参考图像的坐标。在某些实施方式中,如果经由平移校正并未使图像充分对齐,则可以采用旋转过程。在其它实施方式中,可在垂直平移过程之前、取代平移过程、或与之交替地执行旋转过程。在其它情况下,旋转过程可与垂直平移过程并发地进行。特别地,对于图像坐标操纵,可以旋转一个或多个非参考图像,并且可以将一个或多个其它非参考图像平移垂直偏移量。在其它实施方式中,可以对单个非参考图像的坐标进行旋转和垂直偏移。在任一情形中,在某些实施方式中,可用于图像间对准过程的垂直偏移范围可以是+/-10像素,并且旋转偏移范围可以是+/-2度。然而,更大或更小的偏移量可用于操纵坐标的任一或两种方式。
不管图像旋转相对于图像坐标的垂直偏移的结合方式如何,旋转过程通常可包括将原点(即旋转中心)选择在图像的x和y尺寸的中点附近(标为x原点,y原点)。可使用与源图像(即要旋转的非参考图像)相同的尺寸来创建新的空白图像缓冲区。对于源图像中的每个像素,可以确定来自旋转中心的当前矢量。特别地,从感兴趣像素到图像旋转中心的距离可由[(x-x原点)2+(y-y原点)2]的平方根确定,x和y是该像素的坐标。此外,根据y距离除以x距离的反正切并且向反正切值加上或从其减去象限相关的修改量以调节每个象限的角度,可以确定当前矢量的角度。在这些情形中,y距离是在y原点与感兴趣像素之间沿y轴的距离,而x距离是在x原点与感兴趣像素之间沿x轴的距离。
在上述计算之后,可将用户定义的恒定“调节”角加到当前像素的矢量以确定像素的旋转角。可通过以下等式确定像素的新位置(例如x和y坐标):
新x坐标=[(x-x原点)2+(y-y原点)2]的平方根*cos(旋转角)+x原点+x平移
         (如果可应用)+0.5         (1)
新y坐标=[(x-x原点)2+(y-y原点)2]的平方根*sin(旋转角)+y原点+y平移(如
         果可应用)+0.5            (2)
在新的x和y坐标下可将所考虑像素值拷贝到空白图像缓冲区的像素中。在处理了要旋转的非参考图像之后,可以重新创建新的合成伪彩色图像。一般而言,以上对旋转过程列出的步骤可以重复,以使每个非参考图像上的色彩变化最小化。可采用诸如调节表的合适数据结构对每个非参考图像存储最终的旋转值,用于后续成像。
一般而言,可参考多个不同参数来进行以上参照框94描述的坐标操纵的迭代。作为实例,坐标操纵的迭代可以取决于合成图像斑点之间色彩变化量、与合成图像斑点对应的像素之间强度的集合误差或均方差、和/或合成图像内斑点位置的集合误差或均方差。每种技术的概要在图4的框100-128中列出并在以下详细描述。
特别地,框100包括如下过程:算术上确定(即通过一算法)偏移以修改多个图像中至少一个的坐标,使得下一合成图像中斑点之间的色彩变化量相对于前一合成图像减小。合成图像的色彩变化通常是由多个图像中至少一个的失准而引起的。例如,在对相应多个图像使用红色、绿色和蓝色通道的实施方式中,期望对应于合成图像中颗粒的斑点的会聚色彩是白色。然而,多个图像的对准变动可能导致各个图像上与红色、绿色和蓝色通道对应的斑点相对彼此偏移。因此,合成图像中的各个色彩可能会延伸超出白斑的边界,从而在此斑点处引起色彩变动。注意,合成图像中白斑的形成是对由红色、绿色和蓝色通道产生的图像进行组合的结果,但是本文所述的方法并非必然被限制在使用这些通道来制作图像。特别地,可通过若干不同色彩的通道来形成任意数量的多个图像,因此,本文所述的方法并不限于形成三个图像或者红色、绿色和蓝色的色彩通道。
如上所述以及如图4的框102所示,图像的失准可通过将多个图像中一个或多个的坐标调节预定偏移来减小。这些预定偏移可包括以上参照框96和98所述垂直偏移和/或旋转偏移。在框102之后,可以创建包括预定偏移的多个图像的不同合成图像,如框104所示。该方法可以进行到框106,其中确定新近创建的合成图像中斑点之中的色彩变化。如判定框108所示,在色彩变化大于(和/或等于)特定偏移量的预定容许误差的实施方式中,可以重复框100-106。相反,在色彩变化小于(和/或等于)预定容许误差的实施方式中,图像间对准的方法可在框110结束。一般而言,对框108设定的预定容许误差可取决于合成图像所需的准确度以及偏移量,因此可随应用而变化。
参照图4中的框112-128描述基于合成图像内像素强度和/或斑点位置的集合误差或均方差的坐标操纵的迭代技术。特别地,两种技术都可在框112开始,在此将i设定为1。这一指定用于引用若干预定偏移的第一个来调节多个图像中至少一个的坐标,如框114所示。在某些实施方式中,通过迭代该过程的预定偏移的选择可特定于测量合成图像中对准的参数(即合成图像内像素强度或斑点位置的集合误差或均方差)。在其它实施方式中,预定偏移的选择可与所使用的技术无关。在任一情形中,该过程可进行到框116,以创建包括预定偏移的多个图像的不同合成图像。之后,可以采用对这些技术专用的过程。例如,该方法可以进行到框118来确定在框116创建的合成图像的像素之间强度的集合误差或均方差。或者,该方法可以进行到框120,以确定在框116中创建的合成图像内斑点位置的集合误差或平均方差。
在任一情形中,随后可在框122对i是否等于n进行判定,n是调节多个图像的坐标的预定偏移的数量。在i不等于n的情形中,该方法可以进行到框124,以将i的值增一,并重复在框114-120列出的过程。在判定i等于n时,该方法可以进行到框126,其中对不同合成图像的每一个的集合误差或均方差的计算值进行评估。特别地,可以对不同合成图像的每一个的集合误差或均方差的计算值进行评估,以标识使合成图像获得最小误差的偏移(即平移和/或旋转)值。可以对坐标被调节的每个非参考图像保存所标识的偏移值,如框128所示。诸如表格的任何适当数据结构可以适用于这些值。在上述两个实施方式中,可将所标识的偏移值应用到在后续成像期间创建的归类图像的坐标系。特别地,可以使用上述等式将归类图像直接平移和/或旋转到新的图像缓冲区,然后可以将原始归类图像缓冲区丢弃。
可以在对齐图像坐标系之后执行图像间颗粒关联。特别地,假设在一个以上的波长或波长带下获取了一个以上的归类图像,则在对准图像坐标系之后,可根据位置来丢弃实际颗粒。简而言之,如果颗粒并不存在于所有归类图像上,则可将其从进一步处理中去除。
在一示例中,使用先前使用上述颗粒发现方法标识的每个归类图像的颗粒集合以及每个归类图像的平移/旋转值,可以标识位于给定半径内的最佳匹配颗粒。标识最佳匹配颗粒可以包括创建一个n个循环的嵌套系列,用于遍历每个颗粒集合迭代,其中该循环嵌套系列的每个层次表示一归类图像。在最深的嵌套层次,该方法可以包括判定来自所有外循环的颗粒的已调节坐标是否位于给定半径内。可以在确定距离之前根据以上针对图像间对准描述的对准表和等式来平移每个嵌套层次的坐标。如果该距离小于给定半径,则最内层循环的颗粒位置可被暂时存储,以供随后与最内层的其它匹配进行比较。如果最内层中第二颗粒的距离小于先前所找到颗粒的距离,则暂时存储的颗粒位置被当前距离代替。如果为否,则该方法可以对下一颗粒继续。在来自最外层循环的第二颗粒迭代结束处,可以将与最外位置的最佳匹配的暂时位置存储到一集合中。如果在外循环颗粒的给定半径内没有匹配,则自动将该颗粒的实例从进一步考虑中删除,从而关联算法的输出是如上创建的集合。
为了加速整个过程,如果存在如上标识的匹配,则可在每个后续循环中将该颗粒表示为“已使用”,这样不必将处理时间花在再次对其进行考虑。也可以将图像分成多个分区,对每个分区进行分开关联以减少处理时间。在这一实例中,分区的数量较佳地被选择成在将图像分解成区域时不会损失循环迭代的总体省时。此外,为了避免失去分区边界处的比较能力,这些区域可以稍稍重叠。此外,如果这些区域重叠,则区域重叠程度可被选择成减小重复重叠处颗粒的可能性。
该方法还可以包括指示荧光发射的荧光积分。由于指示发射水平不恒定并且未知,不可能或者没有必要使用归类图像所采用的颗粒发现技术来在指示图像中标识用于积分的像素。相反,可以使用在归类图像中所找到颗粒的相同x和y坐标下的荧光。
在一个这种示例中,使用来自由图像间关联确定的调节表的平移和旋转值,可将每个所发现的颗粒映射到指示图像的适当坐标。对于每个颗粒的起始位置,可以使用来自未调节参考归类图像的坐标系。对指示确定的平移x、y值和旋转角表示指示图像中成像颗粒可移动由此与归类参考图像中的颗粒位置重合的方向。然而,在此进行的变换涉及将参考坐标系平移到指示坐标系。可以通过简单地将每个调节参数的符号反转(负值变成正值,反之亦然),将x和y的平移值“转换”。类似地,在找到指示坐标之前,也可将旋转角的符号反转。在将所有参数的符号反转之后,以上对图像间对准步骤描述的方程可用于标识积分的中心。位于给定积分半径内的所有指示像素的积分可被确定。
如上所述,本文所述的图像数据处理方法可以包括图像平面归一化过程。理想地,对成像系统进行均匀照射,以防止颗粒之间依赖于位置的发射变化。然而,实际上,成像场中的每个斑点具有给定的照射水平。此外,在系统内使用的荧光带通滤波器和一个或多个成像透镜可能不会对图像中所有点透射等量的光。为了补偿图像上的这些差异,可将归一化方法或算法应用到光学参数的测量值。在某些实施方式中,本文所述的图像平面归一化过程可在以上描述的过程的一个或多个之后进行,尤其是相关于参照图2-4描述的那些过程。然而,在其它实施方式中,本文所述的图像平面归一化可独立于这些过程的一个或多个来进行。
图5示出描绘图像平面归一化过程的示例性步骤序列的流程图。如图5的框130所示,该过程可包括分析对具有均匀浓度的与之关联的荧光材料的第一组颗粒取得的第一组图像,以在第一组图像内标识呈现第一预定阈值以上的光学参数值的一个或多个像素。该第一组图像可包括任何数量的图像,包括单个图像或多个图像。在取得多个图像的实施方式中,使用不同波长的照射源来形成第一组图像,这些不同波长诸如但不限于对应于红色、绿色和蓝色通道的波长。
在某些情况下,该方法可任选地(由虚线框表示)包括框132,其中分析对具有均匀浓度的与之关联的荧光材料的不同第二组颗粒取得的第二组图像,以在第二组图像中标识呈现第一预定阈值以上的光学参数值的一个或多个像素。与第一组图像一样,第二组图像可包括任何数量的图像,并且在取得多个图像的情形中,可使用不同波长的照射源形成多个图像。在某些实施方式中,分析对浓度已知的不同组颗粒获得的第二组图像对减小随后为第一和第二组图像的相应分区产生的统计量中的噪声和颗粒不均匀的影响是有益的。特别地,通过如以下参照框140描述的对第一和第二组图像的相应分区的每一个测量的光学参数值取平均值,可以降低噪声和颗粒不均匀的影响。
不管该方法是否包括分析第二组图像,该方法可进行到框134以在第一组图像以及在某些情形中的第二组图像的相应分区内,对参照框130和132描述的过程中标识的像素集合进行归类。特别地,可以将多组图像分成分区阵列,并且可基于其在图像内的位置将连续排列像素的集合或团排列在分区内。更具体地,对于所标识的每个颗粒,可以确定在第一和第二组图像中其所属的分区。分区阵列可包括任何数量的行和列,这取决于期望背景信号的清晰度、系统的处理能力、和/或被分析的颗粒数量。如在图5中进一步示出的,该方法可以进行到框136,以对第一组图像以及在某些情形中的第二组图像的每个相应分区,产生表示归类到其中的像素集合的光学参数水平的单个统计量。一般而言,该统计量可从任何数量的统计参数中选择,包括但不限于,中值、平均值、模和截尾平均值。在某些实施方式中,确定中值可以是特别有益的。
如图5的判定框138所示,在各实施方式中该方法可进行到框140,其中分析对不同两组颗粒取得的两组图像。框140指示,计算对第一和第二组图像的每个相应分区产生的统计量的平均值。在框140之后或者在框138中判定对于像素集合归类只分析一组图像时,该方法可以进行到框142,以将对相应分区产生的统计量保存到用于形成第一和第二组图像的波长所专用的矩阵中。这些矩阵用于为对具有未知浓度的与之关联的荧光材料的图像颗粒测量的光学参数计算归一化值,如以下参照框148所述。
特别地,该方法可包括框144,用于分析对具有未知浓度的与之关联的荧光材料的颗粒取得的第三组图像,以在第三组图像内标识呈现第一预定阈值以上的光学参数值的一个或多个像素。与第一组图像一样,第三组图像可包括任何数量的图像,并且在取得多个图像的情形中,可使用不同波长的照射源来形成多个图像。该方法可以进行到框146,其中,将在框144中标识的像素集合归类到第三组图像的相应分区。为了补偿具有未知浓度荧光材料的颗粒之间位置依赖的发射变化,可以对所测光学参数计算归一化值。特别地,框148示出,可以将在图像内标识的每个像素的光学参数值除以对第一和第二组图像的对应分区产生的统计量,以获得该光学参数的归一化值。
在某些实施方式中,可将每个所标识像素的所得归一化值乘以单个“校准因子”值,以相对于外部标准调节其最终校准值。对于基本上均匀的一组已知浓度颗粒,可根据上述归一化矩阵确定校准因子值。特别地,该方法可任选地包括(由虚线框表示)框150,用于计算表示对第一和第二组图像之一或两者的相应分区产生的全部统计量的统计值。该统计值可从任何数量的统计参数中选择,包括但不限于中值、平均值、模、和截尾平均值。在某些实施方式中,确定中值是十分有益的。校准值的确定还可包括将与关联于具有均匀浓度的与之关联的荧光材料的不同组颗粒的光学参数水平相关联的预定数值除以计算出的统计值,如框152所示。如以上所述以及图5中的框154所示,可将校准因子值乘以对具有未知浓度的颗粒的光学参数获得的归一化值,以根据外部标准调节其值。
注意,以上所述的归一化和校准技术并不限于归一化所有图像中的每个像素。相反,归一化和校准技术可应用于在一图像内标识的颗粒。相对于应用专用的像素归一化和校准,这一过程对最小化计算特别有益。
得益于本公开的本领域技术人员应该意识到,本发明被认为是提供一种用于图像数据处理的计算机实现方法、存储介质和系统。就本说明书而言,本发明诸方面的其它变体和替换实施方式对本领域技术人员将变得显而易见。因此,本说明书应该只被解读为是说明性的,以及是出于示教本领域技术人员实施本发明的一般方式的目的。应该理解,本文示出和描述的本发明的形式采用当前较佳实施方式。如在得益于本发明的说明书之后对本领域技术人员显而易见的,可对本文所示和所述的元件和材料进行替换,对部分和过程进行反向,并且可以独立使用本发明的某些方面。可对本文所述的元件进行改变而不背离所附权利要求书所述的本发明的精神和范围。

Claims (11)

1.一种包括程序指令的非瞬逝性存储介质,所述程序指令可由处理器执行用来:
分析具有与之关联的荧光材料的颗粒的图像,以在所述图像内标识呈现第一预定阈值以上的光学参数值的一个或多个像素;
在多组一个或多个所标识像素内确定分别在所述组内呈现所述光学参数的最大值的位置;
随后对围绕所述位置中至少一个的多个像素计算所述光学参数的强度变化率,以确定所述多个像素表示所述颗粒图像中的单个颗粒还是所述颗粒图像中的颗粒团;以及
基于所计算的强度变化率,接受或拒绝所述多个像素用于进一步评估。
2.如权利要求1所述的存储介质,其特征在于,用于接受或拒绝所述多个像素的程序指令包括:
在所计算的强度变化率大于或等于与所述第一预定阈值不同的第二预定阈值时接受所述多个像素用于进一步评估;以及
在所计算的强度变化率小于所述第二预定阈值时拒绝所述多个像素用于进一步评估。
3.如权利要求1所述的存储介质,其特征在于,用于计算所述强度变化率的所述程序指令包括用于以下步骤的程序指令:
对排列在围绕所述至少一个位置的第一预定半径内的第一组多个像素的所述光学参数值进行求和;
对排列在围绕所述至少一个位置的第二预定半径内的第二组多个像素的所述光学参数值进行求和,其中所述第二预定半径大于所述第一预定半径;以及
确定分别对所述第一和第二组像素计算的求和值的比值。
4.如权利要求3所述的存储介质,其特征在于,所述第一预定半径约等于所述图像内单个颗粒的投影直径,其中所述投影直径基于用于对所述颗粒成像的系统的部件配置。
5.如权利要求3所述的存储介质,其特征在于,所述第二预定半径约比所述图像内单个颗粒的投影直径大1.5倍,其中所述投影直径基于用于对所述颗粒成像的系统的部件配置。
6.如权利要求1所述的存储介质,其特征在于,用于确定所述位置的所述程序指令包括用于在所述多组一个或多个所标识像素中确定分别呈现所述光学参数的最大值的峰值像素的程序指令。
7.如权利要求6所述的存储介质,其特征在于,用于确定所述位置的所述程序指令还包括用于基于对应于所述至少一个组的所述峰值像素内以及包含在围绕所述峰值像素的第二预定半径内邻近所述峰值像素的像素内的所述光学参数值,在所述多组一个或多个所标识像素的至少一个内计算质心位置的程序指令。
8.如权利要求7所述的存储介质,其特征在于,用于确定所述位置的所述程序指令还包括用于在确定所述质心位置的尺寸大于所述图像内像素宽度的约50%时,将所述质心位置指派为所述至少一组内呈现所述光学参数最大值的所述位置的程序指令。
9.如权利要求6所述的存储介质,其特征在于,还包括用于以下步骤的程序指令:
计算所述峰值像素中的两个像素之间的距离;以及
在所计算的距离小于第二预定阈值时,拒绝与所述两个峰值像素之一对应的一组像素用于进一步评估。
10.如权利要求9所述的存储介质,其特征在于,所述用于拒绝一组像素的程序指令包括用于以下步骤的程序指令:
对与所述两个峰值像素对应的每组像素计算光学参数的强度变化率;以及
基于对每组像素计算的强度变化率拒绝所述一组像素。
11.如权利要求3所述的存储介质,其特征在于,还包括用于重复以下步骤:对所述第一和第二组多个像素的光学参数值进行求和,以及对不同预定半径确定求和值的比值。
CN201210021100.3A 2005-09-21 2006-09-21 图像数据处理的方法和系统 Active CN102622746B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US71901005P 2005-09-21 2005-09-21
US60/719,010 2005-09-21
CNA2006800347928A CN101268355A (zh) 2005-09-21 2006-09-21 图像数据处理的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800347928A Division CN101268355A (zh) 2005-09-21 2006-09-21 图像数据处理的方法和系统

Publications (2)

Publication Number Publication Date
CN102622746A true CN102622746A (zh) 2012-08-01
CN102622746B CN102622746B (zh) 2016-05-25

Family

ID=37622140

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201210021093.7A Active CN102621053B (zh) 2005-09-21 2006-09-21 图像数据处理的方法和系统
CN201210021100.3A Active CN102622746B (zh) 2005-09-21 2006-09-21 图像数据处理的方法和系统
CNA2006800347928A Pending CN101268355A (zh) 2005-09-21 2006-09-21 图像数据处理的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201210021093.7A Active CN102621053B (zh) 2005-09-21 2006-09-21 图像数据处理的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CNA2006800347928A Pending CN101268355A (zh) 2005-09-21 2006-09-21 图像数据处理的方法和系统

Country Status (8)

Country Link
US (8) US8031918B2 (zh)
EP (4) EP4071458A1 (zh)
JP (3) JP5037511B2 (zh)
KR (1) KR101264379B1 (zh)
CN (3) CN102621053B (zh)
CA (3) CA2984777C (zh)
HK (1) HK1173777A1 (zh)
WO (1) WO2007035840A2 (zh)

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146595B (zh) 2005-01-28 2012-07-04 杜克大学 用于在印刷电路板上操作液滴的装置和方法
AU2006247752B2 (en) 2005-05-11 2012-04-12 Advanced Liquid Logic, Inc. Method and device for conducting biochemical or chemical reactions at multiple temperatures
CN102621053B (zh) 2005-09-21 2015-05-06 卢米尼克斯股份有限公司 图像数据处理的方法和系统
US20140193807A1 (en) 2006-04-18 2014-07-10 Advanced Liquid Logic, Inc. Bead manipulation techniques
US9476856B2 (en) 2006-04-13 2016-10-25 Advanced Liquid Logic, Inc. Droplet-based affinity assays
US8809068B2 (en) * 2006-04-18 2014-08-19 Advanced Liquid Logic, Inc. Manipulation of beads in droplets and methods for manipulating droplets
US8637324B2 (en) 2006-04-18 2014-01-28 Advanced Liquid Logic, Inc. Bead incubation and washing on a droplet actuator
US7439014B2 (en) * 2006-04-18 2008-10-21 Advanced Liquid Logic, Inc. Droplet-based surface modification and washing
US8980198B2 (en) * 2006-04-18 2015-03-17 Advanced Liquid Logic, Inc. Filler fluids for droplet operations
US8658111B2 (en) 2006-04-18 2014-02-25 Advanced Liquid Logic, Inc. Droplet actuators, modified fluids and methods
US10078078B2 (en) 2006-04-18 2018-09-18 Advanced Liquid Logic, Inc. Bead incubation and washing on a droplet actuator
US7727723B2 (en) 2006-04-18 2010-06-01 Advanced Liquid Logic, Inc. Droplet-based pyrosequencing
WO2007123908A2 (en) 2006-04-18 2007-11-01 Advanced Liquid Logic, Inc. Droplet-based multiwell operations
US8716015B2 (en) 2006-04-18 2014-05-06 Advanced Liquid Logic, Inc. Manipulation of cells on a droplet actuator
US7901947B2 (en) * 2006-04-18 2011-03-08 Advanced Liquid Logic, Inc. Droplet-based particle sorting
WO2009111769A2 (en) 2008-03-07 2009-09-11 Advanced Liquid Logic, Inc. Reagent and sample preparation and loading on a fluidic device
EP2765423B1 (en) * 2006-06-02 2016-11-02 Luminex Corporation Systems and methods for performing measurements of one or more analytes comprising using magnetic particles and applying a magnetic field
US8296088B2 (en) 2006-06-02 2012-10-23 Luminex Corporation Systems and methods for performing measurements of one or more materials
US8009889B2 (en) * 2006-06-27 2011-08-30 Affymetrix, Inc. Feature intensity reconstruction of biological probe array
EP2857526B1 (en) 2006-12-13 2016-08-17 Luminex Corporation Systems and methods for multiplex analysis of PCR in real time
US8685344B2 (en) * 2007-01-22 2014-04-01 Advanced Liquid Logic, Inc. Surface assisted fluid loading and droplet dispensing
BRPI0806831B8 (pt) * 2007-02-09 2021-07-27 Advanced Liquid Logic Inc métodos atuadores de gotículas empregando esferas magnéticas
US8872527B2 (en) 2007-02-15 2014-10-28 Advanced Liquid Logic, Inc. Capacitance detection in a droplet actuator
WO2011084703A2 (en) 2009-12-21 2011-07-14 Advanced Liquid Logic, Inc. Enzyme assays on a droplet actuator
EP2126038B1 (en) 2007-03-22 2015-01-07 Advanced Liquid Logic, Inc. Enzymatic assays for a droplet actuator
JP2010524002A (ja) * 2007-04-10 2010-07-15 アドヴァンスト リキッド ロジック インコーポレイテッド 液滴分配装置および方法
US8951732B2 (en) 2007-06-22 2015-02-10 Advanced Liquid Logic, Inc. Droplet-based nucleic acid amplification in a temperature gradient
WO2009029561A2 (en) * 2007-08-24 2009-03-05 Advanced Liquid Logic, Inc. Bead manipulations on a droplet actuator
US8702938B2 (en) * 2007-09-04 2014-04-22 Advanced Liquid Logic, Inc. Droplet actuator with improved top substrate
US8171777B2 (en) * 2007-09-17 2012-05-08 Adam Richard Schilffarth Systems, storage mediums, and methods for identifying particles in flow
WO2009052123A2 (en) * 2007-10-17 2009-04-23 Advanced Liquid Logic, Inc. Multiplexed detection schemes for a droplet actuator
WO2009052095A1 (en) * 2007-10-17 2009-04-23 Advanced Liquid Logic, Inc. Reagent storage and reconstitution for a droplet actuator
WO2009052321A2 (en) * 2007-10-18 2009-04-23 Advanced Liquid Logic, Inc. Droplet actuators, systems and methods
WO2009076414A2 (en) * 2007-12-10 2009-06-18 Advanced Liquid Logic, Inc. Droplet actuator configurations and methods
KR20100100974A (ko) * 2007-12-23 2010-09-15 어드밴스드 리퀴드 로직, 아이엔씨. 액적 작업들을 수행하는 액적 작동기 구성부 및 방법
US20090170214A1 (en) * 2007-12-27 2009-07-02 Luminex Corporation Luminescent Reporter Modality for Analyzing an Assay
JP2011509405A (ja) * 2008-01-07 2011-03-24 ルミネックス コーポレーション 生物学的標的の免疫磁気捕捉および撮像の方法
JP5550182B2 (ja) * 2008-01-07 2014-07-16 ルミネックス コーポレーション 複合試料マトリクスからの細胞の単離および計数の方法
US8852952B2 (en) 2008-05-03 2014-10-07 Advanced Liquid Logic, Inc. Method of loading a droplet actuator
US20110097763A1 (en) * 2008-05-13 2011-04-28 Advanced Liquid Logic, Inc. Thermal Cycling Method
EP2286228B1 (en) * 2008-05-16 2019-04-03 Advanced Liquid Logic, Inc. Droplet actuator devices and methods for manipulating beads
WO2010009424A2 (en) 2008-07-17 2010-01-21 Luminex Corporation Methods, storage mediums, and systems for configuring classification regions within a classification matrix of an analysis system and for classifying particles of an assay
US8877512B2 (en) * 2009-01-23 2014-11-04 Advanced Liquid Logic, Inc. Bubble formation techniques using physical or chemical features to retain a gas bubble within a droplet actuator
US8926065B2 (en) 2009-08-14 2015-01-06 Advanced Liquid Logic, Inc. Droplet actuator devices and methods
US8846414B2 (en) 2009-09-29 2014-09-30 Advanced Liquid Logic, Inc. Detection of cardiac markers on a droplet actuator
US9091649B2 (en) 2009-11-06 2015-07-28 Advanced Liquid Logic, Inc. Integrated droplet actuator for gel; electrophoresis and molecular analysis
EP2507620B1 (en) 2009-11-30 2017-03-22 Bio-Rad Laboratories, Inc. Optical bead assay reader
US9500644B2 (en) * 2010-02-23 2016-11-22 Luminex Corporation Particle populations and assays having varying amounts of magnetic material and particle concentrations among different subsets of particles and methods for processing assays having such particle populations
AU2011221243B2 (en) 2010-02-25 2016-06-02 Advanced Liquid Logic, Inc. Method of making nucleic acid libraries
WO2011126892A2 (en) 2010-03-30 2011-10-13 Advanced Liquid Logic, Inc. Droplet operations platform
US8274656B2 (en) 2010-06-30 2012-09-25 Luminex Corporation Apparatus, system, and method for increasing measurement accuracy in a particle imaging device
WO2012012090A2 (en) 2010-06-30 2012-01-26 Advanced Liquid Logic, Inc. Droplet actuator assemblies and methods of making same
US8767069B2 (en) * 2010-06-30 2014-07-01 Luminex Corporation Apparatus, system, and method for increasing measurement accuracy in a particle imaging device using light distribution
EP2593771B1 (en) 2010-07-16 2019-09-04 Luminex Corporation Methods, storage mediums, and systems for analyzing particle quantity and distribution within an imaging region of an assay analysis system and for evaluating the performance of a focusing routing performed on an assay analysis system
WO2012035705A1 (ja) * 2010-09-17 2012-03-22 国立大学法人東北大学 抗体を成分として含む医薬品の有効性の判定方法
EP2641097A4 (en) 2010-11-17 2016-09-07 CAPACITY RECOGNITION IN A DROPPER ACTUATOR
CN102288530B (zh) * 2010-12-29 2014-05-14 天津炜辐医疗科技有限公司 测量运动粒子衍射图像的时间延迟积分成像系统
US9134241B2 (en) * 2011-04-11 2015-09-15 Li-Cor, Inc. Differential scan imaging systems and methods
AU2012250917B2 (en) 2011-05-02 2015-09-17 Advanced Liquid Logic, Inc. Molecular diagnostics platform
EP2711079B1 (en) 2011-05-09 2018-12-19 Advanced Liquid Logic, Inc. Microfluidic Feedback Using Impedance Detection
US9140635B2 (en) 2011-05-10 2015-09-22 Advanced Liquid Logic, Inc. Assay for measuring enzymatic modification of a substrate by a glycoprotein having enzymatic activity
US8901043B2 (en) 2011-07-06 2014-12-02 Advanced Liquid Logic, Inc. Systems for and methods of hybrid pyrosequencing
AU2012279420A1 (en) 2011-07-06 2014-01-30 Advanced Liquid Logic Inc Reagent storage on a droplet actuator
WO2013009927A2 (en) 2011-07-11 2013-01-17 Advanced Liquid Logic, Inc. Droplet actuators and techniques for droplet-based assays
WO2013016413A2 (en) 2011-07-25 2013-01-31 Advanced Liquid Logic Inc Droplet actuator apparatus and system
EP2769198B1 (en) * 2011-10-18 2016-05-25 Luminex Corporation Methods and systems for image data processing
US10731199B2 (en) 2011-11-21 2020-08-04 Advanced Liquid Logic, Inc. Glucose-6-phosphate dehydrogenase assays
US9223317B2 (en) 2012-06-14 2015-12-29 Advanced Liquid Logic, Inc. Droplet actuators that include molecular barrier coatings
CN104541152B (zh) 2012-06-15 2017-08-25 卢米尼克斯股份有限公司 使用拟合选择标准的高斯残差的图像归一化装置、系统和方法
EP2867645B1 (en) 2012-06-27 2019-06-05 Advanced Liquid Logic, Inc. Techniques and droplet actuator designs for reducing bubble formation
US9863913B2 (en) 2012-10-15 2018-01-09 Advanced Liquid Logic, Inc. Digital microfluidics cartridge and system for operating a flow cell
US9135515B2 (en) * 2012-10-22 2015-09-15 Qiagen Gaithersburg, Inc. Automated pelletized sample vision inspection apparatus and methods
US8988663B2 (en) * 2013-01-22 2015-03-24 Raytheon Company Laser range finding
US9146248B2 (en) 2013-03-14 2015-09-29 Intelligent Bio-Systems, Inc. Apparatus and methods for purging flow cells in nucleic acid sequencing instruments
US9591268B2 (en) 2013-03-15 2017-03-07 Qiagen Waltham, Inc. Flow cell alignment methods and systems
US9212976B2 (en) 2013-03-15 2015-12-15 Qiagen Gaithersburg, Inc. Vision-guided aspiration apparatus and methods
EP3033599A4 (en) 2013-08-13 2017-03-22 Advanced Liquid Logic, Inc. Methods of improving accuracy and precision of droplet metering using an on-actuator reservoir as the fluid input
CA2920390A1 (en) 2013-08-30 2015-03-05 Illumina, Inc. Manipulation of droplets on hydrophilic or variegated-hydrophilic surfaces
CA2946862A1 (en) 2014-04-24 2015-10-29 Immusant, Inc. Use of interleukin-2 for diagnosis of celiac disease
CN106459967A (zh) 2014-04-29 2017-02-22 Illumina公司 使用模板转换和标签化的多重单细胞基因表达分析
US9251427B1 (en) * 2014-08-12 2016-02-02 Microsoft Technology Licensing, Llc False face representation identification
US10473647B1 (en) 2014-11-21 2019-11-12 Immusant, Inc. Peptides for use in treatment and diagnosis of type 1 diabetes
SG11201706352QA (en) * 2015-02-06 2017-09-28 Life Technologies Corp System and methods for calibrating binding dyes
US10576471B2 (en) 2015-03-20 2020-03-03 Illumina, Inc. Fluidics cartridge for use in the vertical or substantially vertical position
JP6743150B2 (ja) 2015-08-28 2020-08-19 イルミナ インコーポレイテッド 単一細胞の核酸配列分析
AU2017246899B2 (en) 2016-04-07 2020-04-09 Illumina, Inc. Methods and systems for construction of normalized nucleic acid libraries
CN109416313A (zh) * 2016-06-24 2019-03-01 拜克门寇尔特公司 图像地图集系统和方法
US10324041B2 (en) 2016-12-21 2019-06-18 Abbott Japan Co., Ltd. Optical imaging system using lateral illumination for digital assays
US11047854B2 (en) 2017-02-06 2021-06-29 Abbott Japan Llc Methods for reducing noise in signal-generating digital assays
WO2019018040A1 (en) 2017-04-24 2019-01-24 Trustees Of Princeton University DOUBLING ANISOTROPIC FOR SINGLE PARTICLE RECONSTRUCTION USING SELF-CORRELATION ANALYSIS
CN109564770B (zh) * 2017-04-28 2023-11-21 国立研究开发法人海洋研究开发机构 整合系统以及整合方法
US11557034B2 (en) * 2017-06-13 2023-01-17 The Trustees Of Princeton University Fully automatic, template-free particle picking for electron microscopy
KR102653725B1 (ko) 2018-01-29 2024-04-01 세인트 쥬드 칠드런즈 리써치 호스피탈, 인코포레이티드 핵산 증폭을 위한 방법
WO2019170757A2 (en) * 2018-03-07 2019-09-12 LIFE TECHNOLOGIES GmbH Imaging apparatuses, systems and methods
EP3788348B1 (en) 2018-05-02 2023-08-02 Corning Research & Development Corporation Methods for detection of contaminants on optical fiber connectors
KR102547321B1 (ko) * 2018-06-01 2023-06-23 삼성전자주식회사 영상 표시 장치 및 그 동작방법
CN108805887B (zh) * 2018-06-19 2021-07-23 北京航空航天大学 一种条状单粒子成像噪声的建模方法
KR102039016B1 (ko) * 2018-09-13 2019-10-31 황준철 농도 모니터링 시스템 및 그 방법
EP3719477B1 (en) 2019-04-03 2023-01-18 Mecwins, S.A. Method for optically detecting biomarkers
IL296604A (en) 2020-03-30 2022-11-01 Illumina Inc Methods and preparations for preparing nucleic acid libraries
US11709124B2 (en) * 2020-07-13 2023-07-25 Honeywell International Inc. Particle sensor sample area qualification without a physical slit
WO2024077048A1 (en) * 2022-10-06 2024-04-11 Regents Of The University Of Minnesota Suspended particle detection and analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307963B1 (en) * 1997-06-02 2001-10-23 Matsushita Electric Industrial Co., Ltd. Image detection method, image detection apparatus, image processing method, image processing apparatus, and medium
CN1474345A (zh) * 2003-05-22 2004-02-11 上海交通大学 虹膜识别系统的图像质量评价方法
US20040071328A1 (en) * 2001-09-07 2004-04-15 Vaisberg Eugeni A. Classifying cells based on information contained in cell images
US20050009032A1 (en) * 2003-07-07 2005-01-13 Cytokinetics, Inc. Methods and apparatus for characterising cells and treatments
CN1632831A (zh) * 2005-01-26 2005-06-29 北京中星微电子有限公司 一种检测图像灰度变化的方法

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0786455B2 (ja) * 1986-07-18 1995-09-20 興和株式会社 粒子測定方法及び装置
US5206699A (en) * 1988-05-06 1993-04-27 Gersan Establishment Sensing a narrow frequency band of radiation and gemstones
US6610256B2 (en) * 1989-04-05 2003-08-26 Wisconsin Alumni Research Foundation Image processing and analysis of individual nucleic acid molecules
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US6040138A (en) * 1995-09-15 2000-03-21 Affymetrix, Inc. Expression monitoring by hybridization to high density oligonucleotide arrays
US5107422A (en) * 1989-10-02 1992-04-21 Kamentsky Louis A Method and apparatus for measuring multiple optical properties of biological specimens
US5162990A (en) * 1990-06-15 1992-11-10 The United States Of America As Represented By The United States Navy System and method for quantifying macrophage phagocytosis by computer image analysis
US5579409A (en) * 1991-09-27 1996-11-26 E. I. Du Pont De Nemours And Company Methods for determining the exterior points of an object in a background
JPH05164687A (ja) * 1991-12-18 1993-06-29 Hamamatsu Photonics Kk レシオイメージング装置
EP0599345B1 (en) * 1992-11-27 2002-06-05 Fuji Photo Film Co., Ltd. Method for adjusting positions of radiation images
US6090555A (en) * 1997-12-11 2000-07-18 Affymetrix, Inc. Scanned image alignment systems and methods
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
JP3347865B2 (ja) 1994-03-17 2002-11-20 富士写真フイルム株式会社 放射線画像の位置合せ方法
JPH07286952A (ja) * 1994-04-19 1995-10-31 Hitachi Ltd 粒子画像分析装置
EP0713086B1 (en) 1994-11-17 1999-04-14 Chemunex Apparatus and process for the detection and counting of rarely occurring mammalian cells
US5828766A (en) * 1994-12-15 1998-10-27 Anthony Gallo Acoustics, Inc. Acoustic speaker system
US5736330A (en) 1995-10-11 1998-04-07 Luminex Corporation Method and compositions for flow cytometric determination of DNA sequences
AU7398996A (en) 1995-10-11 1997-04-30 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and method
US5981180A (en) 1995-10-11 1999-11-09 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and methods
AP931A (en) * 1995-10-23 2001-02-02 Cytometrics Inc Method and apparatus for reflected imaging analysis.
US6165734A (en) * 1995-12-12 2000-12-26 Applied Spectral Imaging Ltd. In-situ method of analyzing cells
US5841148A (en) * 1996-02-02 1998-11-24 Fuji Photo Film Co., Ltd. Image processing apparatus
DE19629141A1 (de) * 1996-07-19 1998-04-16 Bayer Ag Verfahren und Vorrichtung zum Screening von Molekülen bezüglich ihres individuellen Bindungsverhaltens zu mindestens einem vorgegebenen Ligand
US6506564B1 (en) * 1996-07-29 2003-01-14 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6449562B1 (en) * 1996-10-10 2002-09-10 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and method
US6416959B1 (en) * 1997-02-27 2002-07-09 Kenneth Giuliano System for cell-based screening
EP1439384B1 (en) 1997-02-27 2008-05-14 Cellomics, Inc. A system for screening biological cells
CA2291180A1 (en) * 1997-05-23 1998-11-26 Lynx Therapeutics, Inc. System and apparatus for sequential processing of analytes
KR20010031140A (ko) 1997-10-14 2001-04-16 루미넥스 코포레이션 정밀 형광염료 입자 및 그의 제조방법 그리고 그의 사용
DE69907630T2 (de) * 1998-01-22 2004-02-26 Luminex Corp., Austin Mikropartikel mit multiplen fluoreszenz-signalen
JP3946444B2 (ja) * 1998-05-14 2007-07-18 ルミネックス コーポレイション フローサイトメータのデッドタイムをゼロにする構成および方法
WO1999058955A1 (en) * 1998-05-14 1999-11-18 Luminex Corporation Multi-analyte diagnostic system and computer implemented process for same
ATE292822T1 (de) 1998-11-13 2005-04-15 Cellomics Inc Verfahren und system zum effizienten gewinnen und speichern von experimentellen daten
GB9903555D0 (en) * 1999-02-16 1999-04-07 The Technology Partnership Plc Chemical and biological assay method and apparatus
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US6284465B1 (en) * 1999-04-15 2001-09-04 Agilent Technologies, Inc. Apparatus, systems and method for locating nucleic acids bound to surfaces
US7151847B2 (en) * 2001-02-20 2006-12-19 Cytokinetics, Inc. Image analysis of the golgi complex
US6876760B1 (en) * 2000-12-04 2005-04-05 Cytokinetics, Inc. Classifying cells based on information contained in cell images
US6307959B1 (en) * 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
US6687395B1 (en) * 1999-07-21 2004-02-03 Surromed, Inc. System for microvolume laser scanning cytometry
US6986993B1 (en) * 1999-08-05 2006-01-17 Cellomics, Inc. System for cell-based screening
IL147793A0 (en) * 1999-08-05 2002-08-14 Cellomics Inc Optical system analysis of cells
AU6779700A (en) * 1999-08-17 2001-03-13 Luminex Corporation Microparticles with multiple fluorescent signals and methods of using same
AU6779200A (en) 1999-08-17 2001-03-13 Luminex Corporation Encapsulation of fluorescent particles
WO2001042786A2 (en) * 1999-12-09 2001-06-14 Cellomics, Inc. System for cell based screening : cell spreading
TW461214B (en) * 2000-02-18 2001-10-21 Acer Peripherals Inc Progressive image processing method of graphic image
US20030198385A1 (en) * 2000-03-10 2003-10-23 Tanner Cameron W. Method apparatus for image analysis
US6545758B1 (en) * 2000-08-17 2003-04-08 Perry Sandstrom Microarray detector and synthesizer
US6829376B2 (en) * 2000-10-24 2004-12-07 Affymetrix, Inc. Computer software system, method, and product for scanned image alignment
US7050620B2 (en) * 2001-03-30 2006-05-23 Heckman Carol A Method of assaying shape and structural features in cells
AU2002308693A1 (en) * 2001-04-25 2002-11-05 Amnis Corporation Method and apparatus for correcting crosstalk and spatial resolution for multichannel imaging
JP2002344978A (ja) 2001-05-17 2002-11-29 Ichikawa Soft Laboratory:Kk 画像処理装置
US6879708B2 (en) * 2001-05-24 2005-04-12 Case Western Reserve University Planar particle/droplet size measurement technique using digital particle image velocimetry image data
JP4571763B2 (ja) * 2001-07-18 2010-10-27 株式会社新川 画像処理装置、およびボンディング装置
JP4749637B2 (ja) * 2001-09-28 2011-08-17 オリンパス株式会社 画像解析方法、装置、及び記録媒体
CA2474036C (en) * 2001-11-07 2012-09-25 S3I, Llc System and method for detecting and classifying biological particles
JP4043925B2 (ja) 2001-12-05 2008-02-06 三菱レイヨン株式会社 生体関連物質マイクロアレイの読取装置及び方法
US7133547B2 (en) 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
KR20040105717A (ko) 2002-02-14 2004-12-16 이뮤니베스트 코포레이션 저비용 세포 분석기에서의 세포 계산 방법 및 알고리즘
JP4311607B2 (ja) * 2002-05-27 2009-08-12 富士フイルム株式会社 蛍光診断情報生成方法および装置
AU2003237340A1 (en) 2002-05-28 2003-12-12 Autogenomics, Inc. Level-controlled pipette for automated analytic devices
EP1508027A4 (en) 2002-05-28 2009-04-22 Autogenomics Inc MICROARRAY DETECTOR AND ASSOCIATED METHODS
US7236620B1 (en) * 2002-06-24 2007-06-26 Icad, Inc. Computer-aided detection methods in volumetric imagery
JP2004038728A (ja) * 2002-07-05 2004-02-05 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
EP2433555A3 (en) 2002-07-26 2013-01-16 Olympus Corporation Image processing system
DK1565873T3 (da) * 2002-11-18 2013-09-08 Iris Int Inc Partikelekstraktion til et automatisk strømningsmikroskop
US7063777B2 (en) 2002-12-12 2006-06-20 Aura Biosystems Inc. Dielectrophoretic particle profiling system and method
JP2004290119A (ja) * 2003-03-27 2004-10-21 Sysmex Corp 細菌分析方法及び装置
EP1644867B1 (en) * 2003-04-18 2010-08-11 Medispectra, Inc. A system and diagnostic method for optical detection of suspect portions of a tissue sample
GB2419406B (en) 2003-06-26 2007-04-18 Secr Defence Improvements to fluid borne particle analysers
US7362920B2 (en) * 2003-09-22 2008-04-22 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration based on joint correspondences between scale-invariant salient region features
JP4102286B2 (ja) * 2003-10-22 2008-06-18 シスメックス株式会社 粒子画像分析方法と装置およびそのプログラムと記録媒体
CN1259636C (zh) 2003-12-31 2006-06-14 厦门大学 赤潮生物图像自动识别装置与识别方法
US7456377B2 (en) * 2004-08-31 2008-11-25 Carl Zeiss Microimaging Ais, Inc. System and method for creating magnified images of a microscope slide
EP1820001A1 (en) 2004-11-12 2007-08-22 Luminex Corporation Methods and systems for positioning microspheres for imaging
JP2006197172A (ja) * 2005-01-13 2006-07-27 Matsushita Electric Ind Co Ltd 白黒/カラー原稿判別装置および白黒/カラー原稿判別方法およびそれらを備えた画像読取装置
JP4709278B2 (ja) 2005-05-23 2011-06-22 エフ. ヘスス ハラルド 光変換可能な光学標識を用いる光学顕微鏡法
CN102621053B (zh) 2005-09-21 2015-05-06 卢米尼克斯股份有限公司 图像数据处理的方法和系统
GB0802084D0 (en) 2008-02-05 2008-03-12 Univ Dublin City Microfluidic device for assessing cell surface interactions
JP2012013804A (ja) 2010-06-29 2012-01-19 Sony Corp 画像処理装置、画像処理システム、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307963B1 (en) * 1997-06-02 2001-10-23 Matsushita Electric Industrial Co., Ltd. Image detection method, image detection apparatus, image processing method, image processing apparatus, and medium
US20040071328A1 (en) * 2001-09-07 2004-04-15 Vaisberg Eugeni A. Classifying cells based on information contained in cell images
CN1474345A (zh) * 2003-05-22 2004-02-11 上海交通大学 虹膜识别系统的图像质量评价方法
US20050009032A1 (en) * 2003-07-07 2005-01-13 Cytokinetics, Inc. Methods and apparatus for characterising cells and treatments
CN1632831A (zh) * 2005-01-26 2005-06-29 北京中星微电子有限公司 一种检测图像灰度变化的方法

Also Published As

Publication number Publication date
US8031918B2 (en) 2011-10-04
KR20080051176A (ko) 2008-06-10
EP2261635A3 (en) 2011-09-28
EP3236234A1 (en) 2017-10-25
JP2009509270A (ja) 2009-03-05
JP5037511B2 (ja) 2012-09-26
JP5336614B2 (ja) 2013-11-06
US20180018498A1 (en) 2018-01-18
US8542897B2 (en) 2013-09-24
US8705859B2 (en) 2014-04-22
KR101264379B1 (ko) 2013-05-14
HK1173777A1 (zh) 2013-05-24
US20160267315A1 (en) 2016-09-15
US20120002882A1 (en) 2012-01-05
JP2012108927A (ja) 2012-06-07
CN102621053B (zh) 2015-05-06
US20140219528A1 (en) 2014-08-07
EP3236234B1 (en) 2022-06-08
US20070064990A1 (en) 2007-03-22
US10108844B2 (en) 2018-10-23
EP4071458A1 (en) 2022-10-12
CA2984777C (en) 2018-04-03
EP1929274B1 (en) 2016-07-27
US20190122021A1 (en) 2019-04-25
CA2984777A1 (en) 2007-03-29
EP2261635A2 (en) 2010-12-15
WO2007035840A2 (en) 2007-03-29
WO2007035840B1 (en) 2007-12-06
EP2261635B1 (en) 2017-05-03
CA2623130A1 (en) 2007-03-29
US20120008869A1 (en) 2012-01-12
CA2623130C (en) 2018-01-09
US8532351B2 (en) 2013-09-10
CN102622746B (zh) 2016-05-25
CA2984772C (en) 2018-04-03
JP2012127969A (ja) 2012-07-05
WO2007035840A3 (en) 2007-10-04
JP5723792B2 (ja) 2015-05-27
US10846508B2 (en) 2020-11-24
EP1929274A2 (en) 2008-06-11
CN101268355A (zh) 2008-09-17
US9286504B2 (en) 2016-03-15
US9767344B2 (en) 2017-09-19
CA2984772A1 (en) 2007-03-29
US20120002875A1 (en) 2012-01-05
CN102621053A (zh) 2012-08-01

Similar Documents

Publication Publication Date Title
CN102622746A (zh) 图像数据处理的方法和系统
AU2011279976B2 (en) Apparatus, system, and method for increasing measurement accuracy in a particle imaging device using light distribution
US8274656B2 (en) Apparatus, system, and method for increasing measurement accuracy in a particle imaging device
JP2020169995A (ja) バイオマーカの同時、多重化、超高感度およびハイスループットの光学的検出のためのバイオセンサプラットフォームおよび方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1173828

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1173828

Country of ref document: HK