CN100495353C - 数据存储器阵列 - Google Patents

Abstract

一种数据存储子系统，包括：3个数据存储单元；3个校验存储单元；以及与3个数据存储单元及3个校验存储单元相连接的阵列控制器，阵列控制器能够容忍任何3个数据存储单元的故障和校验存储单元的故障，任何3个数据存储单元的故障和校验存储单元的故障可以在存储在数据存储子系统上的数据丢失之前发生。信息作为诸如Winograd码、Reed-Solomon码、EVENODD码或者EVENODD码的派生码的对称的最大距离可分码被存储在数据存储子系统上。阵列控制器确定校验存储单元的内容，使得数据存储单元和校验存储单元的任何三个疑符均可以由阵列控制器进行校正。阵列控制器仅使用六个IO操作对包含在数据存储单元和校验存储单元中的任一个存储单元中的数据块进行更新。

Description

数据存储器阵列

技术领域

本发明涉及存储系统。具体地，本发明涉及用于提供改善的存储单元的阵列的性能、保护和效率的系统和方法。

背景技术

本说明书中使用下面的定义，这些定义的目的在于描述而非限制：

“码元”是指存储单元上的数据块。

“基本阵列”是指包括用于错误或疑符(erasure)修正码的阵列单元的码元集。

“阵列”是指保持一个或多个基本阵列的存储单元集。

“条带”是指阵列中的基本阵列。

n是指基本阵列中数据单元的数量。

r是指基本阵列中冗余单元的数量。

m是指阵列中存储单元的数量。

d是指阵列的最小汉明距离。

D是指存储系统的最小汉明距离。

IOw是指执行更新写入的IO的数量。

一个阵列中存储单元的总数量为m＝n+r。

存储系统通常依赖于用于防止由于存储单元的故障而导致数据丢失的RAID技术。但是，基于增加的存储单元的容量，目前的RAID设计正在达到它们的使用极限。这里所用的符号(X+Y)将被用于表示X数据单元和Y冗余单元。现在大部分的系统使用RAID5(n+1)或单个镜像(1+1)作为基本的阵列设计。这些类型的存储系统的配置具有最小汉明距离D＝2，所以可以防止单个存储单元的故障。这里所用的术语“距离”是指最小汉明距离。但是，在RAID 5系统配置中，多个驱动器的故障和硬盘错误的可能已经增加了数据丢失事件的发生。实践中已经注意到了导致数据丢失的多个存储单元的丢失。

已经提出了许多阵列配置用于处理这种高故障率。例如，已经提出用于处理高故障率的方案有：具有距离D＝3的RAID 6(n+2)、具有距离D＝3的双镜像(1+2)以及具有距离D＝4的RAID51(n+(n+2))。但是，所有这些阵列配置都有一些缺点，下面将结合表1和图2对此进行说明。

仍然需要一种在常规方法上提供改善的性能、保护和效率的阵列配置。

发明内容

本发明提供一种阵列配置，该阵列配置相比常规的方法提供了改善的性能、保护和效率。

本发明的优点由与三个数据存储单元和三个校验存储单元相连接的阵列控制器提供：(3+3)配置，这里称之为RAID 3+3阵列。信息作为对称的最大距离可分码被存储在数据存储子系统上，诸如Winograd码、EVENODD码或EVENODD码的派生码或者Reed-Solomon码。阵列控制器确定校验存储单元的内容，使得数据存储单元和校验存储单元的任何三个疑符均可以由阵列控制器进行校正。任何三个存储单元的故障，数据存储单元和校验存储单元，都可以在存储在数据存储子系统上的数据丢失之前发生。阵列控制器仅使用六个IO操作对包含在阵列中的数据块进行更新而同时保持校验存储单元的内容，从而使得数据存储单元和校验存储单元的任何三个疑符可以由阵列控制器进行校正。二个IO操作为读操作，四个IO操作为写操作。更具体地，读操作从不是正在被更新的数据存储单元中读取数据，并且四个写操作将数据写入到正在被更新的数据存储单元以及三个校验存储单元中。

附图说明

本发明通过示例而不是限制的方式在附图中进行描述，其中，相同的标号表示相同的元件，其中：

图1表示根据本发明一个实施例的RAID 3+3存储子系统；

图2表示对不同的常规系统配置和根据本发明的一个实施例的RAID 3+3系统配置的相对保护进行比较的图形。

图3表示根据本发明的一个实施例的RAID 3+3存储子系统，其中该子系统配置为多个条带，每个条带由一个RAID 3+3基本阵列组成，其中在存储单元中布置数据和检验码元用于使得存取热点最小。

具体实施方式

本发明提供一种新的存储系统配置，与以前的常规存储系统配置相比，该系统配置具有很大的优势。在这方面，本发明的存储系统配置提供了性能、保护和效率的最好的组合。本发明的存储系统配置也可以完全地使得处理错误从而增加保护等级的新技术成为可能。参见，例如，主题为“失真代码”的美国专利申请10/619,641(律师卷号ARC920030014US1)、主题为“自动奇偶变换”的美国专利10/619,649(律师卷号ARC9-2003-0015US1)以及主题为“从冗余阵列进行多路径数据检索”的美国专利申请10/619,633(律师卷号ARC9-2003-0016US1)，这些专利申请在此引入作为参考。

图1表示RAID 3+3存储子系统100。子系统100包括阵列控制器101、包含数据的三个数据存储单元A、B和C以及包括冗余信息的三个检验存储单元P、Q和R。数据存储单元A、B和C以及检验存储单元P、Q和R通常为硬盘驱动器(HDD)，但是在这里将称之为存储单元，因为本发明可用于从其它诸如随机存取存储器(RAM)存储器设备、光存储器设备和磁带存储器设备的存储器设备阵列构成的存储系统。存储单元A、B、C、P、Q和R通过接口102与阵列控制器101通信。阵列控制器101通过接口103与其它的控制器和主机系统(未示出)通信。这种配置允许阵列控制器101与多个存储阵列通信。

存储子系统100的配置被称为对称码，其中，数据存储单元的数量与冗余存储单元的数量相等，为MDS。阵列控制器101从数据单元的内容计算冗余信息，从而使得所有的数据可以从六个存储单元的任何三个存储单元中得到恢复。

有许多种计算冗余数据的方法。优选的方法是使用Winograd码。Winograd码是仅利用异或(XOR)操作计算冗余数据的高效的编码。有种高效的用于计算3+3码的Winograd码(如美国专利申请10/600,593(律师卷号YOR9-2003-0069US1)所述)，该美国专利申请在此引入作为参考。也有仅利用XOR操作的EVENODD码的扩展，但是，它们没有Winograd码效率高。参见，例如，1995年2月出版的关于计算机的IEEE Trans.第44卷第2期第192页-第202页的由M.Blaum et al.所著的“EVENODD：An Efficient Scheme ForTolerating Double Disk Failures In A RAID Architecture”，以及由H.Jin et al.编辑、纽约州的IEEE&Wiley出版社出版的“HighPerformance Mass Storage and Parallel I/O：Technologies andApplications”的第14章第1872001页的由M.Blaum et al.所著的“The EVENODD Code and its Gerneralization”。

RAID3+3存储子系统100的数据效率为1/2。作为较大存储系统一部分的存储子系统，RAID 3+3阵列100的配置在关于故障恢复及写性能方面相比常规存储子系统具有多个优势。

例如，RAID 3+3子系统100可以容忍三个存储单元中任何存储单元的故障，而不会丢失数据集。这是最大距离可分(MDS)疑符码的特性；例如，RAID 3+3存储子系统100使用的Winograd码、EVENODD码或EVENODD码的派生码或Reed-Solomon码。故障恢复允许在不太紧急的情况下对用于常规RAID系统配置的RAID 3+3存储子系统100进行修补。也就是，通过提供更多的冗余，增加了修补断掉的子系统的机会，从而允许在出现由存储单元的故障而导致的数据丢失之前较长的间隔。另外，通过保持子系统内低的存储单元的数量，从而与使用大量存储单元的子系统相比，这就降低了每个子系统中的单元发生故障的机会。

当D≥2(即留有冗余)时在修补阶段有一个额外的好处，即，允许在该修补过程中正在使用的任何单元的进一步的可能小的数据丢失事件的恢复。另外，当一个或数个存储单元发生故障时，RAID 3+3子系统100的阵列控制器101能够修补来自返回不正确数据的任何存储单元的数据。

表1：

 

RAID配置	汉明距离	存储效率	写损失
				RAID5	2	93.8％	4
Mirror	2	50％	2
				RAID6	3	87.5％	6
RAID 2+2	3	50％	4
				2x Mirror	3	33.3％	3
RAID n+3	4	81.3％	8
				RAID 3+3	4	50％	6
RAID 51	4	43.8％	6
				3x Mirror	4	25％	4

表1比较了不同的常规系统配置和根据本方明的一个实施例的RAID 3+3系统配置的数据存储效率和写性能损失。第一栏(最左边)列出了多个常规的系统配置，包括根据本发明的一个实施例的RAID 3+3系统配置。第二栏表示最小汉明距离，第三栏表示数据存储效率，第四栏表示在表1的第一栏中列出的不同系统配置的写性能损失。忽略备用的每个相应系统配置的数据存储效率值是在假定阵列大小为m＝16个存储单元的情况下计算的。写性能损失值表示小块写入IO操作的数量。

图2表示对表1中所列的系统配置在一段时间上的相对保护进行比较的图形。横坐标列出了系统配置，包括根据本发明的实施例的RAID 3+3系统配置。纵坐标表示由各个系统配置提供的相对保护级，该保护级由正确的纵坐标进行量化。在图2的例子中，其中假定，阵列大小为m＝16，250GB存储单元的MTBF为100万小时，硬件错误率为1/10¹⁴比特。保护级1上的水平线201表示选择的保护目标是每5年第百万存储单元出现一次数据丢失事件。从图2的左侧开始，RAID 5系统配置和镜像系统配置(均为距离D＝2的方案)提供的保护级不符合所选择的保护目标(线201)，表明需要提供比这两种系统配置更强的方案。距离D＝3的RAID 6(n+2)系统配置具有高的效率，但是在可靠性方面则离目标很远。对称的2+2系统配置和2x镜像系统配置均为距离D＝3的方案，接近所选择的保护目标(线201)。这两种系统具有相似的保护级，但是2x镜像配置设计牺牲效率以换取性能。RAID n+3系统配置为距离D＝4的方案，具有高的效率，但是具有很差的写性能，其基本上与距离D＝3的方案具有相同的保护级。因此，为了获得高效率需要有一个很大的可靠性的折衷。

图2中三个最右边的系统配置的均为距离D＝4，并且它们都比其它6种配置要可靠得多。在这三种系统配置中，根据本发明的RAID3+3系统配置具有三个最右边的系统配置中最高的效率，并且具有与RAID 51系统配置相同的写行为。3x镜像系统设计为提高写性能牺牲了基本效率。图2中所示的所有D＝4的系统配置具有足够的保护空间，足够用于存储系统的未来的换代(大于4个数量级)。

根据本发明实施例的RAID 3+3系统配置获得距离D＝4，而仅需要小块写入的6个IO。

常规的更新技术用于线性MDS码以根据数据变化更新奇偶校验信息。常规的技术要求从数据驱动器中读取旧数据，从奇偶驱动器读取相应的旧奇偶校验，写新数据，计算新的奇偶校验并将该新的奇偶信息写入奇偶驱动器。这里根据数据变化更新奇偶校验的常规技术称为更新奇偶校验的“前向方法”。因此，执行前向方法的更新写入的IO的数量为：

$=2D$

第二种可用于更新MDS码中的奇偶校验的方法这里称为更新奇偶校验的“补充方法”。在该补充方法中，首先从不是正在被更新的数据驱动器中读取现存的数据，然后写入新的数据和奇偶校验值。执行该补充更新方法的更新写操作的IO的数量为：

$=n+r$

$=m$

因此，在一些情况下，补充方法比常规的前向方法更有效率。当

IOw_comp≦IOw_fwd，               (3)

则

n+r≦2(r+1)

n≦r+2.             (4)

表达式(4)表示具有高冗余级的阵列配置通过使用更新奇偶校验的补充方法而因此具有更好的IO效率。补充方法也将IO负载更平均地在系统的存储单元中展开，因为每个设备有一个IO—或者为读或者为写。相反，前向方法包括在存取设备上进行读-修改-写操作，从而导致局部化的存取模式。当例如附近数据被缓存时，补充方法可能也具有更好的实施特征。

当补充方法被用于更新写时，n＝r的对称码提供了进一步的性能优点。在对称码中，汉明距离为D＝r+1。在通常的MDS情况下，执行更新的IO的数量显示为IOw_fwd＝2D。对于使用补充方法的对称码更新，则为：

${\mathrm{IOw}}_{\mathrm{Sym}}=m---\left(5\right)$

$=n+r$

$=2r$

$=2D-2.$

因此，比使用前向更新方法的通常MDS码的情况下节省了两个IO。这意味着在相同写性能的情况下，对称码可以获得比通常MDS码大1的最小汉明距离。

参照图1，考虑对单元B进行更新写的情形。使用补充方法，从单元A和C中读取相关的旧数据，然后将新数据写入单元B，并将新的校验信息写到单元P、Q和R。相反，常规的前向方法则需要从单元B、P、Q和R读取相关的旧数据，然后将新数据写到B，并将新的校验信息写到P、Q和R。因此，补充方法使用6个IO，而常规的前向方法则需要8个IO。

使用3x镜像也可以获得D＝4。这仅需要4个IO用于更新写，但它的效率是1/4。RAID 51系统设计及其派生设计使用前向方法及其副本可以在6个IO上获得距离D＝4，但具有效率<1/2。

可以使用具有根据本发明的RAID 3+3系统配置的分布奇偶校验来避免热点。当数据存取模式被局部化时，就可能会出现热点。RAID5使用分布奇偶校验(也称为解汇聚奇偶校验)来避免由于具有专用的奇偶校验存储单元(已知为RAID 4)而引入的热点。使用前向更新方法的RAID系统将由于读-修改-写操作而在奇偶校验单元上具有热点。当使用补充更新方法的RAID系统避免这种类型的热点时，写活动将集中在校验单元上。图3表示一种在存储单元上分布奇偶校验以便获得阵列元素的均衡分布的方法。这包括将存储单元集中的数据剥成条带，使得每个存储单元具有所有类型的元素(A、B、C、P、Q和R)。参照图3，存储单元1显示为列，条带1显示为行。对于每个连续的条带各个元素从1单元旋转到右侧。很清楚，可以利用许多其它的条带配置来避免热点。

虽然本发明已经描述了从HDD存储单元构成的存储阵列，但是，本发明也可用于其它诸如随机存取存储器(RAM)存储设备、光存储设备和磁带存储设备的存储设备阵列构成的存储系统。另外，本发明也可用于虚拟存储系统中，例如从网络所附的存储器构成的阵列。本发明还可用于具有一些将冗余分量和具体的分量子集相关联的状态信息并且该状态信息可以使用外发操作被传递的任何冗余系统中。

虽然为了清楚起见已经对上述发明进行了详细的描述，但是很明显可以进行某些落入所附权利要求范围中的改变和修改。因此，本发明实施例被认为是示例性的而非限制性的，并且本发明不限于这里给出的细节，而是可以在所附的权利要求书的范围及等价方案中进行修改。

Claims (14)

1.一种数据存储子系统，包括：三个数据存储单元；三个校验存储单元；以及与所述三个数据存储单元及所述三个校验存储单元相连接的阵列控制器，所述阵列控制器确定所述校验存储单元的内容，并且所述阵列控制器使用六个IO操作对包含在所述数据存储单元和所述校验存储单元中的任一个中的数据块进行更新，使得所述数据存储单元和所述校验存储单元的任何三个疑符均能够由所述阵列控制器进行校正。

2.根据权利要求1所述的数据存储子系统，其中，信息作为对称的最大距离可分码被存储在所述数据存储子系统上。

3.根据权利要求2所述的数据存储子系统，其中，所述最大距离可分码为Winograd码。

4.根据权利要求2所述的数据存储子系统，其中，所述最大距离可分码为Reed-Solomon码。

5.根据权利要求2所述的数据存储子系统，其中，所述最大距离可分码为EVENODD码。

6.根据权利要求2所述的数据存储子系统，其中，所述最大距离可分码为EVENODD码的派生码。

7.根据权利要求1所述的数据存储子系统，其中，两个IO操作为读操作，4个IO操作为写操作。

8.根据权利要求7所述的数据存储子系统，其中，所述读操作从不是正在被更新的数据存储单元中读取数据，所述4个写操作将数据写入到正在被更新的数据存储单元以及所述的3个校验存储单元中。

9.根据权利要求1所述的数据存储子系统，其中，任何三个数据存储单元的故障和校验存储单元的故障能够在存储在所述数据存储子系统上的数据丢失之前发生。

10.根据权利要求1所述的数据存储子系统，其中，数据能够从部分可读的存储单元恢复。

11.根据权利要求1所述的数据存储子系统，其中，当所有的三个数据存储单元已经发生故障时，所述阵列控制器能够恢复任何存储在所述数据存储子系统上的数据。

12.一种对存储在数据存储子系统上的数据进行更新的方法，所述数据存储子系统包括三个数据存储单元、三个校验存储单元以及与所述三个数据存储单元和所述三个校验存储单元相连接的阵列控制器，所述阵列控制器确定所述校验存储单元的内容，从而使得所述数据存储单元和所述校验存储单元的任何三个疑符能够由所述阵列控制器校正，所述方法包括步骤：

从两个不是正在被更新的数据存储单元读取旧的数据；以及

将新的数据写入正在被更新的数据存储单元以及所述的三个校验存储单元。

13.根据权利要求12所述的方法，其中，信息作为对称的最大距离可分码被存储在所述数据存储子系统上。

14.根据权利要求13所述的方法，其中，所述最大距离可分码为Winograd码、Reed-Solomon码和EVENODD码中的一个，或者为EVENODD码的派生码。

Images