DE102005043750A1 - Distributing and finding method of meta information for management of data storage systems in computer systems, involves application of user data zone and associated security area in data storage system - Google Patents
Distributing and finding method of meta information for management of data storage systems in computer systems, involves application of user data zone and associated security area in data storage system Download PDFInfo
- Publication number
- DE102005043750A1 DE102005043750A1 DE200510043750 DE102005043750A DE102005043750A1 DE 102005043750 A1 DE102005043750 A1 DE 102005043750A1 DE 200510043750 DE200510043750 DE 200510043750 DE 102005043750 A DE102005043750 A DE 102005043750A DE 102005043750 A1 DE102005043750 A1 DE 102005043750A1
- Authority
- DE
- Germany
- Prior art keywords
- data storage
- data
- storage system
- stored
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
Abstract
Description
Die vorliegende Erfindung beschreibt Verfahren zur Verteilung und zum Auffinden von Daten in verteilten Speichersystemen wie Speichernetzwerken und/oder einem Intranet und/oder dem Internet gemäß Oberbegriff des Anspruches 1 sowie ein entsprechendes Computerprogramm-Erzeugnis und ein entsprechendes computerlesbares Speichermedium.The The present invention describes methods for distribution and for Locating data in distributed storage systems such as storage networks and / or an intranet and / or the Internet according to the generic term of claim 1 and a corresponding computer program product and a corresponding computer readable storage medium.
Die immer mehr zunehmende Menge der zu sichernden Informationen bei Computeranwendungen hat dazu geführt, dass die Komplexität von zur Speicherung derartiger Informationen genutzten, verteilten Datenspeichersystemen in den letzten Jahren kontinuierlich gestiegen ist. Selbst Datenspeichersysteme wie etwa Festplatten mit einer Kapazität von mehreren hundert GByte sind nicht mehr in der Lage, alle in einem Unternehmen oder in öffentlichen Institutionen anfallenden Daten zu sichern. Datenspeichersysteme mit mehreren hundert TByte oder sogar PByte an Informationen benötigen die Koordination von hunderten oder gar tausenden gemeinsam arbeitenden Datenspeichersystemen.The increasing amount of information to be backed up Computer applications has led that complexity of distributed used to store such information Data storage systems have increased steadily in recent years is. Even data storage systems such as hard drives with a capacity of several hundred GB are no longer able to all in a company or in public Institutions to secure data. Data storage systems with several hundred TByte or even PByte of information need the Coordination of hundreds or even thousands working together Data storage systems.
Bei der Verwaltung dieser Datenspeichersysteme fallen häufig große Mengen so genannter Metainformationen an, die Informationen über den Aufbau der Datenspeichersysteme, der Zugriffsrechte und über die Verteilung der Daten über die Datenspeichersysteme enthalten. Im Folgenden werden alle Daten, die durch den Aufbau eines Datenspeichersystems als ein verteiltes Datenspeichersystem entstehen, als Metainformationen bezeichnet. Alle weiteren zu sichernden Daten werden als Nutzdaten bezeichnet. Weiterhin wird als heute vorrangig genutzte Ausgestaltung von Datenspeichersystemen, auch kurz Speichersystem genannt, auch von Festplatten gesprochen, wobei diese Begriffe synonym verstanden werden sollen und jede Art von Datenspeicherung umfassen sollen. Daten können in diesem Zusammenhang jegliche Art gespeicherter Informationen umfassen, egal, wie diese Information repräsentiert wird.at The management of these data storage systems often fall large quantities so-called meta-information that provides information about the Structure of data storage systems, access rights and distribution the data over contain the data storage systems. In the following, all data, by the construction of a data storage system as a distributed Data storage system arise, referred to as meta-information. All other data to be backed up are called user data. Furthermore, as today predominantly used embodiment of data storage systems, also called storage system for short, also referred to as hard disks, where these terms are to be understood synonymously and each type of data storage. Data can be in this context Any kind of stored information, no matter how it is Represents information becomes.
Auf Metainformation wird heute typischerweise über eine zentralisierte Informationsverwaltung zugegriffen, was allerdings den Nachteil aufweist, dass nach dem Ausfall der zentralen Informationseinheiten ein Zugriff auf die Datenspeichersysteme nicht oder nur noch bedingt erfolgen kann. Weiterhin wird durch die zentrale Speicherung der Informationen ein Flaschenhals bei dem Zugriff auf die Metainformationen erzeugt, der z.B. in Umgebungen mit einer hohen Anzahl an Servern zu hohen Latenzen bei dem Zugriff auf die Nutzdaten führen kann.On Today, meta-information is typically accessed through centralized information management accessed, but has the disadvantage that after the Failure of the central information units access to the Data storage systems can not or only conditionally done. Furthermore, the central storage of the information creates a bottleneck in accessing the meta-information, the e.g. in environments with a high number of servers too high Can cause latency in accessing the payload.
Speichernetzwerke bilden hierbei eine typische Anwendung gattungsgemäßer Verfahren, in denen durch den Einsatz entsprechender Techniken eine möglichst hohe Datensicherheit auch nach dem Ausfall aller koordinierenden Instanzen zu einem technisch möglichst hohen Maß gewährleistet werden soll.Storage Area Networks form a typical application of generic methods, in which through the use of appropriate techniques as possible high data security even after the failure of all coordinating Instances to a technically possible high level guaranteed shall be.
Speichernetzwerke
Im
Rahmen der Beschreibung wird im Folgenden zwischen einer Menge von
auf die Datenblöcke
zugreifenden Einheiten, den Clients
Durch
die physikalische Entkopplung zwischen den Datenspeichersystemen
Diese
Erhöhung
der Freiheitsgrade zieht jedoch eine Erhöhung der Komplexität nach sich,
der durch den Einsatz von Speichervirtualisierungslösungen begegnet
werden kann. Diese Speichervirtualisierungslösungen nehmen eine Abstraktion
zwischen der Sicht der Clients
Diese
Virtualisierungslösungen
können
z.B. in den Client
In
allen Fällen
müssen
von der Virtualisierungslösung
Informationen über
die Lage der einzelnen Elemente auf den Datenspeichersystemen
In der US 2004/0128587 A1 werden Verfahren beschrieben, mit deren Hilfe die Rekonstruktion von Daten nach dem Ausfall eines oder mehrerer Datenspeichersysteme ermöglicht wird. Dabei wird zentral ein Schedule erstellt, der verteilt durchgeführt wird. Diese Lösung setzt voraus, dass nur eine begrenzte Anzahl von Datenspeichersystemen ausfällt. Mit dem Verfahren ist es nicht möglich, ohne eine komplett redundante Speicherung aller Metainformationen auf allen Datenspeichersystemen eine Rekonstruktion möglichst vieler Nutzdaten auch nach dem Ausfall eines großen Teils der Datenspeichersysteme durchzuführen.In US 2004/0128587 A1 describes methods by means of which the reconstruction of data after the failure of one or more Data storage systems allows becomes. In the process, a schedule is created centrally, which is distributed. This solution requires only a limited number of data storage systems fails. The procedure does not allow without completely redundant storage of all meta-information on all data storage systems a reconstruction possible many user data even after the failure of a large part of the data storage systems perform.
Die US-PS 5 537 652 befasst sich mit Möglichkeiten, Dateien, die sich auf einem fehlerbehafteten Datenspeichersystem befinden, trotz der Fehler auf dem Dateispeichersystem zu rekonstruieren. Diese Fehler können z.B. Metainformationen auf demselben Datenspeichersystem betreffen. Dieses wird durch Redundanz bei der Speicherung der Directory-Einträge gewährleistet.The US Patent 5,537,652 deals with ways of dealing with files on a faulty data storage system, despite the To reconstruct errors on the file storage system. These errors can be e.g. Affect metainformation on the same data storage system. This is ensured by redundancy in the storage of directory entries.
In
der
Aufgabe der hier vorliegenden Erfindung ist es daher, neben der auch weiterhin vorhandenen, zentralen Sicherung der Metainformationen eine weitere Struktur der Sicherung von Metainformationen einzuführen, durch deren Hilfe auch nach dem Ausfall aller, eventuell auch redundant ausgelegter zentraler Systeme die Datensicherheit noch gewährleistet ist bzw. eine möglichst große Menge der auf den Datenspeichersystemen gesicherten Informationen wieder zugänglich gemacht werden kann.task The present invention is therefore, in addition to the continue existing, central backup of meta-information another Introduce structure of backup of meta-information by their help even after the failure of all, possibly even redundant designed central systems to ensure data security is or one as possible size Amount of information backed up on the data storage systems accessible again can be made.
Die Lösung der erfindungsgemäßen Aufgabe ergibt sich aus den kennzeichnenden Merkmalen des Anspruches 1 in Zusammenwirken mit den Merkmalen des Oberbegriffes. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The solution the task of the invention arises from the characterizing features of claim 1 in Interaction with the characteristics of the generic term. Further advantageous Embodiments of the invention will become apparent from the dependent claims.
Die Erfindung geht aus von einem gattungsgemäßen Verfahren zum Verteilen und zum Auffinden von Metainformationen zur Verwaltung von Datenspeichersystemen in Computersystemen und/oder Speichernetzwerken und/oder einem Datennetz, vorzugsweise einem Internet und/oder einem Intranet, bei dem der Gesamtmenge der Datenspeichersysteme ein virtueller Datenraum zugeordnet und in verschiedene logische Datenräume eingeteilt wird, wobei die Metainformationen über die Verteilung der logischen Datenräume in einer zentralen Instanz gespeichert werden. Ein derartiges gattungsgemäßes Verfahren wird dadurch in erfindungsgemäßer Weise weiter entwickelt, dass auf jedem Datenspeichersystem vorab mindestens ein Nutzdatenbereich und mindestens ein zugehöriger Sicherheitsbereich angelegt wird, wobei der mindestens eine Sicherheitsbereich zur zusätzlichen dezentralen Speicherung von Metainformationen dient und dessen absolute Lage und Unterteilung in Speicherabschnitte auf dem Speichersystem vorab eindeutig festgelegt werden, und nachfolgend bei jeder Allokation oder Verschiebung eines Extents des Nutzdatenbereichs beim Speichern von Daten auf dem Datenspeichersystem von einer übergeordneten Instanz die virtuelle Adresse der zu speichernden Daten des logischen Datenraums in die zugehörige physikalische Adresse auf dem Datenspeichersystem umgerechnet und die entsprechenden Metainformationen in dem zugehörigen Sicherheitsbereich abgelegt werden, wodurch nach einem Ausfall der zentralen Instanz für jedes Datenspeichersystem mit Hilfe der in dem mindestens einen Sicherheitsbereich gespeicherten Metainformationen alle auf dem Datenspeichersystem gespeicherten Nutzdaten und die Zuordnung zu den logischen Datenräumen rekonstruiert und in einer neu aufzubauenden zentralen Instanz gespeichert werden können.The invention relates to a generic method for distributing and retrieving metadata for managing data storage systems in computer systems and / or storage networks and / or a data network, preferably an Internet and / or an intranet, in which the total amount of data storage systems assigned to a virtual data room and is divided into different logical data spaces, wherein the meta information about the distribution of the logical data spaces are stored in a central instance. Such a generic method is further developed according to the invention in that at least one user data area and at least one associated security area is applied to each data storage system, wherein the at least one security area for additional decentralized storage of meta information used and its absolute location and subdivision into memory sections on the Storage system are defined in advance uniquely, and subsequently at each allocation or shift of an extent of the payload area when storing data on the data storage system from a parent instance, the virtual address of the data to be stored of the logical data space into the corresponding physical address on the data storage system converted and the corresponding Meta information is stored in the associated security area, whereby, after a failure of the central instance for each data storage system using d he reconstructed in the at least one security area stored meta information all stored on the data storage system user data and the assignment to the logical data spaces and in a new can be stored in the central instance.
Ein derartiges Verfahren ist insbesondere einsetzbar für die Rekonstruktion von Daten nach dem Ausfall von Teilen der Infrastruktur von verteilten Speichersystemen durch die verteilte Bereitstellung zusätzlicher Informationen. Weiterhin ermöglicht es das hier vorgestellte Verfahren, Verwaltungsinformationen dezentral zu sichern und in weiterer Ausgestaltung auch schneller darauf zuzugreifen. Eine Besonderheit des Verfahrens besteht darin, dass es nach einem Ausfall von Teilen der Speicherinfrastruktur alle Metainformationen rekonstruieren kann, die zu noch rekonstruierbaren Nutzdaten zugeordnet werden. Diese Wirkung wird mit einer minimalen Anzahl von Zusatzinformationen erzielt, da jedes Datenspeichersystem nur Metainformationen zu dem auf diesem Datenspeichersystem liegenden Nutzdaten benötigt. Eine redundante Speicherung einer Metainformation auf mehreren Datenspeichersystemen zur Sicherung ist nicht notwendig.One Such method is particularly applicable for the reconstruction of data after the failure of parts of the infrastructure of distributed Storage systems through the distributed provision of additional information. Furthermore possible it decentralized the procedure presented here, administrative information secure and in a further embodiment, faster access to it. A peculiarity of the procedure is that it after a Failure of parts of the storage infrastructure all meta-information can reconstruct associated with still reconstructable payload become. This effect comes with a minimal amount of additional information achieved because each data storage system only meta information about the User data required on this data storage system is required. A redundant storage of meta information on multiple data storage systems for backup is not necessary.
Weiterhin wird es mit anderen Ausgestaltungen möglich, dass auf eine zentrale Instanz zur Speicherung der Metainformationen möglicherweise ganz verzichtet werden kann und durch die zugrunde liegende verteilte Speicherung der Metainformationen eine deutliche Erhöhung der Geschwindigkeit bei dem Zugriff auf die Metainformationen stattfinden kann.Farther It is possible with other configurations that on a central Instance to store the meta information may be completely omitted can be and by the underlying distributed storage the metainformation a significant increase in speed at access to the metadata.
Im Folgenden werden unterschiedliche Ausgestaltung des Verfahren vorgestellt, durch deren Verwendung auch nach dem Ausfall evtl. vorhandener Masterblöcke und/oder der koordinierenden Instanzen ein Höchstmass an Informationen über den Aufbau des Speichernetzwerkes zurück gewonnen werden können. Die Besonderheit des hier vorgestellten Verfahrens und seiner bevorzugten Ausgestaltungen besteht darin, dass auch bereits während der Rekonstruktion der Metainformationen die Server durch dezentral in dem System vorhandene Informationen sowohl auf Informationen über die Nutzdaten als auch über die Metainformationen zugreifen können. Im weiterer Ausgestaltung wird das Verfahren derart erweitert, dass auf den Einsatz einer zentralen Instanz sogar gänzlich verzichtet werden kann.in the Below, different embodiments of the method are presented, by their use even after the failure possibly existing master blocks and / or the coordinating authorities have maximum information about the Structure of the storage network can be recovered. The Particularity of the method presented here and its preferred Embodiments is that even during the Reconstruction of the metainformation the servers by decentralized Information present in the system, both information about the Payload as well over can access the meta-information. In another embodiment the procedure is extended so that the use of a central instance even completely can be waived.
Grundverfahren zur Sicherung der Daten durch Speicherung von Informationen auf den beteiligten Datenspeichersystemenbasic processing to back up the data by storing information the involved data storage systems
Es
wird davon ausgegangen, dass jede physikalische Partition eines
Datenspeichersystems in mehrere Bereiche unterschiedlicher Bedeutung
eingeteilt wird. So kann der Speicherbereich des Datenspeichersystems
gemäß
Aufgabe des Bereiches mit den Sicherheitsinformationen ist es, auch nach dem Ausfall aller Kontrollinstanzen eine Möglichkeit zu haben, die auf den Datenspeichersytemen gespeicherten Informationen zu rekonstruieren und somit eine Rettung der gespeicherten Informationen beim Ausfall von Datenspeichersystemen, ein sog. Disaster Recovery auf den verfügbaren Datenspeichersystemen, z.B. den angeschlossenen Festplatten durchzuführen.task the area with the security information is, even after the failure of all control bodies to have a chance on to reconstruct the information stored in the data storage systems and thus a rescue of the stored information in case of failure data storage systems, a so-called disaster recovery on the available data storage systems, e.g. to perform the connected hard disks.
Einrichten des SicherheitsbereichesSet up of the security area
Der Sicherheitsbereich wird vor der Nutzung als Sicherheitsbereich derart initialisiert, dass nicht beschriebene Teile des Sicherheitsbereiches nicht versehentlich als Informationen fehl interpretiert werden. Dieses kann zum Beispiel durch Auffüllen mit Nullen geschehen.Of the Security area is so before use as a security area initializes that not described parts of the security area not be mistakenly interpreted as information. This can be done, for example, by padding with zeros.
Um diese Rekonstruktion durchführen zu können, wird der Speicherbereich der Partitionen in Speicherbereiche, sog. Extents eingeteilt, wobei ein Extent die kleinste zusammenhängende Einheit auf dem Datenspeichersystem ist, die vergeben werden kann. Weiterhin können Speicherbereiche nur in ganzen Vielfachen dieser Extents vergeben werden. Für jedes mögliche Extent, das in dem Datenbereich gespeichert werden kann, wird ein Metablock im Sicherheitsbereich reserviert. D.h., die Anzahl der Metablöcke ist proportional zu der Größe der Festplatte geteilt durch die minimal mögliche Größe eines Extents. Die minimale Extent-Größe wird dabei z.B. auf 4 MByte (4096·1024 Byte) gesetzt. Weiterhin sollte die Größe eines Extents eine 2-er Potenz sein.Around perform this reconstruction to be able to the memory area of the partitions in memory areas, so-called. Extents divided, with an extent the smallest connected unit is on the data storage system that can be assigned. Farther can Memory areas allocated only in whole multiples of these extents become. For every possible one Extent that can be stored in the data area becomes Metablock reserved in the security area. That is, the number of metablocks is proportional to the size of the disk divided by the minimum possible Size of one Extents. The minimum extent size is while e.g. to 4 MB (4096 x 1024 Byte). Furthermore, the size of an extent should be a power of two be.
Ein Extent kann in dieser bevorzugten Variante nur so auf dem Datenspeichersystem angeordnet werden, dass es auf einer 4 Mbyte-Grenze der Unterteilung des Datenspeichersystems startet. Hierdurch kann die Komplexität bei der Zuteilung der Extents minimiert werden, auch wenn es bei unterschiedlichen Extentgrößen auf einer physikalischen Partition einen Verschnitt geben kann. Die Startadresse des Extents auf der Partition wird im Folgenden als startExtent bezeichnet. Die Größe eines Metablocks wird als metaBlockSize bezeichnet.An extent may only be placed on the data storage system in this preferred embodiment to start on a 4 Mbyte boundary of the subdivision of the data storage system. This minimizes the complexity of allocating the extents, even with different extents on a physical partition can give a blend. The start address of the extents on the partition is referred to below as startExtent. The size of a metablock is called metaBlockSize.
Um auch nach dem Ausfall aller koordinierender Einheiten die auf den Datenspeichersystemen gesicherten Daten noch rekonstruieren zu können, müssen die Anfänge der verschiedenen Bereiche eindeutig voneinander trennbar sein. In einer bevorzugten Variante geschieht dies, indem die minimale Extent-Größe im Vorhinein bekannt ist und in die Berechnung der Grenzen der verschiedenen Bereiche mit einfließt.Around even after the failure of all coordinating units on the Data storage systems to be able to reconstruct saved data, the beginnings clearly distinguishable from each other. In a preferred variant, this is done by the minimum Extent size in advance is known and used in the calculation of the boundaries of different Areas are included.
Die Startadresse des Datenbereichs startDaten sei hier: The start address of the data area startDaten is here:
Die
Startadresse startMetaBlock für
einen Metablock-Eintrag errechnet sich wie folgt:
Hierbei gilt für die Offset-Adresse: The following applies to the offset address:
An dieser Stelle wird nicht versucht, eine Minimierung der Größe des Sicherheitsbereiches vorzunehmen, da es hier auf ein schnelles Suchen und Eintragen ankommt, wenn ein neuer Extent angefordert wird bzw. wenn ein Extent verschoben wird. Durch den hier vorgestellten Aufbau kann der Zugriff auf einen Tabellenzugriff reduziert werden, der in konstanter Zeit durchgeführt werden kann.At This location does not attempt to minimize the size of the security area because it depends on a quick search and entry, if a new extent is requested or if an extent is moved becomes. Through the structure presented here, access to a Table access to be reduced, which are performed in constant time can.
Die Größe eines Metablocks metaBlockSize ergibt sich aus der Menge an Informationen, die zur Rekonstruktion des Blocks notwendig sind. Diese umfassen beispielsweise:
- – Id des virtuellen Laufwerkes: 32 Bit
- – Art der Datenkodierung: 8 Bit
- – Nummer dieses Blocks im Striping-Set: 8 Bit
- – logische Größe des Extents: 8 Bit
- – Virtuelle Adresse dieses Extents: 64 Bit
- - Id of the virtual drive: 32 bits
- - Type of data encoding: 8 bits
- - Number of this block in the striping set: 8 bits
- - logical size of the extent: 8 bits
- - Virtual address of this extent: 64 bits
Hieraus ergibt sich in diesem Fall eine Gesamtgröße von 128 Bit für einen Metablock. Bei einer minimalen Größe eines Extents von 4 MByte ergibt dieses einen zusätzlichen Aufwand von weit weniger als 0,1 ‰ der Partitionsgröße.From this This results in a total size of 128 bits for one Metablock. At a minimum size of 4 MByte extent this gives an extra Effort of far less than 0.1 ‰ of the partition size.
Die Daten sind hier als Tabelle aufgebaut, in der die Blocknummer auf dem Datenspeichersystem, z.B. einer Festplatte direkt in den Tabellenindex umgewandelt werden kann. Hierdurch kann schnell eine Beziehung von der Blocknummer zu der Extent-Nummer gezogen werden.The Data is constructed here as a table in which the block number is the data storage system, e.g. a disk directly into the table index can be converted. This can quickly create a relationship of the block number will be pulled to the extent number.
Schreiben von Informationen in den SicherheitsbereichWrite of information in the security area
Daten werden nur dann in den Sicherheitsbereich geschrieben, wenn ein neuer Extent allokiert wird bzw. wenn ein Extent verschoben wird. Weitere Zugriffe erfolgen in der Regel nicht.dates are written to the security area only if a new extent is allocated or when an extent is moved. Further accesses are usually not.
Dieses erfolgt in der Regel bei dem ersten Zugriff auf eine in den Bereich dieses Extents fallende Adresse. Zu diesem Zeitpunkt muss die Kontrollinstanz eine Umwandlung der virtuellen Adresse auf ein logisches Laufwerk in eine physikalische Adresse auf einer physikalischen Partition durchführen. Bei dieser Umwandlung entsteht ein Tupel aus dem zugegriffenen Datenspeichersystem und einer Position auf dem datenspeichersystem. Auf Basis dieses Tupels wiederum können die in dem Sicherheitsbereich zu speichernden Informationen und die Startadresse berechnet werden, ab der die Metainformationen gesichert werden.This usually takes place at the first access to one in the area this Extents falling address. At this time, the control instance a transformation of the virtual address to a logical drive into a physical address on a physical partition carry out. This transformation creates a tuple from the accessed data storage system and a location on the data storage system. Based on this Tupels can turn the information to be stored in the security area and the starting address will be calculated, starting from the meta-information be secured.
Ein weiterer Zugriff erfolgt, wenn ein Extent durch eine Instanz in dem Datenspeichersystem verschoben wird. Dieses kann zum Beispiel zur Erhöhung der Performanz erfolgen. In dem bevorzugten Verfahren wird ein neuer Eintrag auf der Partition durchgeführt, auf die die Daten verschoben wurden. Anschließend werden die Metainformationen auf dem Datenspeichersystem, auf dem die Daten zuvor gespeichert waren, gelöscht.One further access occurs when an extent through an instance in is moved to the data storage system. This can for example to increase performance. In the preferred method is a new Entry on the partition to which the data was moved were. Subsequently the metainformation on the data storage system, on the the data was previously saved, deleted.
Rekonstruieren von DatenReconstruct of data
Die Rekonstruktion der auf einem Datenspeichersystem gesicherten Daten nach dem Ausfall von Kontrollinstanzen kann wie folgt geschehen:
- • Bestimme den Startpunkt des Sicherheitsbereiches
- • Setze i = 0
- • Wiederhole solange i < maxl – Lese Metainformationen mit Index i – Falls Metainformationen gültig – Rekonstruiere Informationen
- • Determine the starting point of the safety area
- • Set i = 0
- • Repeat as long as i <maxl - read meta information with index i - if meta information is valid - reconstruct information
Erweitertes Grundverfahren zur Sicherung der Daten durch Speicherung von Informationen auf den beteiligten DatenspeichersystemenAdvanced Basic procedure for securing the data by storing information on the participating data storage systems
Bei dem im Rahmen dieser Erfindung vorgestellten bevorzugten Verfahren kann es durch den Ausfall eines Teilbereiches eines Datenspeichersystems erfolgen, dass der gesamte Sicherheitsbereich nicht mehr lesbar ist und somit die Daten nach dem zusätzlichen Ausfall der Kontrollinstanzen nicht mehr rekonstruierbar sind.at the preferred method presented in the context of this invention It may be due to the failure of a subarea of a data storage system done that the entire security area is no longer legible and thus the data after the additional failure of the control bodies are no longer reconstructable.
Um diesem entgegenzutreten, wird ein erweitertes Verfahren zur Sicherung der Daten durch Speicherung von Informationen auf den beteiligten Datenspeichersystemen vorgeschlagen, bei dem die zusätzlichen Sicherheitsinformationen nicht in einem abgeschlossenen Sicherheitsbereich gespeichert werden, sondern verteilt über das gesamte Datenspeichersystem gestreut. Wichtig bei dem erweiterten Verfahren ist es sicherzustellen, dass die Lage der zusätzlich gespeicherten Sicherheitsinformationen eindeutig rekonstruiert werden kann. Im Folgenden wird ein Verfahren vorgestellt, dass nur in Abhängigkeit von der gewählten, minimalen Extent-Größe diese Eindeutigkeit sicherstellen kann. Diese minimale Extent-Größe kann entweder als Konstante der Sicherheitslösung eindeutig sein oder in dem Signaturbereich des Datenspeichersystems kodiert sein.Around To counter this is an extended method of securing the data by storing information on the involved Data storage systems proposed in which the additional security information not stored in a locked security area, but spread over scattered the entire data storage system. Important for the extended Procedure is to make sure that the location of the additionally stored Security information can be clearly reconstructed. in the The following presents a procedure that is only dependent on from the chosen, minimum extent size these Can ensure uniqueness. This minimum extent size can either be unique as a constant of the security solution or in be encoded the signature area of the data storage system.
Eine
Möglichkeit
zur verteilten Sicherung der Sicherheitsinformationen ist in
Die Speicherung der Sicherheitsinformationen und die Rekonstruktion der Daten nach dem Ausfall der Kontrollinstanz kann wie bei dem bevorzugten Verfahren zur Sicherung der Daten durch Speicherung von Informationen auf den beteiligten Datenspeichersystemen erfolgen.The Storage of security information and reconstruction The data after the failure of the control instance can be like the preferred method for securing the data by storage information on the involved data storage systems.
Beschleunigtes Grundverfahren zur Sicherung der Daten durch Speicherung von Informationen auf den beteiligten Datenspeichersystemenaccelerated Basic procedure for securing the data by storing information on the participating data storage systems
In dem bevorzugten und dem erweiterten Verfahren zur Sicherung der Daten durch die Speicherung von Metainformationen auf den beteiligten Datenspeichersystemen werden die Sicherheitsinformationen dafür verwendet, dass die auf dem Datenspeichersystem gesicherten Daten auch nach dem Ausfall einer Kontrollinstanz rekonstruiert werden können.In the preferred and the extended method for securing the Data by storing metainformation on the involved Data storage systems use the security information that the data backed up on the data storage system also after can be reconstructed the failure of a control instance.
Darüber hinaus ergibt sich jedoch auch die Möglichkeit, dass die Sicherheitsinformationen aktiv für eine Beschleunigung des Zugriffs auf die Datenspeichersysteme verwendet werden. Hierbei ist anzumerken, dass ein Client vor dem Zugriff auf eine virtuelle Adresse auf ein logisches Laufwerk ein Tupel aus physikalischem Laufwerk und Adresse auf diesem physikalischen Laufwerk ermitteln muss, auf welches die virtuelle Adresse abgebildet wird.Furthermore However, there is also the possibility that the security information is active for speeding up access be used on the data storage systems. It should be noted that a client prior to accessing a virtual address on a logical Drive a tuple of physical drive and address on this physical drive must determine to which the virtual address is shown.
Dieses
kann bei einer so genannten Out-of-Band-Virtualisierungslösung gemäß
Im Rahmen der nachfolgend beschriebenen beschleunigten Verfahrensvariante zur Sicherung der Daten durch Speicherung von Informationen auf den beteiligten Datenspeichersystemen wird eine Erweiterung insofern vorgeschlagen, das die Anzahl der Anfragen an die SAN-Appliance deutlich reduzieren kann.in the Framework of the accelerated process variant described below to back up the data by storing information The data storage systems involved will be an extension to that extent suggested that the number of requests to the SAN appliance can significantly reduce.
Voraussetzung
für dieses
beschleunigte Verfahren ist es, dass der Client das physikalische
Laufwerk kennt, auf das eine virtuelle Adresse abgebildet wird.
Dieses kann zum Beispiel über
die in [BSS02] und in der
In diesem Fall kann der Client die von ihm benötigte Position auf dem Datenspeichersystem durch die auf dem Datenspeichersystem gesicherten Sicherheitsinformationen bestimmen. Bei den vorstehend vorgeschlagenen Verfahren muss der Client hierfür im schlimmsten Fall alle Einträge in dem Sicherheitsbereich bearbeiten, bevor er die von ihm benötigten Informationen aus dem Sicherheitsbereich liest.In In this case, the client may have the position he needs on the data storage system by the security information stored on the data storage system determine. In the methods proposed above, the Client for this in the worst case all entries edit in the security area before getting the information he needs from the security area reads.
Das nachfolgend beschriebene Verfahren koppelt den Sicherheitsgewinn des bereits vorher beschriebenen Grundverfahrens und der darauf basierenden Verfahrensvarianten mit einem Geschwindigkeitsgewinn bei dem Zugriff auf die Daten.The The method described below couples the security gain the previously described basic method and the subsequent one based method variants with a speed gain at access to the data.
Hierfür wird der Sicherheitsbereich nicht mehr tabellarisch über die Blocknummer auf dem Datenspeichersystem wie etwa einer Festplatte adressiert, sondern es erfolgt eine Abbildung der Extent-Informationen auf den Sicherheitsbereich, die als Abbildungsschlüssel mindestens die virtuelle Adresse auf dem logischen Datenspeichersystem enthält.For this purpose, the Security area no longer tabular over the block number on the Data storage system such as a hard drive addressed, but there is a mapping of the extent information to the security area, the as picture key at least the virtual address on the logical data storage system contains.
Als Verfahren für die Zuordnung auf den Sicherheitsbereich werden Verfahren zum Aufbau von Wörterbüchern verwendet, wie z.B. Hashing-Verfahren oder baumbasierte Suchstruktur (s. unter anderem Kapitel 16 in [Sed03]), die sicherstellen können, dass das Auffinden der Sicherheitsinformationen auf Basis des Schlüssels in nahezu konstanter oder logarithmischer Zeit erfolgen kann.When Procedure for the assignment to the security area will be setup procedures used by dictionaries, such as. Hashing or tree-based search structure (see other chapter 16 in [Sed03]), which can ensure that finding the security information based on the key in can be done almost constant or logarithmic time.
Zur Verwaltung dieser nicht tabellen-basierten Datenstrukturen auf den physikalischen Partitionen ist es nun erforderlich, dass die Sicherheitsinformationen um so genannte Zeiger erweitert werden, mit deren Hilfe eine Verknüpfung der einzelnen Sicherheitsinformationen erfolgen kann. Hierdurch steigt die zu speichernde Informationsmenge an.to Managing these non-table-based data structures on the Physical partitions now require security information be extended to so-called pointer, with the help of a link of the individual safety information can be made. This increases the amount of information to be stored.
Die Sicherheitsinformationen können bei diesem Verfahren entweder verteilt über die physikalische Partition des Datenspeichersystems oder in einem Sicherheitsbereich gespeichert werden.The Security information can in this method, either distributed over the physical partition the data storage system or stored in a security area become.
Die Berechnung der Adresse für ein zu speicherndes Element der Sicherheitsinformationen erfolgt durch eine Kopplung der vorgestellten Verfahren mit Verfahren zum Aufbau von Wörterbüchern.The Calculation of the address for an item of security information to be stored is provided by a coupling of the presented methods with methods of construction of dictionaries.
Der lesende Zugriff auf einen Extent durch einen Client kann nun wie folgt erfolgen:
- • Schaue nach, ob Informationen zu diesem Extent bereits in dem Client vorhanden sind
- • Wenn Ja – Greife auf die Daten zu
- • Wenn Nein – Bestimme aus der virtuellen Adresse das physikalische Laufwerk, auf das die Adresse abgebildet wird – Ermittle mit Hilfe der Sicherheitsinformationen, auf welche Adresse auf der physikalischen Partition die virtuelle Adresse abgebildet wird – Wenn die Adresse bestimmt werden kann – Greife auf die Daten zu – Wenn die Adresse nicht bestimmt werden kann – Frage bei dem Kontrollrechner für dieses Extent nach – Greife auf die Daten zu
- • See if information about this extent already exists in the client
- • If yes - access the data
- • If No - From the virtual address, determine the physical drive to which the address is mapped - Using the security information, determine which address on the physical partition will map the virtual address - If the address can be determined - Access the data to - If the address can not be determined - Check with the control calculator for this extent - Access the data
Erweitertes beschleunigtes Grundverfahren zur Sicherung der Daten durch Speicherung von Informationen auf den beteiligten DatenspeichersystemenAdvanced accelerated basic procedure for saving the data by storage of information on the participating data storage systems
Bei dem beschleunigten Verfahren ist es für den Client nur möglich, lesend auf die Sicherheitsinformationen zugreifen zu können. Bei dem erweiterten beschleunigten Verfahren wird nun eine zusätzliche, koordinierende Instanz eingefügt, die darüber hinaus einen schreibenden Zugriff auf die Datenspeichersysteme ermöglicht.at The accelerated method is only possible for the client to read to access the security information. At the accelerated accelerated Procedure is now an additional, coordinating authority inserted, the above also allows write access to the data storage systems.
Eine weitere Entlastung der Kontrollinstanz kann erfolgen, wenn der Client bei dem erstmaligen Zugriff auf einen Extent die Sicherheitsinformationen eigenständig schreiben kann. Können mehrere Clients auf eine physikalische Partition schreibend zugreifen, kann dieses nach den Gesetzen der Informatik jedoch nur dann konsistent geschehen, wenn eine koordinierende Instanz zwischengeschaltet wird.A Further relief of the control instance can be made when the client upon initial access to an extent the security information independently can write. Can multiple clients writing to a physical partition, however, this can only be consistent according to the laws of computer science happen when a coordinating entity is interposed.
In dem hier vorgestellten erweiterten beschleunigten Verfahren wird das Gesamtsystem um eine solche koordinierende Instanz ergänzt, die einen kurzfristig exklusiven Zugriff auf den Sicherheitsbereich des Datenspeichersystems erlaubt. Diese Instanz kann in den Datenspeichersystemen selbst oder in einer SAN-Appliance, in einem Switch oder in einem oder mehreren dedizierten Clients implementiert sein.In the extended accelerated procedure presented here, the overall system is increased by a sol coordinating authority that allows short-term exclusive access to the security area of the data storage system. This instance can be implemented in the data storage systems themselves or in a SAN appliance, in a switch, or in one or more dedicated clients.
Referenzenreferences
- [BSS02] Brinkmann, A., K. Salzwedel und C. Scheideler: Compact, adaptive placement schemes for non-uniform distribution requirements. In Proc. of the 14th ACM Symposium on Parallel Algorithms and Architectures (SPAR), Seiten 53–62, 2002.[BSS02] Brinkmann, A., K. Salzwedel and C. Scheideler: Compact, adaptive placement schemes for non-uniform distribution requirements. In Proc. of the 14 th ACM Symposium on Parallel Algorithms and Architectures (SPAR), pages 53-62, of 2002.
- [Sed03] R. Sedgewick: Algorithms in Java, Third Edition, Addison-Wesley, ISBN: 0-201-36120-5, 2003[Sed03] R. Sedgewick: Algorithms in Java, Third Edition, Addison-Wesley, ISBN: 0-201-36120-5, 2003
Figurenlistelist of figures
SachnummernlistePart number list
- 11
- SpeichernetzwerkStorage networking
- 22
- Switches bzw. Routerswitches or router
- 33
- Clientclient
- 44
- DatenspeichersystemData storage system
- 55
- SAN-ApplianceSAN Appliance
Claims (31)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200510043750 DE102005043750A1 (en) | 2005-09-13 | 2005-09-13 | Distributing and finding method of meta information for management of data storage systems in computer systems, involves application of user data zone and associated security area in data storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200510043750 DE102005043750A1 (en) | 2005-09-13 | 2005-09-13 | Distributing and finding method of meta information for management of data storage systems in computer systems, involves application of user data zone and associated security area in data storage system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102005043750A1 true DE102005043750A1 (en) | 2007-03-22 |
Family
ID=37775712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200510043750 Withdrawn DE102005043750A1 (en) | 2005-09-13 | 2005-09-13 | Distributing and finding method of meta information for management of data storage systems in computer systems, involves application of user data zone and associated security area in data storage system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102005043750A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5897661A (en) * | 1997-02-25 | 1999-04-27 | International Business Machines Corporation | Logical volume manager and method having enhanced update capability with dynamic allocation of storage and minimal storage of metadata information |
US20040128269A1 (en) * | 2002-12-27 | 2004-07-01 | Milligan Charles A. | System and method for managing data through families of inter-related metadata tables |
-
2005
- 2005-09-13 DE DE200510043750 patent/DE102005043750A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5897661A (en) * | 1997-02-25 | 1999-04-27 | International Business Machines Corporation | Logical volume manager and method having enhanced update capability with dynamic allocation of storage and minimal storage of metadata information |
US20040128269A1 (en) * | 2002-12-27 | 2004-07-01 | Milligan Charles A. | System and method for managing data through families of inter-related metadata tables |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112018000193B4 (en) | Store data sequentially in zones on a distributed storage network | |
DE69724834T2 (en) | SYSTEM FOR HIGHLY AVAILABLE DATA STORAGE WITH GENERALLY ADDRESSED STORAGE | |
DE69838367T2 (en) | Parallel file system and method for independent recording of metadata | |
DE102013208930B4 (en) | Grouping of entries in a deduplication index | |
DE602005001041T2 (en) | Dump System | |
DE112010004947B4 (en) | Restore a full system backup and incremental backups using multiple simultaneous unit streams | |
DE69722962T2 (en) | STRUCTURED DATA STORAGE SYSTEM WITH GLOBAL ADDRESSABLE MEMORY | |
DE102009031923A1 (en) | Method for managing data objects | |
DE112013006504B4 (en) | Storage system and data management method | |
DE112017005868T5 (en) | MANAGING I / O FLOWS FOR DATA OBJECTS IN A STORAGE SYSTEM | |
DE112018000882T5 (en) | MANAGING I / O OPERATIONS IN A STORAGE NETWORK | |
DE10236796B4 (en) | Method and arrangement for randomized data storage in storage networks and / or an intranet and / or the Internet as well as a corresponding computer program product and a corresponding computer-readable storage medium | |
DE112015000710T5 (en) | Distributed storage system | |
DE112013000900B4 (en) | Preserving Redundancy in Data Deduplication Systems Using a Scoreboard | |
DE112013005903T5 (en) | Storage system and storage control method | |
DE112013006655T5 (en) | Storage device and method for controlling the storage device | |
DE102013101863A1 (en) | Highly available main memory database system, working methods and their uses | |
DE10236179A1 (en) | Cache memory system for network data storage system, comprises memory segment having respective parity segment and data segments | |
DE102013215535A1 (en) | SECURING OR RECOVERING DATA WITH THE HELP OF A MAIN STORAGE AND NON-VOLATILE STORAGE MEDIA | |
DE10350590A1 (en) | Method and device for saving data in several independent read-write memories | |
DE602004007925T2 (en) | MANAGING A RELATIONSHIP BETWEEN A TARGET VOLUME AND A SOURCE VOLUME | |
DE112020000305B4 (en) | REDUCE RECOVERY TIME IN A COMPUTER STORAGE ENVIRONMENT | |
DE102004036323A1 (en) | Advanced storage management architecture for large data volumes | |
DE102012108117A1 (en) | Highly available computer system, working method and its use | |
DE112018000227B4 (en) | Method for partially updating data content in a distributed storage network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
8139 | Disposal/non-payment of the annual fee |