Workshop: Das deduplizierende Dateisystem OpenDedup

Abgespeckt

Im Lauf der Zeit sammeln sich auf Massenspeichern zahlreiche Dateien mit teilweise identischen Inhalten. Das gilt insbesondere für Sicherheitskopien, temporäre Dateien und Log-Daten. Deduplizierende Dateisysteme wie SDFS speichern solche redundanten Daten nur ein einziges Mal auf dem Datenträger und sparen so Plattenplatz. Es kann die zu speichernden Daten sogar auf mehrere Rechnerknoten verteilen.
Mit einer vernünftigen Backup-Strategie wappnen sich Administratoren erfolgreich gegen Datenverluste und längere Systemausfälle. So zeigen wir Ihnen ... (mehr)

Das im Rahmen des OpenDedup-Projekts entwickelte Dateisystem SDFS [1] zerteilt eine zu speichernde Datei zunächst in einzelne Datenblöcke. Anschließend legt es nur die Blöcke auf der Festplatte ab, die es dort noch nicht gibt. Auf diese Weise kann SDFS auch nur teilweise identische Dateien deduplizieren. Nach außen hin bekommen Nutzer von der kompletten Abspeckkur nichts mit: Sie sehen weiterhin eine Sicherheitskopie, obwohl physisch auf der Festplatte nur noch das Original liegt. SDFS stellt dabei sicher, dass bei einer Bearbeitung des Originals nicht auch die Sicherheitskopie geändert wird.

Blockbasiertes Speichern

SDFS speichert die Datenblöcke wahlweise lokal, auf bis zu 126 Rechnerknoten in einem Netzwerk oder in der Cloud. Ein eingebauter Load-Balancer sorgt dabei für eine gleichmäßige Auslastung der Knoten. Damit kann SDFS auch große Datenmengen flott verarbeiten – eine entsprechend fixe Netzwerkanbindung vorausgesetzt. In jedem Fall setzt sich SDFS als Schicht über das vorhandene Dateisystem. SDFS arbeitet wahlweise mit festen oder variablen Blockgrößen. Auf diese Weise lassen sich sowohl strukturierte als auch unstrukturierte Daten effizient deduplizieren. Des Weiteren kann das Dateisystem mit einer Blockgröße von 4 KByte umgehen. Dies ist unter anderem notwendig, um virtuelle Maschinen effizient zu deduplizieren. Identische Datenblöcke entdeckt SDFS, indem es für jeden Block einen Fingerabdruck in Form eines Hashwerts erstellt und diese Werte dann miteinander vergleicht.

Da jeder Datenblock nur noch einmal auf dem Datenträger liegt, steigt allerdings das Ausfallrisiko: Ist ein Block defekt, sind es automatisch auch alle Dateien mit diesem Inhalt. SDFS kann deshalb jeden Datenblock auf bis zu sieben Speicherknoten redundant speichern. Abschließend ermöglicht das Dateisystem, Snapshots für Dateien und Verzeichnisse zu schießen. SDFS steht unter der GNU

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.

Ähnliche Artikel

comments powered by Disqus

Artikel der Woche

Support-Ende von SMBv1

Mit dem aktuellen Update für Windows 10 und Windows Server 2016 steht eine Änderung ins Haus, die gerade für Benutzer älterer Linux-Distributionen große Auswirkungen hat. Nachdem Microsoft es über viele Jahre schon angekündigt hat, entfernt der Konzern mit dem aktuellen Update-Release den Support für das SMB-Protokoll 1. (mehr)
Einmal pro Woche aktuelle News, kostenlose Artikel und nützliche ADMIN-Tipps.
Ich habe die Datenschutzerklärung gelesen und bin einverstanden.

Linux-Backup

Welche Backup-Lösung setzen Sie für Linux im professionellen Umfeld ein?

  • keine
  • eigene Scripts
  • rsnapshot
  • rdiff-backup
  • Bacula
  • Bareos
  • Borg
  • Duplicity
  • Amanda
  • Burp
  • Clonezilla
  • Acronis
  • Arkeia
  • SEP sesam
  • Veeam
  • Redo Backup
  • Relax-and-Recover
  • andere kommerzielle Software
  • andere Open-Source-Software

Google+

Ausgabe /2018

Microsite