Workshop: Amazon S3 mit S3QL lokal integrieren

Auf Wolkenfang

Cloud-Storage ist eine Alternative zu teuren Speicher-Lösungen in den eigenen vier Wänden. Mit dem S3QL-Dateisystem lassen sich Amazon S3 und andere Dienste transparent in lokale File-Systeme einbinden.
Die Datenmenge in Unternehmen wächst unaufhaltsam und auch deren notwendige Verfügbarkeit steht längst außer Frage. Deshalb befasst sich IT-Administrator im ... (mehr)

Cloud Computing stellt Storage- und Computing-Ressourcen bereit, die andere Rechner übers Internet nutzen können. Im Allgemeinen findet das in der Form von virtuellen Maschinen (VMs) beziehungsweise im Fall von Storage als VM oder als exportiertes Block Device statt, etwa mit NFS. Oft starten Anwender ihre VMs, richten Storage und Anwendungen ein und fahren sie wieder herunter, wenn die Aufgabe erledigt ist. Die Resultate kopieren sie vorher noch auf einen lokalen Speicher.

Allerdings geht es auch umgekehrt: Die Cloud kann permanenten Storage bereitstellen, den Anwender für Backups und andere Zwecke nutzen, egal um welche Datenmengen es sich handelt. Die bekannteste Lösung dafür bietet der Cloud-Provider Amazon mit seinem S3 Storage. Die technischen Details von S3 sind nicht öffentlich bekannt, aber es ist ein objektbasiertes Storage-System.

Arbeiten mit Buckets

Um S3 zu nutzen, legen Sie einen oder mehrere Buckets an. In jedem dieser Buckets befinden sich Objekte. Außerdem gibt es keine Begrenzung dafür, wie viele Objekte sich in einem Bucket befinden können. Ein Objekt wiederum besteht im Wesentlichen aus einer Datei plus Metadaten, etwa ACLs (Access Control Lists). Beim derzeitigen Stand der Technik darf ein S3-Objekt bis zu 5 TByte groß sein und bis zu 2 KByte Metadaten umfassen. Allerdings kann S3 in einer einzigen Schreiboperation nur bis zu 5 GByte schreiben und zerlegt deshalb größere Dateien in entsprechend große Teile. Für den Nutzer stehen einfache Befehle bereit, mit denen er mit dem S3-Storage arbeitet: PUT (schreiben), GET (lesen) oder DELETE (löschen).

Buckets können Sie beispielsweise über die webbasierte Oberfläche von Amazon anlegen. Alternativ stellt der Anbieter ein Kommandozeilen-Tool zur Verfügung, das Sie verwenden können, um mit S3 zu arbeiten (wie auch mit den anderen Amazon Services). Der Befehl heißt , gefolgt von für den S3-Dienst

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.

comments powered by Disqus

Artikel der Woche

Eigene Registry für Docker-Images

Wer selber Docker-Images herstellt, braucht auch eine eigene Registry. Diese gibt es ebenfalls als Docker-Image, aber nur mit eingeschränkter Funktionalität. Mit einem Auth-Server wird daraus ein brauchbares Repository für Images. (mehr)
Einmal pro Woche aktuelle News, kostenlose Artikel und nützliche ADMIN-Tipps.
Ich habe die Datenschutzerklärung gelesen und bin einverstanden.

Konfigurationsmanagement

Ich konfiguriere meine Server

  • von Hand
  • mit eigenen Skripts
  • mit Puppet
  • mit Ansible
  • mit Saltstack
  • mit Chef
  • mit CFengine
  • mit dem Nix-System
  • mit Containern
  • mit anderer Konfigurationsmanagement-Software

Ausgabe /2020