Workshop: Amazon S3 mit S3QL lokal integrieren

Cloud Computing stellt Storage- und Computing-Ressourcen bereit, die andere Rechner übers Internet nutzen können. Im Allgemeinen findet das in der Form von virtuellen Maschinen (VMs) beziehungsweise im Fall von Storage als VM oder als exportiertes Block Device statt, etwa mit NFS. Oft starten Anwender ihre VMs, richten Storage und Anwendungen ein und fahren sie wieder herunter, wenn die Aufgabe erledigt ist. Die Resultate kopieren sie vorher noch auf einen lokalen Speicher.

Allerdings geht es auch umgekehrt: Die Cloud kann permanenten Storage bereitstellen, den Anwender für Backups und andere Zwecke nutzen, egal um welche Datenmengen es sich handelt. Die bekannteste Lösung dafür bietet der Cloud-Provider Amazon mit seinem S3 Storage. Die technischen Details von S3 sind nicht öffentlich bekannt, aber es ist ein objektbasiertes Storage-System.

Arbeiten mit Buckets

Um S3 zu nutzen, legen Sie einen oder mehrere Buckets an. In jedem dieser Buckets befinden sich Objekte. Außerdem gibt es keine Begrenzung dafür, wie viele Objekte sich in einem Bucket befinden können. Ein Objekt wiederum besteht im Wesentlichen aus einer Datei plus Metadaten, etwa ACLs (Access Control Lists). Beim derzeitigen Stand der Technik darf ein S3-Objekt bis zu 5 TByte groß sein und bis zu 2 KByte Metadaten umfassen. Allerdings kann S3 in einer einzigen Schreiboperation nur bis zu 5 GByte schreiben und zerlegt deshalb größere Dateien in entsprechend große Teile. Für den Nutzer stehen einfache Befehle bereit, mit denen er mit dem S3-Storage arbeitet: PUT (schreiben), GET (lesen) oder DELETE (löschen).

Buckets können Sie beispielsweise über die webbasierte Oberfläche von Amazon anlegen. Alternativ stellt der Anbieter ein Kommandozeilen-Tool zur Verfügung, das Sie verwenden können, um mit S3 zu arbeiten (wie auch mit den anderen Amazon Services). Der Befehl heißt , gefolgt von für den S3-Dienst

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.