Verteiltes virtuelles Speichersystem Alluxio

Alles im Fluss

Alluxio ist ein virtuelles Dateisystem und ermöglicht es Anwendungen zur Datenanalyse, mit einer einzigen Schnittstelle auf eine Vielzahl an lokalen und Cloud-Speichersystemen zuzugreifen. Außerdem kann Alluxio als Cache-Speicher genutzt werden, der Daten schneller zur Verfügung stellt als die originale Quelle.
Kommerzielle Software von der Stange oder quelloffene Produkte, die lizenzkostenfrei und flexibler sind, dafür aber oft entsprechendes Know-how voraussetzen? ... (mehr)

Alluxio [1] wird unter der Apache-2.0-Lizenz als kostenlose Community-Edition bereitgestellt. Im Fokus des Systems steht die Anbindung von Big-Data-Lösungen wie zum Beispiel Hadoop oder anderen Systemen, die große Datenmengen verarbeiten müssen. Dazu verbindet sich ein solches System mit Alluxio, an das seinerseits wiederum die verschiedenen Datenquellen angebunden sind. Alluxio kann diese Informationen anschließend für die jeweilige Anwendung bereitstellen.

Umfangreiches Ökosystem

Alluxio unterstützt zahlreiche Storage-Systeme. Diese müssen nicht unbedingt mit dem Hadoop Distributed File System (HDFS) betrieben werden, auch Amazon S3 oder Swift lassen sich ebenso uneingeschränkt nutzen wie lokale Dateisysteme und Clouddienste wie AWS S3, Google Cloud oder Microsoft Azure. Die Daten werden über APIs an die verarbeitenden Anwendungen ausgeliefert. Beispiele dafür sind Hadoop, Spark, Hive, TensorFlow oder Presto. Als Schnittstelle bietet Alluxio eigene APIs, aber auch APIs für Hadoop, AWS S3, REST und FUSE. Datenanalyseapplikationen wie Spark und MapReduce können ohne Code-Änderung mit Alluxio ausgeführt werden. Alluxio vereinheitlicht die in den verschiedenen Speichersystemen gespeicherten Daten und stellt diese für die angebundenen Dateisysteme bereit.

Alluxio als verteilter Cache

Alluxio dient grundsätzlich dazu, Probleme bei der Extraktion von Daten zu lösen. Dazu stellt das Tool eine Brücke zwischen Anwendungen und Speichersystemen bereit, auf denen Daten gespeichert sind. Die Software lässt sich in diesem Zusammenhang auch als verteilter Shared-Caching-Dienst verwenden. Das ermöglicht Anwendungen, die mit Alluxio kommunizieren, häufig abgerufene Daten, vor allem von entfernten Standorten oder Cloudspeichern, zu nutzen. Alluxio speichert die Daten zwischen und ermöglicht dadurch einen schnellen

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.

comments powered by Disqus

Artikel der Woche

Eigene Registry für Docker-Images

Wer selber Docker-Images herstellt, braucht auch eine eigene Registry. Diese gibt es ebenfalls als Docker-Image, aber nur mit eingeschränkter Funktionalität. Mit einem Auth-Server wird daraus ein brauchbares Repository für Images. (mehr)
Einmal pro Woche aktuelle News, kostenlose Artikel und nützliche ADMIN-Tipps.
Ich habe die Datenschutzerklärung gelesen und bin einverstanden.

Konfigurationsmanagement

Ich konfiguriere meine Server

  • von Hand
  • mit eigenen Skripts
  • mit Puppet
  • mit Ansible
  • mit Saltstack
  • mit Chef
  • mit CFengine
  • mit dem Nix-System
  • mit Containern
  • mit anderer Konfigurationsmanagement-Software

Google+

Ausgabe /2019