Apache Hadoop 3.0 ist fertig

19.12.2017

Eine neue Version der Big-Data-Umgebung wurde veröffentlicht. 

Ab sofort ist Version 3.0 des Big-Data-Clusters Hadoop verfügbar. Herausragendes Feature ist die Verwendung von Erasure Coding beim Hadoop-Filesystem HDFS. Damit reduziert sich der verwendete Speicherbedarf deutlich. Der YARN Timeline Service v.2 soll die Skalierbarkeit und Verfügbarkeit des Timeline-Diensts verbessern. Derzeit ist es allerdings noch eine Preview. Ein Federation-Feature für YARN und HDFS ermöglicht die bessere Skalierung eins Hadoop-Clusters über zehntausende von Nodes.

Apache Hadoop hat sich als frei verfügbare Lösung für die analytische Verarbeitung großer Datenmengen im Stil von Googles Map/Reduce etabliert. In den letzten Jahren hat es zugunsten von Apache Spark und anderen Frameworks aber an Popularität eingebüßt. 

Ähnliche Artikel

comments powered by Disqus
Mehr zum Thema

Hadoop 1.0.0 veröffentlicht

Nach sechs Jahren Entwicklungszeit erreicht die Cluster-Software Hadoop Version 1.0.0.

Artikel der Woche

Eigene Registry für Docker-Images

Wer selber Docker-Images herstellt, braucht auch eine eigene Registry. Diese gibt es ebenfalls als Docker-Image, aber nur mit eingeschränkter Funktionalität. Mit einem Auth-Server wird daraus ein brauchbares Repository für Images. (mehr)
Einmal pro Woche aktuelle News, kostenlose Artikel und nützliche ADMIN-Tipps.
Ich habe die Datenschutzerklärung gelesen und bin einverstanden.

Konfigurationsmanagement

Ich konfiguriere meine Server

  • von Hand
  • mit eigenen Skripts
  • mit Puppet
  • mit Ansible
  • mit Saltstack
  • mit Chef
  • mit CFengine
  • mit dem Nix-System
  • mit Containern
  • mit anderer Konfigurationsmanagement-Software

Google+

Ausgabe /2019