Workshop: Analyse großer Datenmengen mit Apache Storm

Im Auge des Datensturms

In Unternehmen entstehen Tag für Tag riesige Datenmengen, die kaum noch zu bändigen sind. Dabei handelt es sich um Informationen, die aus unterschiedlichen Quellen wie Geschäftsdaten, Netzwerkknoten oder sozialen Netzen stammen. Für einen reibungslosen Betriebsablauf und als Grundlage für unternehmenskritische Entscheidungen ist eine umfassende Echtzeitanalyse und Auswertung notwendig. Um derartige Datenmengen sortieren zu können, bedarf es eines Big Data-Spezialisten wie Apache Storm. Unser Workshop begleitet Sie bei der Installation eines Storm-Clusters und reißt das Schaffen eigener Topologien an.
Mit dem Heftschwerpunkt 'IT-Support & Troubleshooting' startet IT-Administrator ins neue Jahr. Dabei zeigen wir Ihnen, auf welchem Weg Sie Ihr eigenes ... (mehr)

Es spielt heute kaum noch eine Rolle, ob das eigene Unternehmen dem produzierenden Gewerbe oder der Dienstleistungsbranche angehört: Die Datenmengen, die es zu verarbeiten gilt, wachsen von Jahr zu Jahr. Heute spülen unterschiedlichste Quellen gigantische Informationen in die Rechenzentren und auf die Rechner der Mitarbeiter. Nicht umsonst ist in diesem Zusammenhang von Big Data die Rede – ein Schlagwort, das die IT-Branche regelrecht zu elektrisieren scheint.

Bei Big Data geht es um die wirtschaftlich sinnvolle Gewinnung und Nutzung entscheidungsrelevanter Erkenntnisse aus qualitativ unterschiedlichen und strukturell höchst diversifizierten Informationen. Erschwerend kommt hinzu, dass diese Rohdaten häufig einem schnellen Wandel unterliegen. Big Data stellt Konzepte, Methoden, Technologien, IT-Architekturen und Tools bereit, mit denen Unternehmen diese Informationsflut in vernünftige Bahnen lenken können.

Storm auf einen Blick

Ursprünglich wurde Storm von Twitter entwickelt und wird seit 2013 unter der Federführung der Apache Software Foundation weiter gepflegt. Es handelt sich dabei um ein skalierbares Open Source-Werkzeug, das auf die Realtime-Analyse großer Datenmengen spezialisiert ist.

Während Hadoop in erster Linie auf Batch-Verarbeitungen setzt, ist Storm ein verteiltes, fehlertolerantes System, das – wie Hadoop – auf die Verarbeitung sehr großer Datenmengen spezialisiert ist. Der entscheidende Unterschied liegt allerdings in der Realtime-Verarbeitung.

Ein weiteres Merkmal ist seine hohe Skalierbarkeit: Storm verwendet den Hadoop ZooKeeper für die Cluster-Koordination und ist daher sehr gut skalierbar. Storm-Cluster gelten außerdem als leichter zu managen. Storm ist so konzipiert, dass jede eingehende Information verarbeitet wird. Topologien können prinzipiell in jeder beliebigen Programmiersprache definiert werden, wobei Storm typischerweise auf

...

Der komplette Artikel ist nur für Abonnenten des ADMIN Archiv-Abos verfügbar.

Ähnliche Artikel

comments powered by Disqus

Artikel der Woche

Support-Ende von SMBv1

Mit dem aktuellen Update für Windows 10 und Windows Server 2016 steht eine Änderung ins Haus, die gerade für Benutzer älterer Linux-Distributionen große Auswirkungen hat. Nachdem Microsoft es über viele Jahre schon angekündigt hat, entfernt der Konzern mit dem aktuellen Update-Release den Support für das SMB-Protokoll 1. (mehr)
Einmal pro Woche aktuelle News, kostenlose Artikel und nützliche ADMIN-Tipps.
Ich habe die Datenschutzerklärung gelesen und bin einverstanden.

Linux-Backup

Welche Backup-Lösung setzen Sie für Linux im professionellen Umfeld ein?

  • keine
  • eigene Scripts
  • rsnapshot
  • rdiff-backup
  • Bacula
  • Bareos
  • Borg
  • Duplicity
  • Amanda
  • Burp
  • Clonezilla
  • Acronis
  • Arkeia
  • SEP sesam
  • Veeam
  • Redo Backup
  • Relax-and-Recover
  • andere kommerzielle Software
  • andere Open-Source-Software

Google+

Ausgabe /2018

Microsite