Apache Spark Grundlagen

Kurzbeschreibung:
Wir leben in einer Zeit, in der immer mehr Daten in immer kürzerer Zeit gespeichert und verarbeitet werden müssen. Klassische Frameworks und Algorithmen stoßen hier schnell an ihre Grenzen. Eine Lösung bietet Apache Spark - ein Framework zur verteilten Verarbeitung und Berechnung großer Datenmengen. In diesem Seminar bekommen Sie einen Überblick über die wichtigsten Spark-Komponenten und die Architektur einer Spark-Applikation. In praktischen Übungen wenden Sie das Erlernte an und schreiben Ihre ersten eigenen Spark-Jobs in Python. Unter anderem verwenden Sie dabei Spark Core - die Grundlage der parallelen Verarbeitung in Spark -, analysieren Daten mit Spark SQL und lernen die wichtigsten Konfigurationen, auch im Zusammenhang mit YARN, kennen. Des Weiteren erhalten Sie eine kurze Einführung in die Bibliotheken für Streaming (Spark Streaming), Machine Learning (MLlib) und Graph-Verarbeitung (GraphX).