Data Engineering für Einsteiger
Institut: HECKER CONSULTINGBereich: Technik, EDV, Telekommunikation
Kursbeschreibung
Data Engineering macht das Leben von Data Scientists einfacher. Der Data Engineer ist eine der wichtigsten Personen in einer datengesteuerten Organisation.
Data Science kann allgemein als der Prozess definiert werden, Daten nützlich zu machen und Data Engineering ist ein wichtiger Teil des Wie und Warum.
Wenn Sie sich Data Science wie einen Rennwagen vorstellen, sind die Data Engineers die Boxen-Crew. Sie fahren nicht das Auto, aber sie sorgen dafür, dass das Auto viel leichter zu fahren ist.
Dateningenieure sorgen dafür, dass der Datenfluss reibungslos funktioniert, überwachen Systeme, sehen Probleme voraus und reparieren die Datenpipeline, wenn Probleme auftreten. Sie extrahieren und sammeln Daten aus verschiedenen Quellen und laden sie in eine einzige, leicht abfragbare Datenbank.
Sie werden die wesentlichen Grundlagen des Data Engineering kennenlernen und hören vin Schlüsselthemen wie Data Wrangling, Datenbankschemata und die Entwicklung von ETL-Pipelines. Außerdem nutzen Sie verschiedene Data-Engineering-Tools wie Hive, Hadoop, Spark und Airflow.
Am Ende werden Sie wissen, warum der Data Engineer eine der wichtigsten Personen in einer datengesteuerten Organisation ist.
Einführung in Data Engineering- Was ist Data Engineering?
- Einführung in Data Engineering
- Dateningenieur versus Datenwissenschaftler
- Wesentliche Werkzeuge für Data Engineering
- Einführung in Datenbanken und ihre Typen
- Verstehen von Datenbankschemata
- Verteiltes Rechnen
- MapReduce und Hadoop
- Hive
- Spark
- Airflow
- Quellen der Datenextraktion
- Datenextraktion aus einer PostgreSQL-Datenbank
- Transformieren von Daten
- Laden von Daten in eine DB
- Planen der ETL-Pipeline mit Airflow
Data Engineering macht das Leben von Data Scientists einfacher. Der Data Engineer ist eine der wichtigsten Personen in einer datengesteuerten Organisation.
Data Science kann allgemein als der Prozess definiert werden, Daten nützlich zu machen und Data Engineering ist ein wichtiger Teil des Wie und Warum.
Wenn Sie sich Data Science wie einen Rennwagen vorstellen, sind die Data Engineers die Boxen-Crew. Sie fahren nicht das Auto, aber sie sorgen dafür, dass das Auto viel leichter zu fahren ist.
Dateningenieure sorgen dafür, dass der Datenfluss reibungslos funktioniert, überwachen Systeme, sehen Probleme voraus und reparieren die Datenpipeline, wenn Probleme auftreten. Sie extrahieren und sammeln Daten aus verschiedenen Quellen und laden sie in eine einzige, leicht abfragbare Datenbank.
Sie werden die wesentlichen Grundlagen des Data Engineering kennenlernen und hören vin Schlüsselthemen wie Data Wrangling, Datenbankschemata und die Entwicklung von ETL-Pipelines. Außerdem nutzen Sie verschiedene Data-Engineering-Tools wie Hive, Hadoop, Spark und Airflow.
Am Ende werden Sie wissen, warum der Data Engineer eine der wichtigsten Personen in einer datengesteuerten Organisation ist.
Einführung in Data Engineering- Was ist Data Engineering?
- Einführung in Data Engineering
- Dateningenieur versus Datenwissenschaftler
- Wesentliche Werkzeuge für Data Engineering
- Einführung in Datenbanken und ihre Typen
- Verstehen von Datenbankschemata
- Verteiltes Rechnen
- MapReduce und Hadoop
- Hive
- Spark
- Airflow
- Quellen der Datenextraktion
- Datenextraktion aus einer PostgreSQL-Datenbank
- Transformieren von Daten
- Laden von Daten in eine DB
- Planen der ETL-Pipeline mit Airflow