Beschreibung
## Das sind deine Aufgaben
- Du konzipierst, implementierst und betreibst vollständig automatisierte Datenpipelines (ETL, ELT etc.) zur effizienten Verarbeitung großer Mengen an strukturierten und unstrukturierten Daten mit Azure databricks.
- Du bindest verschiedene interne (z. B. Datenbanken, APIs) und externe Datenquellen (u. a. APIs, Web-Crawler) an.
- Du stellst die technisch-operative Datenqualität und -konsistenz sicher, in dem du geeignete Validierungs- und Bereinigungsprozesse realisie...
weiter lesen
## Das sind deine Aufgaben
- Du konzipierst, implementierst und betreibst vollständig automatisierte Datenpipelines (ETL, ELT etc.) zur effizienten Verarbeitung großer Mengen an strukturierten und unstrukturierten Daten mit Azure databricks.
- Du bindest verschiedene interne (z. B. Datenbanken, APIs) und externe Datenquellen (u. a. APIs, Web-Crawler) an.
- Du stellst die technisch-operative Datenqualität und -konsistenz sicher, in dem du geeignete Validierungs- und Bereinigungsprozesse realisierst.
- Du überwachst laufende Datenpipelines und Prozessen und behebst eventuelle Fehler im laufenden Betrieb.
- Du arbeitest eng mit unseren Data Scientists, Data Analysts, Data Engineers und BI-Entwicklern zusammen, um die notwendigen Daten schnell, sicher und effizient bereitzustellen.
- Du dokumentierst deine Arbeitsergebnisse strukturiert und adressatengerecht.
## Das bringst du mit
- Du hast ein abgeschlossenes Studium in Informatik, Data Engineering, Naturwissenschaften oder vergleichbarer Fachrichtung und erste Berufserfahrung im Bereich Data Engineering gesammelt.
- Du hast Kenntnisse in der Entwicklung und Optimierung von Datenpipelines (ETL, ELT) idealerweise mit Spark und databricks.
- Du hast Erfahrung in Python, SQL, Spark etc. mit klarem Fokus auf Data Engineering.
- Du bringst ein gutes Grundverständnis für die Anbindung von Datenbanken, APIs etc. an eine Daten Plattform mit.
- Die Umsetzung und Einhaltung hoher Datenschutz- und Sicherheitsanforderungen in einem regulierten Umfeld sind für dich Bestandteil deiner täglichen Arbeit.
- Du strebst danach kontinuierlich neues zu lernen und dich vorlaufend weiterzuentwickeln.
- Du verfügst über sehr gute Deutsch- und gute Englischkenntnisse in Wort und Schrift.
## On top für dich / Deine Vorteile
- 30 Tage Urlaub + Rosenmontag frei
- Flexible Arbeitszeiten und die Möglichkeit des mobilen Arbeitens an bis zu 2 Tagen pro Woche
- Interne kostenlose Kursangebote, Fort- und Weiterbildungen
- Betriebliche Gesundheitsförderung, Sport- und Erholungsangebote (Standort Neuss)
- Unterstützung bei der betrieblichen Altersvorsorge
- Familienfreundlich, private Zusatzversicherung, auch für Angehörige
- Die Möglichkeit, neben dem Beruf zu studieren
- Kommunikation auf Augenhöhe und regelmäßige Feedbackgespräche
- After Work Veranstaltungen sowie Sommer- und Weihnachtsfeste (Standort Neuss)
- Mitarbeiterangebote über Corporate Benefits oder Mitarbeitervorteile für z.B. Technik, Reisen oder Wohnen
- Ausgestatte Küche mit Kaffee, Tee, Wasser und frischem Obst
- Subventioniertes Mittagessen, das geliefert wird und ein Snackautomat mit süßen, gesunden oder warmen Snacks (Standort Neuss)
- Überdachte kostenlose Parkplätze und abschließbare Fahrradstellplätze (Standort Neuss)
- Gute Verkehrsanbindung mit öffentlichen Verkehrsmitteln
- Die Möglichkeit auf ein JobRad und ein vergünstigtes Deutschlandticket