(Senior) Databricks Engineer (m/w/d) – Freelance & Remote

Arbeitgeber: Randstad Professional

. Projektkontext & Zielsetzung Für strategische Transformationsprojekte und den Ausbau moderner, skalierbarer Datenplattformen suchen wir einen erfahrenen (Senior) Databricks Engineer (m/w/d). In dieser Rolle übernehmen Sie die technische Verantwortung von der Konzeption bis zum produktiven Rollout von Data- & AI-Lösungen auf Basis modernster Lakehouse-Architekturen. Ihre Aufgaben - Plattformkonzeption & -architektur: Konzeption, Aufbau und Weiterentwicklung moderner Lakehouse-Architekturen und skalierbarer Datenplattformen auf Databricks. - Pipeline-Entwicklung: Entwicklung hochperformanter ETL/ELT-Pipelines (Batch und Streaming) unter Einsatz von Python, SQL, PySpark und Apache Spark. - Databricks-Ökosystem & Tooling: Implementierung moderner Komponenten wie Unity Catalog, Delta Lake sowie Delta Live Tables / Lakeflow; Integration in bestehende Cloud- und Analytics-Landschaften. - Data Governance & Security: Etablierung robuster Governance-Strukturen, inklusive Datenklassifizierung, Lineage, Datenqualitäts-Frameworks und Zugriffskontrollen. - Automatisierung & Performance: Aufbau automatisierter Deployments (CI/CD, Infrastructure as Code) sowie kontinuierliche Performance- und Kostenoptimierung bestehender Databricks-Workloads. - Technische Beratung & Know-how-Transfer: Technische Sparringspartner-Rolle für Stakeholder, Coaching interner Data Engineers sowie Mitwirkung an Proof of Concepts (PoCs). Must-Have Skills - Tiefgehende Databricks-Expertise: Mehrjährige Projekterfahrung im Design und Betrieb produktiver Databricks-Lösungen. - Data Engineering & Programmiersprachen: Exzellente Kenntnisse in Python, SQL sowie fundierte Praxiserfahrung mit PySpark und verteilter Datenverarbeitung (Apache Spark). - Architektur & Datenmodellierung: Nachweisbare Erfahrung mit Delta Lake, Lakehouse-Paradigmen und relationaler/dimensionaler Datenmodellierung. - Data Governance & Security: Hands-on-Erfahrung mit Databricks Unity Catalog (Rollen-/Rechtemanagement, Lineage, Data Quality). - Cloud-Infrastruktur: Solide Projekterfahrung in mindestens einer großen Cloud-Umgebung (Microsoft Azure, AWS oder GCP). - Software-Engineering-Best-Practices: Versierter Umgang mit Git, CI/CD-Pipelines, Testing und IaC (z. B. Terraform). - Kommunikation & Arbeitsweise: Selbstständige, strukturierte Arbeitsweise, ausgeprägtes Architekturverständnis sowie fließende Deutsch- und gute Englischkenntnisse. Nice-to-Have - Databricks-Zertifizierungen (z. B. Databricks Certified Data Engineer Professional). - Erfahrung mit Delta Live Tables (DLT) oder Databricks Lakeflow. - Erfahrung in der technischen Konzeption von PoCs und im Kunden-Coaching. .