data-engineer-databricks-lakehouse bei 1&1
1&1 sucht erfahrene Data Engineers fĂŒr die Transformation der Datenlandschaft hin zu einer modernen Lakehouse-Architektur auf Databricks. Die Position umfasst das Design und den Betrieb von ETL/ELT-Pipelines mit Python und PySpark sowie die Entwicklung datengetriebener Use-Cases. Das Unternehmen bietet hybrides Arbeiten mit bis zu 40% mobiler Arbeit und umfangreiche Weiterbildungsmöglichkeiten.
Deine Rolle als Data Engineer Databricks bei 1&1
In dieser spannenden Position werden Sie maĂgeblich zur digitalen Transformation der Dateninfrastruktur beitragen und innovative Lösungen fĂŒr datengetriebene Entscheidungen entwickeln. Sie arbeiten in einem dynamischen Umfeld mit Pioniergeist und gestalten aktiv die Zukunft der Datenarchitektur bei einem fĂŒhrenden Telekommunikationsanbieter.
- Transformation der Datenlandschaft â Sie gestalten die Migration von bestehenden Data-Warehouse-Strukturen hin zu einer skalierbaren Lakehouse-Architektur auf Databricks, die moderne Cloud-Technologien nutzt
- Entwicklung moderner ETL-Pipelines â Aufbau und Betrieb von Datenpipelines mit Python und PySpark, die Performance, Kosten und Skalierbarkeit optimieren
- AI und Data Science Enablement â Sie schaffen die technische Grundlage fĂŒr innovative KI-Anwendungen und datengetriebene Insights durch saubere, hochwertige Dateninfrastruktur
- Moderne Technologien â Einsatz von Delta Lake, Structured Streaming und anderen Databricks-Funktionen fĂŒr state-of-the-art Data Engineering
Dies ist eine Chance, mit einer etablierten Marke zu wachsen und gleichzeitig moderne Data Engineering-Praktiken zu implementieren.
Konkrete Aufgaben im Datenarchitekt-Alltag
Der Arbeitsalltag als Data Engineer Databricks bei 1&1 umfasst sowohl technische Implementierung als auch strategische Planung der Dateninfrastruktur. Sie arbeiten eng mit verschiedenen Teams zusammen und tragen zur langfristigen DatenqualitÀt bei.
- Pipeline-Design und Entwicklung â Erstellung differenzierter Pipeline-Logiken zur Sicherstellung von StabilitĂ€t, SLA-KonformitĂ€t und Auditierbarkeit mit Fokus auf DatenqualitĂ€t und Validierung
- Systemmigration â Ablosung bestehender MS SQL Server Strukturen durch skalierbare Lakehouse-Architekturen mit sorgfĂ€ltiger Umsetzung von Schema-Mappings und Metadaten
- Performance-Optimierung â Monitoring von Pipeline-Laufzeiten und Ressourcennutzung mit kontinuierlicher Verbesserung von Performance und Skalierbarkeit
- Team-Kollaboration â Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen zur Sicherstellung ganzheitlicher Datenlösungen
- Technische Dokumentation â Erstellung und Pflege von Nachvollziehbarkeit und Governance fĂŒr alle Datenprozesse
Die Position bietet die Möglichkeit, best-practice Datenarchitektur in groĂem MaĂstab zu etablieren.
Qualifikationen fĂŒr die Data Engineer Databricks Position
Als erfahrener Data Engineer mit Fokus auf Databricks und Lakehouse-Architekturen bringen Sie fundierte technische Kenntnisse mit und entwickeln sich kontinuierlich in einem wachsenden Marktumfeld weiter.
- Ausbildung â Abgeschlossenes Studium in Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbare Qualifikation
- Erfahrungshintergrund â MehrjĂ€hrige Erfahrung im Data Engineering, idealerweise mit 3-6 Jahren in diesem Bereich
- Python Expertise â Sehr gute Python-Kenntnisse mit Schwerpunkt auf PySpark und fundierte Erfahrung mit Apache Spark
- Databricks Skills â Erfahrung mit Databricks, Delta Lake, Structured Streaming und modernen Cloud-Technologien
- SQL und Datenmodellierung â Starkes VerstĂ€ndnis von ETL/ELT-Prozessen, Datenmodellierung und sehr gute SQL-Kenntnisse fĂŒr MS SQL Server
- Orchestrierung â Kenntnisse in Tools wie Airflow oder Databricks Workflows fĂŒr Pipeline-Management
- Governance â VerstĂ€ndnis von Data Governance, Compliance und Metadatenmanagement
Strukturierte und analytische Arbeitsweise ergÀnzen die technischen Anforderungen.
Warum 1&1 ein attraktiver Arbeitgeber fĂŒr Data Engineers ist
1&1 bietet nicht nur eine spannende technische Herausforderung, sondern auch umfassende Benefits, die Work-Life-Balance und persönliche Entwicklung unterstĂŒtzen.
- Flexibles Arbeitsmodell â Vertrauensarbeitszeit mit flexibler Einteilung und bis zu 40% mobile Arbeit fĂŒr maximale Selbstbestimmung
- Kompetenzentwicklung â Zahlreiche Weiterbildungsmöglichkeiten on- und offline, um Ihre Skills im schnelllebigen Data Engineering-Bereich kontinuierlich zu erweitern
- Attraktive VergĂŒtung â Fair marktentsprechende Gehaltsstruktur als Anerkennung Ihrer Expertise
- Produktvorteile â Rabatte auf 1&1 Produkte und diverse Freizeitangebote als Zusatznutzen
- Gesundheits- und WohlfĂŒhl-MaĂnahmen â Betriebseigenes Restaurant, kostenlose GetrĂ€nke, frisches Obst und Jobrad-Zuschuss
- Teamkultur â Starke Gemeinschaft aus Teamplayern mit Fokus auf Zusammenarbeit und gegenseitige UnterstĂŒtzung
1&1 ist besonders fĂŒr Data Engineers interessant, die an der Transformation traditioneller Infrastrukturen zu modernen Cloud-Architekturen mitwirken möchten.
Deine Benefits im Ăberblick
HĂ€ufige Fragen zu dieser Stelle
Was ist die Bedeutung von Databricks Lakehouse-Architektur?
âŒ
Die Databricks Lakehouse-Architektur kombiniert die Vorteile von Data Warehouses und Data Lakes in einer einzigen Plattform. Sie ermöglicht strukturierte und unstrukturierte Daten unter einem Dach mit modernen Funktionen wie Delta Lake fĂŒr ACID-Transaktionen, unterstĂŒtzte Schema-Management und kosteneffiziente Skalierung. Diese Architektur ist ideal fĂŒr Data Engineers, die moderne, skalierbare Lösungen fĂŒr Enterprise-Datenimplementierungen entwickeln möchten.
Wie ist das hybride Arbeitsmodell bei 1&1 konkret geregelt?
âŒ
1&1 bietet ein flexibles Arbeitsmodell mit bis zu 40% mobiler Arbeit an. Das bedeutet, Sie können selbststĂ€ndig entscheiden, wie viel Zeit Sie im Homeoffice verbringen. Die Vertrauensarbeitszeit ermöglicht es Ihnen, Ihre Arbeitszeiten individuell einzuteilen, solange die vereinbarten Ziele erreicht werden. Diese FlexibilitĂ€t unterstĂŒtzt Work-Life-Balance und ist besonders attraktiv fĂŒr erfahrene Data Engineers mit selbststĂ€ndiger Arbeitsweise.
Welche Weiterbildungsmöglichkeiten bietet 1&1 fĂŒr Data Engineers?
âŒ
1&1 bietet umfangreiche Weiterbildungsmöglichkeiten sowohl online als auch offline an. Diese können von technischen Zertifizierungen in Datenarchitektur, Machine Learning oder Cloud-Technologien bis hin zu weichen Kompetenzen reichen. Als Data Engineer bei 1&1 haben Sie die Chance, Ihre Skills in schnelllebigen Bereichen wie Databricks, Delta Lake oder AI-Use-Cases kontinuierlich zu erweitern und Ihre Karriere sowohl technisch als auch fachlich voranzutreiben.
Was ist mit der Ablosung bestehender MS SQL Server Strukturen gemeint?
âŒ
Die Position umfasst die Migration von bestehenden Data-Warehouse- und ETL-Strukturen auf MS SQL Server hin zu modernen, skalierbaren Lakehouse-Architekturen auf Databricks. Dies beinhaltet die Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemÀà der Zielarchitektur. Die Aufgabe erfordert sorgfÀltige Planung und sorgfÀltige Datenkonsistenz wÀhrend der Migration, um Business-KontinuitÀt zu gewÀhrleisten.