Senior Databricks Data Engineer

Chi è Sopra Steria Sopra Steria, leader europeo nel settore tecnologico con 51.000 dipendenti in 30 Paesi e un fatturato di 5,6 Mld € nel 2025, realizza per aziende private e organizzazioni pubbliche progetti di trasformazione strategica, grazie a competenze distintive di consulenza, system integration, sviluppo di soluzioni software, intelligenza artificiale e cybersecurity. Il Gruppo affianca i propri clienti nella generazione di valore sostenibile e risultati concreti, combinando la conoscenza delle tecnologie più innovative con la capacità di interpretare le esigenze di business dei diversi settori. In Italia è presente con 6 sedi a Milano, Roma, Parma, Padova, Ariano Irpino e Napoli. Con circa 1.200 collaboratori e un fatturato 2025 di 107 M€ è attivo nei settori dei Servizi Finanziari, della Pubblica Amministrazione, dell’Energia, delle Telecomunicazioni e dello Spazio. Nel settore privato si distingue per l’esperienza con il Retail e il Lusso, i Media e le aziende manufatturiere. Con questa esperienza trasversale contribuisce ad accelerare la trasformazione digitale del Paese attraverso innovazione, competenze specialistiche e un approccio centrato sulle persone. The world is how we shape it Sopra Steria (SOP) è quotata su Euronext Paris (Comparto A) – ISIN: FR0000050809. Scopri di più su www.soprasteria.com Ai fini dell’ampliamento del nostro centro di competenza dedicato alla Data Engineering e all'Advanced Analytics, siamo alla ricerca di un/una Senior Databricks Data Engineer  che operi come pilastro tecnico per la costruzione di architetture dati moderne. La risorsa garantirà la qualità dei processi di ingestione e trasformazione, promuovendo le best practice di sviluppo su ambienti Cloud (Azure/AWS/GCP) all'interno dei team di progetto. Sarai responsabile di progettare, sviluppare e implementare pipeline di dati scalabili e performanti, coordinando l'ottimizzazione dei carichi di lavoro in collaborazione con i Data Scientist e i Data Architect. In scenari complessi, guiderai il design dell'architettura Medallion (Bronze, Silver, Gold) e la gestione dei Delta Lake , risolvendo colli di bottiglia tecnici e garantendo la consegna di soluzioni robuste per il processamento di grandi volumi di dati (Batch e Streaming). In un contesto orientato all'innovazione tecnologica con un’impostazione Business Oriented , ti occuperai di: Sviluppo Pipeline ETL/ELT : Progettazione e implementazione di flussi di dati complessi utilizzando Apache Spark (PySpark, Spark SQL, Scala); Gestione del Data Lakehouse: Ottimizzazione delle tabelle Delta Lake e implementazione di logiche di partizionamento e indexing per massimizzare le performance di lettura/scrittura; Data Governance & Security: Configurazione della sicurezza e del controllo accessi ai dati tramite Unity Catalog , garantendo la conformità alle policy aziendali; Collaborazione Agile: Cooperazione con i Data Scientist per l'integrazione di modelli di Machine Learning (MLflow) e con i Power BI Developer per l'esposizione di set di dati ottimizzati (Gold Layer); Automazione e Monitoraggio: Implementazione di workflow tramite Databricks Jobs, integrazione con strumenti di CI/CD e monitoraggio della qualità del dato (Data Quality checks). Competenze richieste: Apache Spark Ecosistema Hadoop Programmazione Scala e Python Almeno 2 anni di esperienza su servizi e tecnologie del cloud Microsoft Azure, con competenze nella progettazione e gestione di architetture dati cloud‑native. Esperto nei processi di data ingestion sia batch che streaming, orientato alle performance e alla qualità del dato. — Published by Sopra Steria. Apply on the employer's own posting.