Fino a qualche tempo fa occuparsi dell’analisi dati in azienda voleva dire fare BI, e non era difficile trovare figure che si occupassero di questo. Nell’ultimo decennio, invece, l’analisi dati si è evoluta in modo esponenziale, si inizia a parlare di Data Science, Machine Learning, Intelligenza Artificiale, e allo stesso modo le professioni in questo ambito si sono moltiplicate e specializzate.
L’esplosione del volume dei dati digitali (i Big Data) costituisce infatti una grande opportunità per le aziende di ogni settore: grazie all’analisi sistematica dei dati raccolti si possono scovare informazioni nascoste molto utili per i ruoli decisionali per fare scelte consapevoli e in linea con le esigenze di mercato e per impostare di conseguenza le strategie di business.
Questo approccio ha portato in primis la nascita della professione del Data Scientist, una figura trasversale che ha il compito di fare analisi dati e focalizzare il suo tempo e attenzione sullo studio dei dati e sull’interpretazione delle analisi condotte. Con l’evoluzione degli strumenti, anche il ruolo del Data Scientist si è sviluppato e nel tempo è stato affiancato dal Data Engineer, una distinta figura professionale. Scopriamo meglio quali sono i compiti del Data Engineer e che differenza c’è tra il suo lavoro e quello del Data Scientist.
Chi è e cosa fa un Data Engineer
Un esempio pratico? Provate ad immaginare il Data Engineer come un postino: il suo compito sta nell’assicurarsi che il viaggio di ogni pacco o lettera, il dato, fili liscio, che ogni pacco giunga in tempi brevi ed integro dal mittente fino alla sua destinazione finale.
Il ruolo del Data Engineer nasce a supporto di quello del Data Scientist: è un esperto di pipeline ed ha il compito di progettare, costruire e mantenere i sistemi di gestione dei dati, e garantire quindi la bontà e qualità del flusso dati a partire dalle sorgenti fino alle piattaforme di Data Management. Il Data Engineer ha la responsabilità della fruibilità dei dati, del loro immagazzinamento, monitoraggio e integrità.
Per fare tutto ciò al Data Engineer sono richieste competenze molto tecniche ed avanzate che vanno ben oltre la sua specializzazione: sono infatti necessarie capacità in ambito architetturale per la gestione, pianificazione e implementazione di soluzioni avanzate per la gestione dei dati, competenze in ambito di business intelligence, fino anche a competenze vicine alla data science, quindi conoscenze di machine learning e programmazione. Si tratta di un ruolo trasversale e multidisciplinare, per cui non possono mancare flessibilità e creatività.
Fortunatamente, parallelamente alle evoluzioni in ambito analitico c’è stato anche un forte sviluppo tecnologico, inteso anche come tools a disposizione del Data Engineer in grado di supportarlo il delicato lavoro di Data Engineering.
La figura del Data Engineer non è in realtà un’ideazione così recente. L’espressione moderna può trarre in inganno, ma riflettendo meglio possiamo osservare che figure esperte e specializzate nella gestione dei flussi e conservazione dei dati sono in realtà presenti nelle aziende ormai da molto tempo. È altresì da osservare che però, finché non sono esplosi i big data e le advanced analytics, non è stato un ruolo così ricercato, mentre adesso è una delle professioni più ricercate. Questo perché la globalizzazione ha tra i suoi effetti anche l’aumento della concorrenza e competizione, e questo spinge le aziende ad ottimizzare i propri cicli produttivi e quindi dotarsi di personale qualificato.
Quanto guadagna un Data Engineer?
I dati (e i Big Data) sono ovunque, sono sempre più numerosi e di conseguenza diventano sempre più un asset aziendale, come tali devono essere gestiti in maniera sicura e proficua. Non è semplice quantificare lo stipendio di un Data Engineer, dipende da tanti fattori, ma quello che possiamo dire di certo è che quella del Data Engineer è una delle 5 professioni più ricercate (e più pagate) in ambito IT e Big Data assieme al Data Scientist, al Data Architect/DBA, al Data Analysti e al Security Engineer.
Come diventare Data Engineer
Come si passa da studente universitario a data engineer? Che titoli e competenze hanno i data engineer? A differenza di altri ruoli tecnici che prevedono un percorso accademico definito, per occuparsi di ingegneria dei dati la strada è meno tracciata. Ottimi data engineer provengono sia da percorsi affini, come ingegneria o informatica, sia da indirizzi diversi, come fisica, matematica, inglese. Questo perché sebbene il background culturale abbia un peso importante, la predisposizione, il talento e la curiosità che contraddistingue questo ruolo spesso possono provenire anche dall’esperienza. Per ottenerla, soprattutto quando si proviene da percorsi meno usuali, ci vuole tempo, ed è importante partire dal basso affiancati da mentori e datori di lavoro disposti ad investire risorse su qualcuno senza esperienza lavorativa. Situazione, certo, non facile da trovare.
Quali competenze hanno i Data Engineer?
Molto ad alto livello, il ruolo del data engineer è quello di guidare i dati nel loro percordo dal punto ad un’altro e, nel frattempo, modellarli in un formato che sia utile per gli analisti e i data scientist che dovranno successivamente lavorarci. Dal punto di vista delle competenze, ciò significa sostanzialmente essere ben specializzati nel processi ETL, nella parte di automazione (es Python), nella modellazione e manipolazione dei dati. È sicuramente utile inoltre avere conoscenze base di Data Science e Machine Learning, visto che il risultato del lavoro del data engineer può essere considerati l’inizio del lavoro del data scientist.
Tante competenze richieste, ma anche una gran varietà di strumenti a supporto: ad oggi ci sono più strumenti disponibili di quanti una singola persona possa padroneggiare in una vita! Ad esempio, SSIS, Azure Data Factory, Tableau, Informatica, Matillion , Fivetran , Snowflake, Redshift e Databricks, per citarne alcuni.
Data Engineer vs data scientist: le differenze
Se un tempo era il Data Engineer ad avere il compito di occuparsi dell’interpretazione dei dati, l’arrivo del Data Scientist ha mescolato le carte e i ruoli. Queste due figure professionali nel tempo quindi si sono “divise le responsabilità”, anche se rimangono comunque fortemente connesse.
Grazie a un’ingegneria dei dati innovativa, infatti, i data scientist sono adesso in grado di fornire informazioni approfondite e di grande valore per le aziende di tutti i settori. D’altro canto è da considerare che senza la giusta dotazione di software e strutture, i data scientist probabilmente darebbero differenti risposte ai bisogni del business poiché, costretti a dedicare ore e ore di lavoro ad analisi manuali ripetitive, diminuirebbe la loro disponibilità di risorse da dedicare alle analisi avanzate e quindi gli utenti finali potrebbero vivere esperienze sui dati incomplete, anzi, potenzialmente imprecise e quindi nocive se basate su dati poco puliti o non di qualità.
In comune hanno sicuramente il fatto di essere entrambe figure con una buona conoscenza in ambito statistico, matematico e di programmazione. Certo, mentre al Data Scientist è richiesta una buona padronanza delle dinamiche di business, il lavoro del Data Engineer si incentra sulla gestione infrastrutturale per la conservazione del dato.
Se ingegneri e scienziati dei dati sono strettamente legati nel loro lavoro in azienda, i loro ruoli e responsabilità sono molto differenti, anche in termini di competenze.
I Data Engineer si concentrano sulla fase di preparazione dei dati per la produzione, le loro responsabilità riguardano infatti la gestione a 360° dei dati che verranno utilizzati dai data scientist. Nel complesso, quindi si occupano soprattutto di tutto il processo a monte che sfocia nell’interfacciamento ai dati aziendali, la gestione della loro scalabilità, la loro sicurezza, qualità e, di conseguenza, il valore delle informazioni. Sono anche responsabili delle scelte tecnologiche a supporto dei processi aziendali e, per essere in gradodi scegliere la tecnologia più adatta al contesto aziendale e ai dati a disposizione, è buona norma infatti che gli ingegneri dei dati abbiano una conoscenza approfondita degli strumenti di archiviazione (database, data warehouse, data lake e quant’altro), di modellazione (strutture relazionali e non relazionali), trasformazione dei dati (processi ETL).
Dall’altro lato del processo ci sono i data scientist: il loro ruolo è quello di analizzare i dati preparati dagli ingegneri per estrarne informazioni preziose, dettagliate e approfondite. I data scientist sviluppano processi analitici complessi e sperimentano sui dati applicando algoritmi nel tentativo di far emergere informazioni inattese ed utili o, al contrario, problemi nascosti o opportunità di business latenti.
Categoria: DATA SCIENCE
Data Science Lifecycle, le 6 (+1) fasi del processo
La Data Science è un campo di studi interdisciplinare il cui obiettivo finale è estrarre informazione e conoscenza utili da… Leggi tutto
A cosa serve la Data Science?
L’analisi dei dati è in generale una materia molto ampia e con una storia che rimanda indietro di diversi anni… Leggi tutto
Churn Strategy: gli step per impostarla al meglio minimizzando il Churn Rate
Churn analysis e churn rate sono due concetti strettamente connessi: l’analisi degli abbandoni (churn analysis) è quella branca della Data… Leggi tutto