Oggi più che mai i dati aziendali rappresentano un vero e proprio asset, un capitale, un importante fattore economico per le aziende di ogni dimensione e settore.
Così come qualche anno fa un’azienda automotive non poteva pensare di produrre il nuovo modello di auto senza i necessari pezzi, macchinari e fondi, allo stesso modo la stessa azienda oggi per rendere le proprie auto a guida autonoma, non potrà prescindere dall’uso dei dati e degli algoritmi adatti.
In generale, se fino a qualche anno fa le pianificazioni strategiche, produttive e logistiche si basavano solo sull’esperienza pregressa delle aziende e delle singole persone, oggi a tutto questo si aggiungono nuove esigenze, e di conseguenza nuove soluzioni e prospettive. Il mercato è sempre più dinamico e competitivo, e l’esperienza passata delle aziende non è più sufficiente da sola: si afferma la necessità di imparare a conoscere i propri clienti da un punto di vista diverso, scoprire in anticipo i loro bisogni, prevenire le loro richieste per farsi trovare sempre pronti ed efficienti. Per poter fare tutto ciò è fondamentale osservare ed analizzare il loro comportamento nei confronti dell’azienda e del mercato. Ai dati è quindi assegnato un nuovo ruolo, decisamente centrale ed impattante sulla strategia competitiva delle aziende e sul futuro stesso dell’informatica. Entriamo nella sfera dell’analisi dati, del Machine Learning, del monitoring real-time e della manutenzione predittiva che con sempre maggior forza entrano a far parte delle realtà aziendali spingendole verso una svolta digitale, verso strategie data driven e andando di conseguenza anche ad influire sulla cultura aziendale del dato.
Abbiamo già toccato questi argomenti sul nostro blog, sia dal punto di vista tecnologico in un articolo sui tool e gli strumenti che fanno parte della “cassetta degli attrezzi” del Data Scientist, sia dal punto di vista business proponendo una metodologia per introdurre in azienda questo tipo di progetti, ma ci sono ancora delle domande senza risposta: adesso abbiamo consapevolezza del valore aggiunto che questo tipo di progetti può portare in azienda, sappiamo come individuare da quale progetto cominciare per ottenere il massimo risultato e siamo in grado di valutare una serie di tool e strumenti tecnologici scegliendo quelli più adatti al nostro caso. Adesso ci servono i dati e ci serve poterli gestire in modo adeguato per ottenere i migliori risultati possibili.
La risposta a tutto ciò sta nel Data Management. Grazie all’impostazione del corretto Data Management, infatti, le aziende saranno in grado di raccogliere, conservare e infine utilizzare i propri dati in modo sicuro, efficiente ed efficace, gestirne il ciclo di vita a 360 gradi, dalla loro produzione all’analisi e all’uso degli stessi consentendo così a tutti i lavoratori di ottimizzare la propria attività prendendo le decisioni di propria competenza in modo ragionato e consapevole. Il Data Management inoltre aiuta a mantenere il rispetto di policy e regolamenti (come il GDPR). Come si può immaginare, per poter fare tutto ciò sono moltissime non solo le policy da rispettare, ma anche le attività, procedure e pratiche da gestire a diversi livelli. Questa complessità può essere però semplificata per le aziende grazie alle tecnologie e ai tool che si occupano di Data Management.
Cos’è il data management
Il data management è, in generale, l’insieme di tutte le attività associate alla gestione e alla governance dei dati aziendali. La DAMA – Data Management Association, organizzazione internazionale di settore, definisce il Data Management in vari modi: “lo sviluppo e l’esecuzione di architetture, policy, pratiche e procedure che gestiscono correttamente le esigenze dell’intero ciclo di vita dei dati di un’azienda” o anche “la pianificazione, l’esecuzione e la supervisione di policy, pratiche e progetti che acquisiscono, controllano, proteggono, consegnano e aumentano il valore dei dati e delle risorse informative“. In entrambi i casi emerge chiaramente come il Data Management sia fondamentale per garantire qualità e integrità dei dati aziendali, e sia quindi funzionale per poter avviare e ricavare vantaggio competitivo da progetti di Data Science e Machine Learning.
L’attenzione attualmente riposta su queste attività è significativa: i dati aziendali sono una risorsa preziosa per sbloccare tutto il potenziale di un’organizzazione. È logico che si cerchi il modo di gestirli al meglio, ma non dobbiamo dimenticare che farlo richiede una data strategy adatta e metodi affidabili per accedere, integrare, pulire, governare, archiviare e preparare i dati per le analisi. I dati, infatti, oggi provengono dalle fonti più diverse, non solo i database aziendali transazionali e no, ma anche le informazioni dei processi produttivi e logistici, sensori, dispositivi smart, social media, immagini, foto, video, etc. Il valore di questi dati non si basa soltanto sulla loro origine, ma dipende da come vengono tra loro integrati e analizzati, da ciò che si fa con essi e dal valore aggiunto che, di conseguenza, se ne riesce a ricavare.
Un po’ di storia
Il Data management come lo conosciamo oggi è una pratica nuova, ma la necessità di gestire le informazioni ha radici molto più indietro nel tempo. Si potrebbe iniziare addirittura parlando delle schede perforate (1890), schede di cartoncino che registravano informazioni codificate attraverso, appunto, perforazioni meccaniche. Si inizia però a parlare di Data Management solo attorno agli anni ’60, quando l’ADPSO (Associazione delle organizzazioni dei servizi di elaborazione dati) ha iniziato a rivolgersi ai professionisti dando loro consulenza in materia di gestione dei dati. Qualcosa di simile ai sistemi che oggi conosciamo ed utilizziamo inizia ad essere comune poco dopo, quando negli anni ‘70 si inizia a parlare di report per le operazioni commerciali con informazioni estratte dalle basi di dati aziendali (relazionali, ma anche i primi esempi di data warehousing).
Nel tempo è aumentata la complessità delle azioni necessarie per gestire i dati, sempre più numerosi ed eterogenei, e ad oggi prendersi in carico i propri dati richiede un’ampia gamma di concetti, tecnologie e processi.
Domande e sfide nella gestione dei dati
La maggior parte delle problematiche legate al Data Management riguardano il ritmo sempre più rapido delle attività e dalla generazione di dati. La varietà, la velocità e il volume di creazione, infatti, spingono le aziende a cercare soluzioni di gestione sempre più performanti.
Dal punto di vista delle aziende le domande che più spesso ci vengono poste riguardano proprio dati e performance:
- Non conosco i miei dati. Non so quanti sono, dove sono, né che formato hanno
Sembra strano, ma in realtà è una problematica molto comune! Sono infatti sempre più numerose le sorgenti dati, per esempio dispositivi intelligenti, social media e videocamere, etc. Questi dati vengono raccolti e archiviati, ma spesso l’organizzazione non sa di averli a disposizione.
- Devo mantenere alte le performance, anche se i dati continuano ad aumentare
Per garantire tempi di risposta ottimali nonostante un tale livello di espansione, le aziende devono costantemente monitorare non solo i dati, ma anche l’uso che se ne fa: se cambiano le esigenze e le domande che gli utenti chiedono al sistema allora è importante che anche il sistema stesso di evolva.
- Devo soddisfare i requisiti di compliance in costante cambiamento
Le normative di compliance cambiano molto spesso e le aziende devono essere in grado di adempiere in tempi brevi. Per farlo devono poter analizzare i dati velocemente e con facilità, nonché identificare gli elementi che non soddisfano i requisiti e correggerli tempestivamente.
- Non capisco come usare i miei dati in modo diverso da come faccio adesso
…e questo è il focus del lavoro del buon consulente business e analista! Il valore aggiunto che i dati possono portare all’azienda infatti è grandissimo, ma è funzionale ad una corretta e adatta analisi degli stessi. La raccolta dati è fondamentale, ma da sola non fornisce alcun valore aggiunto.
D’altro canto anche dal punto di vista opposto, quello del consulente, sono diverse le sfide che ci si trova ad affrontare per fare bene Data Management:
- Data Quality
È fondamentale garantire la qualità dei dati gestiti, perché dati obsoleti o inaffidabili portano a errori e passi falsi. La quantità e complessità dei dati disponibili oggi non permette alle aziende di fidarsi della qualità dei loro dati, se non dopo la loro validazione da parte di processi di Data Management.
- Data Governance
Gestire l’attuale eterogeneità e quantità di dati a disposizione delle aziende, richiede anche una riflessione a livello di governance. Ci sono decisioni da prendere, approcci da seguire per garantire che la raccolta, gestione e archiviazione dei dati, consenta costantemente all’azienda di rimanere al passo con il mercato e con l’evoluzione delle tecnologie e delle normative.
- Strategie basate sui dati e sulle analisi
Per applicare strategie data driven è fondamentale potersi fidare dei propri dati, quindi assicurarsi che le informazioni, su cui si basano le decisioni, siano affidabili. Il Data Management deve garantire questo aspetto.
- Analisi self-service
Molti dei report sono comuni, già preparati e pronti perché gli utenti debbano solo consultarli, ma sono anche tante le situazioni in cui sarebbe utile poter fare analisi specifiche. Preparare i dati anche per questo tipo di interrogazioni è importante per garantire la fattibilità delle analisi self-service, indipendenti dall’IT.
Perché oggi è così importante
L’importanza del Data Management è tanto crescente quanto aumenta l’eterogeneità e la quantità dei dati aziendali.
- Risparmiare tempo prezioso
I tool di Data Management mettono a disposizione driver e connettori per rendere la capacità di accedere e di recuperare informazioni da qualsiasi fonte, ovunque esse siano memorizzate, più facile ed efficiente. Una buona tecnologia di accesso ai dati consente di estrarre informazioni utili, da qualsiasi tipo di data storage, col vantaggio di poter risparmiare tempo prezioso da dedicare alle fasi di analisi.
- Rispondere alle domande di business in autonomia
Le operazioni di ETL e di Data integration, ovvero quei processi di trasformazione dei dati che li combina per ottenere risultati unificati, sono fondamentali per integrare i dati e creare combinazioni “miste”, utili per prendere decisioni e rispondere alle domande di business che non si saprebbe risolvere osservando una sola fonte dati. L’importanza delle operazioni di trasformazione dei dati, inoltre, è funzionale anche alle interfacce self-service, ormai di larga diffusione, tramite le quali gli utenti, anche non tecnoci, possono accedere e manipolare i dati di cui hanno bisogno con una formazione minima e senza chiedere aiuto all’IT.
- Evitare errori decisionali dovuti a dati “sbagliati”
“Raccogliere” dati in modo acritico, senza osservarli per verificarne la bontà rischia di creare il problema di “garbage in, garbage out”, quindi di fare poca fatica inizialmente, ma di ottenere un risultato “spazzatura”, non solo non utile, ma potenzialmente dannoso perché rischia di portare il decisore a seguire una cattiva strada. È necessario gestire i dati in ingresso. Con l’aumentare dei volumi e delle tipologie di dati, questa necessità di elaborare i dati in tempo reale è notevolmente aumentata, tanto da diventare una priorità assoluta per il successo del business.
- Controllo dei dati e del rispetto delle normative
Il riferimento alla Data Governance è chiaro. La necessità di rispettare policy e normative (come GDPR) è ormai diffusa su tutti i settori e il Data Management aiuta le aziende perché permette di avere controllo completo sui dati anche nel loro uso da parte delle diverse figure aziendali.
- Promuovere la collaborazione
Fissare la terminologia corretta (Business Glossary), il significato dei dati, tracciarne l’origine (Data Lineage) e tutti i percorsi analitici in cui sono usati è importante per individuare l’effetti di modifiche e correzioni sui dati in modo che, quando vengono segnalati potenziali problemi sui dati, sia possibile affrontarli prima che causino problemi più gravi. Inoltre questi strumenti aiutano a promuovere la collaborazione e ad allineare tutti i reparti, dalla produzione, al business, all’IT.
Chi deve fare data management
Il Data Management alimenta i processi di successo di ogni azienda, a prescindere dalle dimensioni o dal settore industriale. La consapevolezza dei dati permette di infatti di cogliere aspetti che ad occhio nudo sarebbero rimasti nascosti permettendo quindi di intercettare più opportunità, porre più domande, risolvere più problemi. Ecco qualche esempio:
Settore Retail
Comprendere i clienti e rispondere in modo appropriato alle richieste ed aspettative richiede una visione accurata e aggiornata di tutti i dati. Dal marketing alla produzione fino alla vendita, un data management affidabile è essenziale per impostare in modo adeguato le strategie. Ci siamo occupati dell’importanza delle analytics in ambito retail presentando Niky Analytics, la piattaforma di BNova per l’analisi dei dati dei clienti.
Settore Manifatturiero
In ambito manifatturiero ed industriale, nulla parla di successo come l’efficienza e la qualità. Un buon approccio al Data Management è il punto di partenza sia per operazioni come la gestione del magazzino o della logistica, sia per processi di ottimizzazione più radicali, progetti di monitoring e IoT volti ad ottenere risultati migliori e prendere decisioni aziendali consapevoli.
Settore Bancario
Le questioni relative alla data privacy, alla conformità e alla digitalizzazione sono più che mai interesse delle banche e richiedono di disporre di una base dati affidabile. Solo con visione completa, integrata e di qualità di tutti i dati può affacciarsi alla governance e alla protezione dei dati personali e conquistare la fiducia dei clienti.
Health Care
Per garantire qualità del servizio sanitario è fondamentale contare sulla possibilità di integrazione tra dati provenienti dalle diverse fonti, pubbliche e private, così da avere un quadro completo per ogni individuo, gestire eventuali dati duplicati, garantire data quality e, soprattutto, rispettare i rigidi requisiti normativi di conformità alle policy per la protezione dei dati personali e sensibili.
Pubblica Amministrazione
Le istituzioni governative locali e nazionali devono garantire servizi e programmi ai cittadini. Il supporto di tecnologie affidabili di data management aiuta moltissimo, ad esempio nella lotta alle frodi, oppure per ottimizzare le procedure, garantire la sicurezza dei cittadini e lo sviluppo economico, oltre che sostenere le iniziative delle smart city.
Strumenti e software
Le attività che compongono il Data Management sono molte e gli strumenti a disposizione sono, in generale, ancor più numerosi; ognuno però ha caratteristiche specifiche che lo rendono adatto ad alcune realtà piuttosto che ad altre. Ecco un esempio delle soluzioni che più spesso abbiamo visto adattarsi bene alle realtà aziendali:
Vertica: database NoSQL Analitico colonnare, nato per gestire grandi volumi di dati e mantenere alte prestazioni. Vertica offre alta disponibilità e scalabilità, inoltre supporta architetture cloud e, non ultimo, si affaccia alla Data Science e delle Advanced Analytics grazie a VerticaPy, una libreria Python specifica per condurre progetti di Data Science direttamente all’interno del database.
Dataiku: piattaforma collaborativa di Data Science per lo sviluppo di progetti di Machine Lerning e AI a 360 gradi, dall’attività di integrazione delle fonti fino all’analisi avanzata e alla data visualization, il tutto in modalità code-less grazie all’interfaccia grafica semplice ed intuitiva.
Denodo: una piattaforma di Data Virtualizattion che offre un’unica piattaforma logica di accesso a tutti i dati aziendali, astraendo dalla complessità e limiti di accesso, ed integrando i dati dalle diverse fonti senza creare duplicaioni.
erwin: la piattaforma di Data Governance completa per gestire i dati e i processi necessari per garantirne disponibilità, usabilità, coerenza, integrità, standardizzazione, condivisione e sicurezza.
Alcune best practice
Il Data Management è una disciplina ampia composta da diverse attività di gestione dei dati corrispondenti a diverse necessità e step di progetto. Per affrontare le sfide che ognuna comporta è utile il supporto di una serie di best practice; certo, non sono da prendersi come verità assolute, la soluzione ad ogni problema dipende da molti fattori, ma di sicuro sono da prendersi come spunti per impostare l’attività stessa in modo adeguato.
Ad esempio è buona norma iniziare con la fase di Data Exploration e Data Discovery, perché la consapevolezza dei dati a disposizione da gestire consente agli analisti e ai Data Scientist di individuare i tool migliori, le tecnologie più adatte al caso e individuare i set di dati realmente utili per l’azienda. Questa fase è fondamentale anche per esaminare i dati ed identificare le catene di connessione che devono essere rilevate e monitorate perché, all’aumentare delle richieste di compliance a livello globale, questa capacità sarà sempre più importante per i funzionari addetti al rischio e alla sicurezza.
Database, data warehouse, data lake… A seconda dei casi può essere utile una specifica modalità di archiviazione piuttosto che un’altra. I fattori da cui dipende questa scelta sono molteplici e dipendono sia dai dati (quantità, fonti, eterogeneità, granularità, etc) sia dalle esigenze finali e, di conseguenza, anche tutte le trasformazioni e analisi che dovranno essere applicate. In questo senso la best practice è sicuramente quella di evitare di farsi trasportare dalla “moda del momento” in termini tecnologici, ma piuttosto affidarsi a consulenti esperti in grado di analizzare bene la situazione aziendale e suggerire la tecnologia migliore. Le operazioni sui dati, infatti, dovranno nel tempo essere eseguite spesso, le interrogazioni saranno sempre più numerose e complesse, e i database, di qualunque tipo siano, dovranno mantenere tempi di risposta rapidi, per cui i sistemi dovranno essere in grado di aggiornarsi, in una parola devono poter diventare autonomi, per questo è sempre bene fare scelte con un occhio verso il lungo termine.
Inoltre, in ottica Data Science ed Advanced Analytics, è considerata una best practice la selezione di un ambiente di Data Science adatto che permetta di automatizzare il più possibile l’attività di preparazione dei dati, così da semplificare anche la successiva creazione e valutazione dei modelli analitici. La scelta di strumenti performanti e semplici da usare, anche se inizialmente può sembrare poco impattante, in realtà è la chiave di volta per permettere ai processi di avere vita autonoma: si riesce infatti a minimizzare la necessità di interventi manuali sui dati e quindi accelerare lo sviluppo di nuove ipotesi e la sperimentazione di nuovi modelli.
Categoria: ANALYTICS
Data lake vs data warehouse: le differenze e quale scegliere
Nell’era del digitale le organizzazioni collezionano dati provenienti da varie sorgenti, con una quantità ed una varietà che vanno ben… Leggi tutto
Data Lake: cos’è e quando utilizzarlo per l’archiviazione
La trasformazione digitale sta progressivamente aumentando il volume dei dati con cui le aziende si interfacciano ormai in tempo reale… Leggi tutto
Profilazione clienti: cos’è e come farla efficacemente
[et_pb_section][et_pb_row][et_pb_column type="4_4"][et_pb_text] Quando si chiede ad un imprenditore quali siano gli aspetti del business che vorrebbe migliorare, molto spesso si… Leggi tutto