Sono molto numerosi anche su questo blog gli articoli ed approfondimenti in cui si spiega come fare per impostare al meglio un modello analitico, si parla della fase di sperimentazione, dell’approccio metodologico Crisp, delle metriche che infine aiutano nella scelta del modello più adatto che rispetti i vincoli e le esigenze e che porti un reale valore aggiunto all’organizzazione.
Ma cosa succede ai modelli analitici una volta che vengono portati in produzione?
I progetti che riguardano i dati non possono mai considerarsi del tutto chiusi, questo a causa proprio della materia di cui si nutrono, i dati. Questi si evolvono in continuazione perché risentono di tutti i cambiamenti, tutte quelle evoluzioni che esprimono il modo in cui cambia l’ambiente circostante, cambia la percezione dei clienti e il mercato in genere. Questo è ciò che si intende con il termine Data Drift, la “deriva del dato”, sono evoluzioni del tutto naturali che però nella maggior parte dei casi non possono essere previste. A livello di modelli analitici questo provoca un calo delle performance, il modello diventa meno accurato rendendo così le previsioni meno affidabili. Questo in generale può succedere in modo più o meno importante o rapido a seconda della situazione, ciò però non è indice del fatto che un modello “sia fatto male” o “si sia rotto”, i modelli non si rompono e non smettono di funzionare. Quello che dobbiamo ricordare è che i modelli sono plasmati rispetto alla realtà che leggono nei dati disponibili al momento dell’addestramento, perciò se, anzi, quando i dati cambiano, i modelli non potranno più essere conformi alla “nuova” realtà come lo erano alla “vecchia”. Da questo punto di vista si parla Model Drift, di “deriva del modello”, un passaggio di evoluzione naturale di cui è importante conoscere l’esistenza per non farsi spaventare nel momento in cui si verifica. Non si può evitare, ma si può predisporre una serie di accorgimenti per affrontarlo nel modo migliore.
Perchè avvengono Data Drift e Model Drift
Il Model Drift, quindi il degrado più o meno rapido delle performance di un modello rilasciato in produzione è un accadimento del tutto naturale, ci aspettiamo succeda ma non possiamo prevedere quando accadrà. Questo perché il Model Drift è diretta conseguenza del Data Drift, ovvero delle evoluzioni e cambiamenti sui dati che non dipendono dall’azienda e quindi non sono prevedibili. Ne sono un esempio il cambio nelle abitudini di acquisto dei clienti, come ciò che accade al momento dell’uscita di nuovi prodotti o tecnologie, o anche semplicemente legati alla moda del momento, o mutamenti del mercato, ad esempio l’ingresso (o l’uscita) di competitor.
Queste variazioni a livello di dati comportano modifiche sostanziali sia nella distribuzione degli input (i nuovi dati che arrivano avranno una forma, frequenza, distribuzione diversa rispetto a prima), sia nella relazione tra questi nuovi dati in input e il “target”, ossia la previsione che il modello deve calcolare.
Questo processo di degrado non è possibile da evitare, ma intercettarlo per tempo permette alle organizzazioni di correre ai ripari in tempi utili, quindi evitare che il degrado delle perfomance si rifletta negativamente nel suo essere data driven.
Perchè è importante monitorare il Model Drift
Affidarsi ad un modello analitico per le decisioni aziendali aiuta le aziende a prendere decisioni obiettive e guidate dai dati. Farlo “ciecamente” però, senza tenere monitorate le performance può portare all’effetto contrario perchè, come già detto, i dati cambiano e si evolvono nel tempo andando a descrivere realtà sempre diverse e in evoluzione; se i modelli rimangono indietro e non seguono questo flusso evolutivo rischiano di dare previsioni sbagliate e di portare, quindi, anche a fare scelte non ottimali. Per questo è importante monitorare costantemente le variazioni sui dati e, di conseguenza, il degrado delle perfomance dei modelli in produzione e reagire in tempo per:
- – Mantenere l’accuratezza delle previsioni
Monitorare il model drift aiuta a identificare quando un modello sta perdendo precisione, permettendo di intervenire tempestivamente per aggiornarlo, riaddestrarlo o agire diversamente con lo scopo di mantenere in produzione un modello accurato ed efficiente.
- – Prevenire decisioni errate
Il Model Drift consiste nella “deriva” delle performance del modello, quindi identificarlo per tempo permette di agire tempestivamente per evitare che le decisioni aziendali siano prese sulla base di previsioni errate o poco accurate.
- – Adattarsi ai cambiamenti
Riconoscere il Model Drift permette di assicurare che il modello rimanga rilevante nonostante le evoluzioni nei dati e nel contesto operativo, ma in modo indiretto è anche indicatore, appunto, che c’è un’evoluzione nei dati, quindi che qualcosa di importante è cambiato nell’organizzazione o nel mercato, una sorte di cartina tornasole del Data Drift che può essere utile per evidenziare l’efficacia di azioni intraprese. Questo permette ai decisori in primis di accorgersi del cambiamento, ed anche di continuare a prendere decisioni data driven rispettando gli effetti dei cambiamenti.
Quali strumenti usare per monitorare il Model Drift
Si può monitorare il Model Drift con strumenti più o meno sofisticati e precisi. In questo articolo Bnova propone la funzionalità che Dataiku ha messo a punto proprio a questo scopo: Dataiku mette a disposizione degli utenti una serie di funzionalità ascrivibili alla metodologia MLOPS, ossia quell’insieme di pratiche che mirano allo sviluppo e manutenzione dei modelli di apprendimento automatico in produzione in modo affidabile ed efficiente.
In fase di training del modello già vengono fornite una serie di metriche di valutazione, sono quelle che guidano nella selezione del modello migliore tra tutti quelli sperimentati. Quando si verifica il Model Drift però queste perfomance vanno calando nel tempo, e Dataiku viene incontro a questa situazione con uno strumento di monitoring costante delle performance del modello, non più calcolate sul test set usato inizialmente in fase di sperimentazione, ma su dati più freschi, relativi ad un periodo più recente e quindi più descrittivi delle variazioni ambientali.
Dataiku prevede 2 recipe grafiche che di occupano proprio di tutto questo: Evaluation Recipe e Model Evaluation Store, presenti in coda alle sperimentazioni nel flusso esemplificativo di seguito.
L’Evaluation Recipe prende in input il modello da monitorare e un nuovo dataset recente e, ad ogni iterazione, va a storicizzare la nuova valutazione delle performance grazie al successivo passo Model Evaluation Store.
Accedere a quest’ultimo passo dà la possibilità non solo di vedere le attuali performance del modello, ma anche di poterne verificare l’andamento nel tempo a partire dal momento della messa in produzione.
Se sono assolutamente naturali piccole variazioni in positivo o in negativo, sono invece da tenere sotto controllo variazioni più importanti perchè possono essere un primo segnale di Model Drift ed anche di Data Drift.
Per analizzare poi più nel dettaglio ogni singola valutazione Dataiku permette, selezionandola, di vederne le peculiarità, soprattutto nella sezione dedicata, appunto, al Model e Data Drift, siddivisa in 3 sottosezioni:
- – Input Data Drift: possiamo qui confrontare i dataset usati per la valutazione. Per ogni input possiamo osservare come è variata nel tempo la distribuzione dei valori che assume. Questo è un indicatore importante del fatto che i dati stiano cambiando: quando le variazioni sui dati sono maggiori, nelle sezioni successive ci aspettiamo di rilevare cambiamenti importanti.
- – Prediction Drift: questa sezione è dedicata al Model Drift. Qui è possibile confrontare lo scostamento in termini percentuali tra le performance delle predizioni in fase di training del modello e quelle correnti. Questi confronti vanno osservati con attenzione: sono degni di nota non solo i “cali drastici” delle performance, ma al contrario anche eccessivi miglioramenti perché possono indicare un problema di natura opposta, ovvero che il modello tende a restituire sempre la stessa previsione, quella che percentualmente è più probabile.
- – Performance Drift: qui è possibile confrontare in modo puntuale tutte le (numerose) metriche di performance del modello. Ognuna di esse ha un suo significato e riferisce ad un particolare aspetto del modello, quindi non necessariamente tutte dovranno sempre avere valori alti o crescenti, ma è importante monitorare, se non altro, la metrica che al momento dell’analisi e della successiva messa in produzione è stata selezionata come quella trainante, sia essa Accuracy, Precision, Recall o qualunque altra.
Per conoscere meglio Dataiku e le sue funzionalità relativo al monitoring del Modelo drift abbiamo fatto un webinar a quattro mani con gli esperti di Dataiku.
Come reagire in caso di Model Drift?
Quando ci si accorge di avvicinarsi ad una situazione di Model Drift è importante reagire in modo tempestivo, gli strumenti di monitoring come Dataiku servono proprio a questo: minimizzare i tempi di rilevazione del Data Drift e del conseguente Model Drift permettendo una reazione rapida. Ma quale reazione? Dipende da molti fattori. Sicuramente c’è da agire sul modello: a volte può essere sufficiente addestrare lo stesso modello su nuovi dati, altre volte invece le variazioni sono tanto importanti da richiedere delle nuove sperimentazioni. Avvalersi di esperti del settore sicuramente è il primo passo da fare non solo per diventare Data Driven, ma anche per poterlo rimanere senza la paura del Data Drift.
Contattaci per condividere con noi le tue necessità, ti aiuteremo a trovare la soluzione più adatta a te.
Categoria: DATA SCIENCE
Data Storytelling: cos’è, perché serve e best practice
Organizzazioni pubbliche e private producono e raccolgono quantità sempre maggiori di informazioni, ma la loro semplice accumulazione non garantisce automaticamente… Leggi tutto
Data Lakehouse: cos’è, come funziona e tutti i vantaggi
I dati non rappresentano semplicemente una risorsa, bensì l'epicentro strategico per l'innovazione e il vantaggio competitivo. La capacità di raccogliere,… Leggi tutto
Embedded analytics: cos’è, vantaggi, integrazioni
L'evoluzione del panorama digitale contemporaneo ha determinato una trasformazione radicale nelle modalità di fruizione e analisi dei dati aziendali. Gli… Leggi tutto