Highlights Pentaho Community Meeting – Funzionamento DFC Web Console
Il 24 Novembre abbiamo partecipato al Pentaho Community Meeting a Bologna. L’evento è stato un grande successo con oltre 280 partecipanti e siamo felici di aver dato il nostro contributo alla community presentando la nostra soluzione BNova DFC (Data Flow Console). Di seguito riportiamo gli highlights più significativi – a nostro avviso – della giornata ( a questo link troverete maggiori dettagli su tutti gli argomenti presentati durante il meeting ) e qualche informazione relativa alla nostra nuova soluzione sviluppata per il monitoraggio dei flussi PDI di Pentaho.
Pentaho e Hitachi Vantara
Dopo l’acquisizione di Pentaho, due anni fa da parte di Hitachi, alcuni utenti potrebbero ancora chiedersi che tipo di percorso stia intraprendendo Pentaho all’interno della nuova corporate. Hitachi Vantara sta cercando di colmare alcune lacune nel percorso di ricostruzione del data journey. Tutti gli utenti e sviluppatori Pentaho hanno lavorato su vari aspetti della pipeline relativi alla parte di Data Analytics e sono arrivati a coprire per lo più tutti i diversi tipi di casi e scenari in cui gli utenti si sono imbattuti. Pentaho copre interamente questo tipo di esigenze partendo dal recupero dei dati per arrivare all’individuazione degli insights.
I temi caldi presenti nella roadmap di Pentaho che sono stati presentati nella giornata del meeting sono:
- – Ecosystem integration
- – Edge to cloud processing
- – Streamlined data operations
- – Analytics and visualization
Si è parlato inoltre di tutte le nuove funzionalità di Pentaho 8.2. E’ interessante vedere come molti dei così detti “continuous improvement topics” siano stati risolti. Sono di solito le ottimizzazioni più piccole che rendono più semplice la vita di tutti i giorni degli utenti Pentaho. Al momento del rilascio (molto presto) sarà possibile prendere visione di tutte le nuove funzionalità sulla pagina del nostro sito
BNova – Pentaho e la Data Flow Web Console
Per presentarci alla platea internazionale del PCM non potevamo che scegliere Stefano Celati, veterano del mondo Pentaho ed uno dei maggiori esperti in ambito BI e Big Data del nostro team. Stefano lo scorso anno ha partecipato al Pentaho Excellence Awards ad Orlando dove siamo stati premiati per la categoria ROI … come avrete capito Stefano è il nostro front men internazionale 🙂 . Insieme a Stefano, Rolando Alberti, che si è occupato di sviluppare tutta la parte di front end della DFC. La “BNova DFC” è una web console di monitoraggio e gestione dei flussi ETL di Pentaho che avvisa automaticamente gli utenti in caso di blocchi, anomalie e malfunzionamenti. La console nasce dall’esigenza di avere uno strumento di monitoraggio dei flussi PDI in ambienti complessi dove ci siano molti processi ETL schedulati e con diverse fonti dati.
“Tutti noi che abbiamo avuto modo di utilizzare PDI abbiamo spesso dovuto confrontarci con situazioni in cui un certo flusso ETL non si era concluso positivamente, oppure aveva richiesto un tempo di esecuzione troppo lungo, o altre anomalie simili. L’attività di troubleshooting di tutte queste situazioni è spesso un lavoro oneroso e non banale, talvolta complicato ad esempio, dalle policy di sicurezza del cliente che impediscono l’accesso diretto al file system o alle tabelle di log del sistema dove vengono eseguiti i processi ETL.”
Così Stefano Celati spiega com’è nata l’dea della DFC, uno strumento web in grado di fornire una visione d’insieme dei processi ETL schedulati, sia in termini quantitativi (numero di processi pianificati, eseguiti, completati con successo o con errore) sia qualitativi (tempi/performance di esecuzione dei processi).
DFC è stata sviluppata come plugin Pentaho, andando ad ereditare tutte le funzionalità base della piattaforma -inclusi i C-Tools. Questo fa si che la console sia coerente con il resto della piattaforma, andando però ad inserire degli elementi grafici e funzionalità non presenti in essa.
DFC in sintesi …
- – Nativamente integrato con le funzionalità di Pentaho di scheduling e logging
- – Fornisce una visione d’insieme dei JOB e delle trasformazioni schedulate
- – Evidenzia anomalie e malfunzionamenti
- – Invia segnalazioni tramite email
- – Permette di creare un canale di dialogo constante con l’operatore attraverso un monitoraggio continuo di ogni tipo di processo. Oltre agli strumenti di dialogo classici la console è integrata anche con strumenti di instant messaging come telegram e WhatsApp.