Per occuparsi di dati è necessario avvalersi sia delle competenze, sia degli strumenti adeguati. BNova da sempre è partner di Pentaho, la piattaforma open source enterprise di Business Intelligence e Data Integration semplice e completa che, grazie a tutti gli strumenti che offre, è la risposta alle esigenze sempre più specifiche delle aziende.
Oggi la suite Pentaho+ mette a disposizione degli utenti una serie di funzionalità aggiuntive anche per quanto riguarda Big Data, Agile BI, Advanced Business Analytics, quindi strumenti di ETL, reporting, analisi, dashboard. La gestione dei dati semplice ed intuitiva e gli strumenti visivi per permettere sviluppi “no code” sono da sempre caratteristiche che rendono PDI (Pentaho Data Integration) una delle ETL di riferimento con robuste capacità e una grande flessibilità.
L’evoluzione delle tecnologie, d’altra parte, non poteva passare inosservata ed è così che la suite Pentaho si allarga con funzionalità avanzate per il controllo e l’automazione dei flussi di dati su cloud per permettere alle aziende di sfruttare appieno le potenzialità del cloud computing. Per comprendere meglio le innovazioni introdotte è utile fare una panoramica e, perché no, un confronto con le versioni precedenti.
Una panoramica delle novità
Pentaho Data Integration, noto anche come Kettle, è uno strumento di ETL (Extract, Transform, Load) open source molto popolare grazie alla sua flessibilità e potenza. PDI si è sempre focalizzato sulla gestione dei flussi dati all’interno di ambienti on-premise, offrendo un’interfaccia grafica intuitiva per la progettazione dei processi ETL. Tuttavia, con la diffusione dell’adozione del cloud, le esigenze degli utenti sono cambiate: sono necessarie soluzioni che siano scalabili ed integrate con i servizi cloud offerti dai maggiori vendor (Amazon, Google, Microsoft). Da questo presupposto nasce la necessità anche per Pentaho di evolversi e andare su cloud. Vediamo quali sono le novità divise nelle 4 aree principali: scalabilità, integrazione, automazione e gestione.
Per scoprire di più su Pentaho+ e sugli esempi proposti guarda il webinar
“Prendere il controllo dei propri dati: dal on-premise al Cloud, l’evoluzione di Pentaho+“
Scalabilità e Prestazioni
Uno dei principali vantaggi di Pentaho portato su Cloud è la sua capacità di scalare automaticamente in base alle esigenze di carico. A differenza delle versioni precedenti del PDI, che richiedevano una configurazione manuale delle risorse, adesso Pentaho può aumentare o diminuire le risorse computazionali in base al volume di dati e alla complessità delle operazioni. Questo approccio elastico non solo migliora le prestazioni, ma ottimizza i costi, evitando sprechi di risorse.
Integrazione con i Servizi Cloud
Pentaho offre un’integrazione nativa con i principali servizi cloud, come Amazon Web Services (AWS), Google Cloud Platform (GCP) e Microsoft Azure. Questa integrazione facilita l’accesso ai dati archiviati in ambienti cloud, permettendo agli utenti di orchestrare flussi di dati tra diverse piattaforme senza la necessità di complessi bridge o connessioni manuali. Inoltre, il supporto nativo per i servizi cloud consente di sfruttare funzionalità avanzate come il data warehousing, l’analisi dei big data e l’intelligenza artificiale.
Automazione Avanzata
L’automazione è un altro importante punto di forza. Le vecchie versioni del PDI offrivano strumenti di automazione limitati, spesso richiedendo l’intervento manuale per configurare e monitorare i processi. Adesso è possibile definire workflow complessi con regole di automazione avanzate, riducendo drasticamente l’intervento umano. Ad esempio, è possibile impostare trigger event-based, ovvero basati su eventi specifici, come l’arrivo di nuovi dati o il completamento di un processo, per avviare automaticamente le operazioni successive.
Gestione e Monitoraggio Centralizzato
L’evoluzione di Pentaho riguarda anche la console di gestione centralizzata Pentaho Operations Mart, presente già dalla versione 5 e da sempre utile per monitorare, gestire e ottimizzare i flussi di dati e i processi ETL e offre una panoramica completa di tutti i flussi di dati in esecuzione. Nell’ultima versione, questo strumento permette inoltre di monitorare in tempo reale lo stato dei processi, identificare eventuali errori e intervenire rapidamente per risolverli. Questo supera la necessità delle versioni precedenti del PDI di doversi appoggiare a strumenti esterni a Pentaho per il monitoraggio e la gestione che rendeva difficile avere una visione d’insieme. Con la nuova console, tutte le informazioni sono disponibili in un unico luogo, migliorando così l’efficienza operativa e la reattività.
Come sfruttare le novità di Pentaho+
Le innovazioni introdotte aprono nuove possibilità per una vasta gamma di applicazioni aziendali. Ecco alcuni esempi di come le aziende possono sfruttare Pentaho su cloud:
Data Warehousing Moderno
Le aziende che utilizzano Data Warehouse possono beneficiare della scalabilità automatica e dell’integrazione nativa con i servizi cloud per gestire grandi volumi di dati e rispondere rapidamente alle esigenze analitiche.
Big Data e Analisi Avanzata
L’integrazione con servizi di Big Data e strumenti di analisi avanzata permette di eseguire analisi complesse e ottenere insights in tempo reale, migliorando la capacità decisionale.
Automazione dei Processi Aziendali
Grazie alle funzionalità di automazione avanzata, le aziende possono ridurre il carico di lavoro manuale e migliorare l’efficienza operativa, concentrando le risorse su attività a maggior valore aggiunto.
Conformità e Sicurezza
Sono inoltre offerti strumenti avanzati per garantire la sicurezza dei dati e la conformità alle normative, facilitando la gestione dei dati sensibili e assicurando che le operazioni siano conformi agli standard di settore.
Come avviene la migrazione dal “vecchio” al “nuovo”?
Un aspetto cruciale nell’adozione di nuove tecnologie è la compatibilità con le soluzioni esistenti. Pentaho è retrocompatibile con le vecchie versioni, consentendo una migrazione senza dover re-implementare flussi o procedure, quindi senza interruzioni. Gli utenti possono importare i loro progetti e continuarne lo sviluppo sfruttando le nuove funzionalità offerte dal Cloud Orchestrator. Questa compatibilità garantisce che le aziende possano adottare la nuova piattaforma senza dover riprogettare i loro flussi da zero, minimizzando così le latenze implementative e garantendo una continuità di servizio anche grazie al fatto che le “vecchie” licenze Pentaho sono utilizzabili anche su cloud.
Perché e come passare al cloud con Pentaho
Il fatto che adesso Pentaho permetta architetture cloud e ibride non implica che per tutte le realtà aziendali l’adozione di esse in blocco sia la scelta migliore: dipende dalla quantità di flussi ETL da lanciare, dalla loro frequenza, dalla quantità di dati che muovono e da molti altri aspetti che caratterizzano ogni singola realtà aziendale, non ultimo il livello di maturità di implementazione del cloud. Questo è uno specchio riassuntivo delle più comuni e consigliate configurazioni da valutare durante il disegno dell’architettura.
È importante tenere bene in considerazione ogni sfaccettatura quando si disegna una nuova architettura: non possiamo parlare in assoluto di configurazione “giusta” o “sbagliata”, piuttosto di una soluzione architetturale più o meno adatta al contesto, alle richieste e ai vincoli aziendali. Il ruolo di BNova come consulente ha proprio questo scopo: affiancare il cliente per cercare insieme la configurazione migliore dei servizi di Pentaho per ottimizzare i costi e le performance.
Ecco tre possibili scenari in cui si valuta quale sia la migliore architettura da implementare sulla base dei vincoli aziendali e della quantità e caratteristiche dei flussi ETL.
Primo scenario
La prima situazione che portiamo ad esempio prevede un ambiente in cui sono presenti pochi flussi ETL giornalieri che popolano un Data Warehouse, ognuno dei quali muove molti dati ed impiega diverse ore. La schedulazione dei flussi avviene con strumenti esterni a Pentaho e i file degli ETL si trovano su File System, senza uso di repository, nè strumenti di versionamento (es. Git). Il desiderata dell’azienda è un’architettura in grado di ridurre i costi utilizzando le risorse “pay-per-use“.
In questa situazione, dopo un’attenta valutazione, la configurazione che sembra essere la più adatta è quella “Batch Service”. Altri disegni architetturali con diverse combinazioni in cloud non sono di per sé “sbagliate” o non funzionanti, ma in questo contesto specifico la “Batch Service” sembra essere quella che soddisfa meglio i requisiti e porta i maggiori vantaggi con il miglior rapporto costi/benefici.
Secondo Scenario
Diversa è la situazione in questo secondo scenario: in questo contesto aziendale sono presenti numerosi flussi ETL, ognuno con differenti tempi di esecuzione e diverse necessità di risorse. L’avvio della maggior parte dei flussi è fisso e schedulato, ma un requisito mandatorio è quello di mantenere la possibilità di fare anche avvii manuali e avvii event-based, quindi flussi ETL che si avviano al verificarsi di un determinato evento, ciò comporta che i tempi di reazione e di avvio dei flussi siano rapidi perché la reazione del sistema agli eventi sia near real-time.
Una situazione di questo tipo porta sicuramente a scartare architetture “fisse” preferendo una soluzione più elastica rispetto alle risorse utilizzate che adatti le risorse stesse alle richieste, quindi sembra ottimale la soluzione che sfrutta Kubernetes con Pentaho Tray+Carte.
Terzo scenario
Un terzo scenario, ancora diverso, è il caso in cui sono presenti diversi flussi ETL avviati giornalmente, ma ci sono anche alcuni, pochi, flussi molto pesanti come risorse occupate e dati coinvolti che vengono avviati invece in modo più sporadico, ad esempio mensilmente. I file degli ETL sono su repository e lo scheduler utilizzato è quello interno di Pentaho.
In questo caso la soluzione vincente sembra essere quella che sfrutta le potenzialità e funzionalità di Pentaho Server.
Per scoprire di più su Pentaho+ e sugli esempi proposti guarda il webinar
“Prendere il controllo dei propri dati: dal on-premise al Cloud, l’evoluzione di Pentaho+“
Categoria: BUSINESS INTELLIGENCE
Quando il budget diventa un ordine: limiti e rimedi della pianificazione a senso unico
Quando un’azienda definisce un obiettivo di crescita, il rischio è ridurlo a un numero: un incremento del fatturato, un miglioramento… Leggi tutto
Marginalità analitica: la visibilità per prodotto che manca a molti CFO
Calcolare la marginalità, in teoria, è semplice: quanta parte dei ricavi resta davvero disponibile dopo aver coperto tutti i costi… Leggi tutto
Power BI in azienda: dashboard avanzate e casi d’uso reali
I dati non sono mai stati così accessibili, né così abbondanti come negli ultimi anni. Oggi le aziende hanno a disposizione molteplici strumenti per… Leggi tutto
