Come unire integrazione e governance per avere controllo pieno sui dati?
Questa è una domanda centrale che le aziende si pongono soprattutto negli ultimi tempi: ambienti volatili, frequenti cyber attacchi e richiesta di compliance normative stringenti stanno rendendo sempre più difficile mantenere il controllo del proprio patrimonio informativo, ecco il motivo per cui c’è un crescente interesse verso il tema della data governance e gli strumenti che nelle aziende si occupano di gestirla.
A questa esigenza Hitachi risponde con due strumenti della sua suite Pentaho: Pentaho 11 e Pentaho Data Catalog, strumenti distinti, ma che condividono DNA, architettura e filosofia: sono “fratelli” che, se usati in modo sinergico, permettono di chiudere il cerchio tra integrazione, governance e controllo dei dati.
L’integrazione tra i due, infatti, è semplice e nativa perché parlano la stessa lingua, ma soprattutto è basata su standard aperti come OpenLineage, che li rende compatibili non solo tra loro, ma anche con altri strumenti di data pipeline.
Due prodotti, un’unica piattaforma modulare
Pentaho 11 per un’integrazione solida e robusta
Pentaho Server, PDI, PBA, sono strumenti ben noti nella comunità tecnica. Da sempre Pentaho infatti è un motore di integrazione dati solito, stabile e robusto che permette di creare e schedulare flussi ETL, fare data orchestration, impostare pipeline batch.
L’ultima release Pentaho11 rappresenta un’evoluzione significativa, non solo grafica. Cambia l’approccio generale della piattaforma, si passa da tanti e diversi tool desktop (Spoon, Schema Workbench, Source Wizard, ..) ad una console unica, web e collaborativa in cui tutte le figure, più o meno tecniche, ritrovano le funzionalità storiche di Pentaho Server e ne usufruiscono da browser, senza necessità di istallazioni specifiche. Questo approccio si riflette in generale sul modo di gestire ogni asset, dalle connessioni ai data source centralizzate, alla gestione unificata dei plugin.
Quali vantaggi porta questo cambio di approccio?
Avere un unico punto di accesso per le attività “tecniche” di data integration e per quelle “business” legate alle analytics, offre maggior flessibilità e controllo sui processi aziendali.
Inoltre la gestione centralizzata delle connessioni ai data source e dei plugin semplifica non solo l’uso di entrambi nei nuovi flussi e progetti, ma anche la manutenzione, ad esempio riguardo l’aggiornamento dei plugin.
Anche l’infrastruttura risulta più controllata e semplificata grazie al fatto che non sono più necessarie le numerose installazioni client (da fare e da mantenere): l’ambiente di lavoro da gestire è solo uno, unico e centralizzato.
Pentaho Data Catalog per governare e controllare i tuoi dati
Partire da una base dati solida è fondamentale, e lo è altrettanto riuscire a governarla, mantenerla e controllarla. Di fronte a domande come:
- – Come si valuta l’impatto di una modifica in un data source su dati, report e applicazioni che lo coinvolgono?
- – Come si verifica che a cascata questa modifica non abbia reso incoerenti dati e report?
è importante rispondere in modo tempestivo, oggi più che mai.
Questo è il contributo di Pentaho Data Catalog (PDC), il modulo di governance che fornisce in un unico punto glossario aziendale, data lineage, gestione delle policy, analisi degli impatti e varie altre funzionalità utili a mantenere il controllo sul proprio patrimonio informativo. PDC è un inventario unico e centralizzato degli asset aziendali (dataset, termini di business, policy, report, applicazioni, etc..) e delle relazioni che li collegano. Grazie alle varie funzionalità disponibili permette il discovery automatico delle fonti, il monitoraggio delle modifiche sugli asset, la possibilità di osservare le relazioni e il lineage graficamente: in pochi click e in modo semplice ed intuitivo è possibile fare ricerche avanzate ed impact analysis.
Il tema del lineage in Pentaho Data Catalog viene affrontato con un approccio moderno: il valore aggiunto sta nella scelta di non usare protocolli chiusi e proprietari, ma parlare la lingua di OpenLineage, uno standard aperto per la raccolta e l’analisi del lineage dei dati che permette di mappare potenzialmente tutto l’ecosistema aziendale, senza vincoli sul fornitore ed evitando così il vendor lock-in.
Quali vantaggi si ottengono con Pentaho Data Catalog?
Business glossary, policy, lineage, tutti gli asset e le loro relazioni sono mappate in un unico ambiente condiviso, quindi se qualcuno vuole capire il significato di un business term o di un KPI può semplicemente chiedere a Data Catalog, al suo interno è mappato tutto, lui sa “tutto di tutti”.
È anche in grado di monitorare l’adesione alle metadata rules, quindi ad esempio monitorare periodicamente e in modo attivo la struttura delle sorgenti o la forma di altri asset segnalando a chi di competenza l’eventuale incoerenza, per reagire in anticipo senza farsi cogliere impreparati.
Inoltre l’adesione a OpenLineage permette a PDC di diventare il fulcro centrale del lineage di tutto l’ecosistema azienda, a prescindere dal fornitore, che siano flussi di PDI o informazioni provenienti da altri tool. Tutto in un’unica schermata.
Il valore aggiunto della suite Pentaho
Pentaho 11 e Data Catalog, per quanto prodotti distinti, sono fratelli: condividono la stessa origine, gli stessi principi, sono parte della stessa suite, ma hanno scopi e caratteristiche che li distinguono, rendendoli tra loro complementari.
“Fratelli” di lineage
I dati di lineage, prodotti da PDI e consumati da PDC, rappresentano il punto di collegamento tra questi due strumenti: ciò che Pentaho 11 costruisce e trasforma, Data Catalog lo documenta, lo traccia e lo rende comprensibile e visibile in modo automatico.
L’appartenenza alla stessa famiglia semplifica le attività di configurazione e rende le comunicazioni semplici e rapide. D’altra parte secondo noi il valore aggiunto di PDC sta nella scelta di usare OpenLineage invece di un protocollo proprietario: in questo modo PDC può ricevere informazioni di tracciamento non solo da PDI, ma da qualunque tool parli OpenLineage.
Questo mette PDC in una posizione molto privilegiata sul mercato: configurando bene l’emissione di metadati OpenLineage, si ottiene un “lineage‑by‑design” completo per tutto l’enviroment aziendale che si adatta senza sforzo anche quando si aggiungono altri tool (scheduler, cloud data warehouse, SQL engines, ecc.) o quando, come spesso accade nelle aziende di medie-grandi dimensioni, ogni team lavora sui dati con uno strumento diverso, e ciò rendere difficile avere un controllo globale del patrimonio informativo.
Un approccio graduale e flessibile
Pentaho 11 e Data Catalog sono parte della stessa suite, ma possono prodotti distinti e possono esistere anche separatamente: PDC può catalogare dati generati da altri ETL o tool di gestione dati, Pentaho 11 può integrare, normalizzare, trasformare i dati anche senza PDC. Questo permette un approccio graduale, adatto anche a chi non è ancora pronto per la governance strutturata.
Tuttavia, quando vengono usati insieme diventano una suite 360°:
- integrazione (Pentaho 11)
- metadata discovery, glossario, policy (PDC)
- lineage e monitor della data quality (OpenLineage + PDC)
- preparazione AI‑ready data e governance (Pentaho11 + PDC).
Come unico Member Partner Pentaho per l’Italia, BNova può seguirti qualunque sia la tua necessità o la tua situazione iniziale proponendo la soluzione più adatta al tuo contesto. Possiamo aiutarti a trasformare integrazione e governance dei dati in un asset strategico, accompagnandoti in ogni fase del tuo percorso: dalla valutazione inziale fino alla progettazione di una suite completa ed integrata basata su Pentaho 11 e Pentaho Data Catalog.
Categoria: DATA GOVERNANCE
Data protection: cos’è, come funziona e perché serve alle aziende
Vi è un momento, nella vita di ogni organizzazione aziendale, in cui il dato cessa… Leggi tutto
Pentaho Data Catalog: governance intelligente per dati AI-ready
Cos'è un data catalog e perché è cruciale oggi Un data catalog è una piattaforma che organizza, classifica e rende… Leggi tutto
Pentaho Data Catalog: trasformare il caos dei dati in chiarezza (e prepararsi all’AI)
Chi lavora con i dati lo sa: il problema non è quasi mai “avere” i… Leggi tutto
