Cludera integra Apache Kadu

Il software storage Hadoop per l'analisi in tempo reale di grandi volumi di dati può essere utilizzato per il monitoraggio delle infrastrutture IoT

Cloudera Enterprise 5.10, la nuova versione della suite di gestione e analisi dei dati, integra Apache Kudu, software open source di storage basato su Hadoop, che si propone di completare quanto già offerto dalle tecnologie Hdfs e Apache HBase per costruire applicazioni analitiche in tempo reale.

Per tutti gli estimatori dell'open source, Kudu non è un prodotto nuovo: presentato nel 2015 proprio da Cloudera, che lo ha poi donato alla Apache Software Foundation, è il motore di storage “nativo” di Hadoop, adatto sia per le attività accesso ai dati random a bassa latenza, sia per applicazioni di analytics in tempo reale. Può lavorare con applicazioni mission-critical in cluster con centinaia di nodi, che gestiscono diversi milioni di inserimenti al secondo. I casi d'uso supportati includono le analisi su dati storici e statistiche, ma lo storage engine dà il meglio in tutti quei casi che richiedono scansioni analitiche veloci e su larga scala, come il monitoraggio delle infrastrutture IoT e il reporting online.

La novità non è dunque Kudu in sé, ma il suo inserimento all'interno di Cloudera Enterprise, accanto ai programmi Cdh (la distribuzione Hadoop per aziende), Cloudera Manager (per la gestione del cluster Hadoop), Search, Impala (per le query Sql), Spark (motore di analytics) e Cloudera Navigator (gestione e sicurezza dei dati). Grazie a questa aggiunta, i clienti avranno a disposizione uno strumento in più per eseguire analisi in tempo reale, ottenendo visibilità sull'andamento del business o sullo stato di una infrastruttura, anche in ottica predittiva.

“L’analisi dei dati in tempo reale è una sfida per le imprese”, ha commentato Charles Zedlewski, senior vice president dei prodotti Cloudera, “in quanto richiede un’architettura lambda complessa per integrare insieme l’elaborazione dei flussi e l’analisi dei batch in tempo reale. Kudu facilita notevolmente tale architettura offrendo un unico motore di storage che risolve entrambe le esigenze. I carichi di lavoro impegnati oggi esistenti, tra cui un numero crescente di nuovi modelli di apprendimento automatico, possono identificare le minacce di sicurezza informatica, prevedere problemi di manutenzione nell’Industrial Internet of Things e offrire una maggior precisione per qualsiasi tipo di reporting online”.

L'analista di Ovum Tony Baer ha sottolineato come Kudu sia l'esempio dell'evoluzione intrapresa dalla piattaforma Apache Hadoop: non più un insieme di prodotti isolati, ma un mix e una combinazione di tecnologie open source che insieme possono crare un vero “ambiente operativo Big Data”. “Kudu”, ha spiegato Baer, “aggira gli ostacoli associati alle architetture lambda complesse per affrontare i casi di utilizzo che coinvolgono dati in rapida evoluzione, dove è fondamentale la capacità di modificare e aggiornare il database in modo rapido”. Oltre a questa novità, in Cloudera Enterprise 5.10 esordiscono alcuni miglioramenti: prestazioni migliorate di Apache Hive su Amazon S3, funzioni più complete di auditing e lineage nel cloud (con il supporto single-cluster di Cloudera Navigator per Amazon S3) e la riduzione del tempo necessario per le implementazioni in ambienti cloud dei casi d'uso iniziali.