Per E4 Computer Engineering aprile si chiude con un importante traguardo: l'azienda di Scandiano si è aggiudicata la gara per il potenziamento di Galileo 100, supercomputer del Consorzio Interuniversitario CINECA e sistema cloud Tier-1 per la ricerca scientifica pubblica. Il progetto è molto significativo in ambito HPC, perché prevede tra l'altro di aumentare di almeno dieci volte il numero di vCPU disponibili per i servizi VM e la progettazione di una nuova infrastruttura di storage multiprotocollo, per la conservazione dei dati a lungo termine e l’elaborazione interattiva.

È un progetto di rilievo - che E4 porterà avanti con Dell Technologies e VAST Data - ma anche un tassello di una strategia di sviluppo tecnologico che, in campo supercomputing e non solo, parte da lontano e che da qualche mese si era arricchita di una novità di piattaforma molto interessante per le imprese interessate alle moderne evoluzioni dell'Intelligenza Artificiale.

La piattaforma in questione è Urania, lanciata verso la fine del 2023 con l'obiettivo di offrire una soluzione completa per chi voglia fare Data Science "in casa", utilizzando le potenzialità dell'AI ma senza perdere il controllo sui dati da dare in pasto agli algoritmi di machine/deep learning. Una caratteristica importante per le imprese che, giustamente, vedono nell'AI una opportunità ma anche qualche potenziale rischio nella tutela di informazioni sensibili e proprietà intellettuali.

Mario Rosati, CEO di E4 Analytics

"Urania - spiega Mario Rosati, CEO di E4 Analytics, la "sister company" di E4 creata per fornire consulenza e servizi professionali in ambito Big Data analytics e AI - può seguire tutto il ciclo di vita del dato dal punto di vista della Data Science, spaziando dall'addestramento dei modelli sino alla possibilità di integrare modelli addestrati in applicazioni specifiche".

Il ruolo di Urania

La piattaforma di E4 è una soluzione nativa cloud basata sulla containerizzazione e su una versione ottimizzata di Kubernetes, a cui sono state aggiunte componenti che permettono l'uso nativo di GPU e di reti ad alte prestazioni. "In questo modo Kubernetes diventa una piattaforma che orchestra carichi di lavoro numericamente intensivi", spiega Rosati, ma Kubernetes è stato anche (relativamente) semplificato nella parte di gestione e potenziato nelle componenti per lo storage, sempre pensando alle applicazioni di AI e Data Science.

Nello sviluppo di Urania, E4 si è data due target di mercato principali: tutto il mondo università e ricerca, sempre interessato a nuove soluzioni per il calcolo, e le aziende che hanno necessità di avere una infrastruttura cloud-native per il calcolo tecnico-scientifico orientato alla Data Science. In realtà il bacino potenziale di utenza è anche più ampio, perché Urania può anche essere usata "semplicemente" per ospitare modelli addestrati altrove, aggiungendovi le sue proprie funzioni.

"Urania può ed esempio collegarsi a servizi esterni di AI - spiega Rosati - come anche integrare modelli open source già pre-addestrati per usarli come sono o per ri-addestrarli per gli scopi specifici dell'utente". Questa possibilità è importante, perché se addestrare un LLM da zero è alla portata di pochi, le operazioni di ri-addestramento, finetuning e RAG richiedono molte meno risorse di computing e sono gestibili dalle imprese utenti.

In uno scenario d'uso che sarà probabilmente sempre più comune nell'utilizzo degli LLM, Urania può ad esempio partire da un modello pre-addestrato e provvedere alla sua "specializzazione" su un ambito specifico usando i dati - privati e protetti, a questo punto - dell'azienda utente. In questo modo si può ad esempio creare un assistente virtuale specializzato sulla knowledge aziendale e gestire il suo utilizzo, usando una infrastruttura IT tutto sommato contenuta.

Scenari di "private LLM" come questo saranno sempre più importanti perché garantiscono la privacy dei dati aziendali, ma anche perché in prospettiva puntare solo sull'AI in cloud per molte imprese non sarà praticabile. "Il cloud funziona molto bene sino a quando la potenza in gioco è relativamente piccola - spiega Rosati - ma quando dobbiamo usare strumenti di calcolo complessi, i costi cominciano a diventare importanti. Inoltre, modelli complessi hanno un loro tempo di caricamento e non è possibile che questo venga percepito dall'utilizzatore finale ogni volta che, ad esempio, si attiva un assistente virtuale. Per evitarlo dobbiamo avere modelli inferenziali senza latenza, già pre-caricati sulle GPU: in questi casi il pay-per-use del cloud non sarebbe affatto vantaggioso".

L'AI che si rafforza

E4 Computer Engineering è tra le aziende che stanno sfruttando le proprie competenze di supercomputing per traghettare la "nuova" AI dal sensazionalismo alla sua vera concretezza. "L'hype è sicuramente tanto - sottolinea Rosati - ma è anche vero che quello che è successo nell'ultimo anno e mezzo ha diversi aspetti positivi. Sino a qualche tempo fa quando incontravamo le imprese medio-piccole dovevamo prima di tutto spiegare come funziona e quanto è utile l'AI in certi ambiti. Ora invece non è più necessario, si può parlare di casi d'uso e non di potenzialità".

E4 ha anche potuto sfruttare le esperienze maturate con Gaia, la sua appliance per lo sviluppo di applicazioni di data analytics e machine/deep learning. Come anche Urania, Gaia è di fatto una piattaforma trasversale per l'AI, che E4 sta però man mano dotando delle funzioni e delle componenti specifiche per fare GenAI on-premise. Facendo anche leva, in questo, su una progressiva maturazione dell'ecosistema degli strumenti e dei modelli, tanto proprietari quanto open source.

"Prendere il meglio che viene dalle comunità open source e integrarlo in una soluzione - spiega in particolare Rosati - è un compito non facile ma è il nostro lavoro, soprattutto perché in ambito GenAI le famiglie di tool interessanti sono molte e al momento non c'è un framework che sta prendendo più piede rispetto agli altri. Anche per il deep learning in passato è successa la stessa cosa".

In questa evoluzione E4 è ovviamente anche pronta a definire vari tipi di partnership tecnologiche. "Come principio - spiega Rosati - noi cerchiamo di confezionare soluzioni che coprano tutto lo spettro dell'HPC. È vero però che aziende che fanno un mestiere simile ad E4 Analytics ci stanno contattando per collaborazioni in cui le loro soluzioni software di GenAI usano le nostre piattaforme, spesso per rispondere ad esigenze di privacy dei dati".

La concezione e la natura cloud-native di Urania aprono anche la strada a modelli più articolati di implementazione e di supporto a servizi di AI. Pensiamo ad esempio a scenari in cui una implementazione centralizzata di Urania, gestita da E4 o dai suoi partner nelle attività di addestramento degli LLM, viene sfruttata da aziende utenti solo sotto forma di assistenti virtuali verticali. Per Urania le possibilità insomma sono molte, e si stanno sviluppando in parallelo con tutto l'ecosistema della nuova AI.