Accordo definitivo per l’acquisizione da parte di Red Hat di Neural Magic, all’avanguardia nel software e negli algoritmi che accelerano i carichi di lavoro di inferenza dell’AI generativa. L’esperienza di Neural Magic nell’ingegneria delle prestazioni di inferenza e il suo impegno nell’open source si allineano perfettamente alla visione di Red Hat di carichi di lavoro AI ad alte prestazioni che rispondono direttamente ai casi d’uso e ai dati specifici dei clienti, ovunque e nel cloud ibrido.

L’idea di Red Hat è quella di affrontare le sfide dell’intelligenza artificiale generativa rendendola accessibile a un maggior numero di aziende attraverso l’innovazione aperta di vLLM. Sviluppato da UC Berkeley, vLLM è un progetto open source guidato dalla comunità per l’open model serving (il modo in cui i modelli di gen AI inferiscono e risolvono i problemi) che supporta tutte le principali famiglie di modelli, la ricerca avanzata sull’accelerazione dell’inferenza e diversi backend hardware tra cui GPU AMD, AWS Neuron, Google TPUs, Intel Gaudi, GPU Nvidia e CPU x86. La leadership di Neural Magic nel progetto vLLM, combinata con il solido portfolio di tecnologie AI per il cloud ibrido di Red Hat, offrirà alle aziende un percorso aperto per la creazione di strategie AI in grado di soddisfare le loro esigenze specifiche, ovunque si trovino i dati.

Con la tecnologia e l’esperienza di Neural Magic nell’ingegneria delle prestazioni, startup nata nell’ambito del MIT nel 2018 con l’obiettivo di creare un software di inferenza performante pensato per il deep learning, Red Hat mira ad accelerare la sua visione del futuro dell’AI, grazie al suo portfolio tecnologico Red Hat AI. Con l’obiettivo di superare le sfide dell’AI enterprise su larga scala, Red Hat utilizza l’innovazione open source per democratizzare ulteriormente l’accesso alla potenza trasformativa dell’AI.

Nel dettaglio, Neural Magic sfrutta la propria esperienza e conoscenza di vLLM per costruire uno stack di inferenza di livello enterprise che consente ai clienti di ottimizzare, distribuire e scalare i carichi di lavoro LLM in ambienti cloud ibridi con il pieno controllo sulla scelta dell’infrastruttura, sulle politiche di sicurezza e sul ciclo di vita dei modelli. Neural Magic sviluppa anche ricerche sull’ottimizzazione dei modelli, costruisce LLM Compressor (una libreria unificata per l’ottimizzazione di LLM con algoritmi di sparsity e quantizzazione all’avanguardia) e gestisce un repository di modelli pre-ottimizzati pronti per essere distribuiti con vLLM. La leadership tecnologica di Neural Magic in vLLM rafforzerà la capacità di Red Hat AI di supportare implementazioni LLM ovunque e in tutto il cloud ibrido con uno stack di inferenza già pronto, altamente ottimizzato e aperto.

“I carichi di lavoro AI devono poter essere eseguiti ovunque si trovino i dati dei clienti nel cloud ibrido, cosa che rende necessarie piattaforme e strumenti flessibili, standardizzati e aperti, che consentano alle organizzazioni di scegliere gli ambienti, le risorse e le architetture in linea con le loro esigenze operative e di dati. Siamo entusiasti di integrare il nostro portafoglio AI basato sul cloud ibrido con l’innovazione rivoluzionaria di Neural Magic, con l’obiettivo di confermare il ruolo di Red Hat come innovatore e leader non più solo nell’open source ma anche nell’AI”, commenta Matt Hicks, president e CEO di Red Hat.

“L’open source ha mostrato più volte di poter promuovere l’innovazione grazie al potere della collaborazione. In Neural Magic abbiamo riunito alcuni dei migliori talenti del settore dell’ingegneria delle prestazioni dell’AI con l’unica missione di creare funzionalità di servizio LLM aperte, multipiattaforma e ultra-efficienti. L’unione con Red Hat non è solo un abbinamento culturale, ma porterà vantaggi significativi alle aziende grandi e piccole nel loro percorso di trasformazione dell’AI”, aggiunge Brian Stevens, CEO di Neural Magic.

“Mentre i nostri clienti cercano di scalare l’AI nei loro ambienti ibridi, gli LLM virtualizzati e cloud-nativi costruiti su basi aperte diventeranno lo standard del settore. La leadership di Red Hat nell’open source, combinata con la scelta di modelli open source efficienti come IBM Granite e le offerte di Neural Magic per la scalabilità dell’AI tra le diverse piattaforme, consente alle aziende di avere il controllo e la flessibilità di cui hanno bisogno per distribuire l’AI in tutta l’organizzazione”, conclude Dario Gil, senior vice president and director of Research di IBM.