IBM, con Granite 3.0 i modelli di AI sono open source

All'evento annuale TechXchange di IBM arriva l’annuncio di Granite 3.0, la famiglia di modelli di intelligenza artificiale rilasciati con una licenza Apache 2.0 senza restrizioni, in linea con l'impegno dell'azienda nei confronti dell'AI open-source.

I nuovi modelli Granite 8B e 2B sono stati progettati come modelli solidi e affidabili per l'AI in ambito aziendale, in grado di offrire prestazioni all'avanguardia e costi contenuti per attività quali RAG (Retrieval Augmented Generation), classificazione, riepilogo, estrazione di entità e utilizzo di strumenti. Questi modelli compatti e versatili sono progettati per essere addestrati con i dati aziendali e integrati in modo fluido in qualsiasi ambiente aziendale o flusso di lavoro.

Mentre la maggior parte dei modelli linguistici di grandi dimensioni (LLM) viene addestrata su dati pubblici, la gran parte dei dati aziendali non viene sfruttata. Combinando Granite con i dati aziendali e utilizzando metodi di riaddestramento come InstructLab, introdotto da IBM e RedHat a maggio, le aziende possano ottenere prestazioni specifiche in grado di competere con modelli più grandi a un costo di gran lunga inferiore.

La pubblicazione di Granite 3.0 riafferma l'impegno di IBM per la trasparenza, la sicurezza e l'attendibilità. La relazione tecnica di Granite e la guida all'uso responsabile forniscono un'ampia documentazione dei set di dati utilizzati per addestrare questi modelli, i dettagli delle fasi di filtraggio, pulizia e cura applicate e i dati completi sulle prestazioni dei modelli rispetto ai principali benchmark accademici e aziendali. In particolare, IBM fornisce una garanzia di proprietà intellettuale per tutti i modelli Granite su watsonx.ai, in modo che i clienti i possano essere più sicuri di integrare i loro dati ai modelli.

I modelli Granite 3.0 sono stati addestrati su oltre 12 trilioni di token e su dati provenienti da 12 lingue e 116 linguaggi di programmazione diversi, utilizzando un nuovo metodo di addestramento in due fasi, avvalendosi dei risultati di diverse migliaia di esperimenti concepiti per ottimizzare la qualità e la selezione dei dati e i parametri di addestramento. Entro la fine dell'anno, i modelli 8B e 2B includeranno anche il supporto per la lunghezza del contesto estesa a 128K e le capacità di comprensione multimodale dei documenti.

Nell'ambito di questa release, IBM introduce anche una nuova famiglia di modelli Granite Guardian che consentono agli sviluppatori di applicazioni di implementare barriere di sicurezza controllando i prompt degli utenti e le risposte dell'LLM rispetto a una serie di rischi. I modelli Granite Guardian 8B e 2B offrono una serie molto completa di funzionalità di rilevamento dei rischi e dei danni. Sebbene i modelli Granite Guardian siano derivati dai corrispondenti modelli linguistici Granite, possono essere utilizzati da chiunque per implementare protezioni da abbinare a qualsiasi modello di intelligenza artificiale open o proprietario.

L'intera suite di modelli Granite 3.0 e i modelli time series aggiornati sono disponibili per il download su HuggingFace sotto la licenza senza restrizioni Apache 2.0. Le varianti di istruzione dei nuovi modelli linguistici Granite 3.0 8B e 2B e i modelli Granite Guardian 3.0 8B e 3B sono disponibili da oggi per uso commerciale sulla piattaforma IBM watsonx. Una selezione dei modelli Granite 3.0 sarà disponibile anche come microservizi Nvidia NIM e attraverso le integrazioni Vertex AI Model Garden di Google Cloud con HuggingFace. Per aiutare gli sviluppatori a scegliere, a semplificare l'uso e a supportare le implementazioni locali, una serie curata di modelli Granite 3.0 è disponibile anche su Ollama e Replicate.

Infine, da sottolineare che l'ultima generazione di modelli Granite amplia il catalogo open-source di IBM con potenti LLM adatti allo scopo. IBM ha collaborato con partner quali AWS, Docker, Domo, attraverso il suo Qualcomm AI Hub, Salesforce, SAP e altri per integrare i modelli Granite nelle offerte di questi partner o per rendere i modelli Granite disponibili sulle loro piattaforme.