I vendor descrivono un futuro molto prossimo in cui le aziende utenti potranno accedere con facilità a modelli di machine learning addestrati per le loro specifiche esigenze. Una evoluzione necessaria, ma che introduce alcuni importanti interrogativi. Come è stato addestrato davvero l’algoritmo? Con quali dati? Con che criteri è stato testato? C’è il rischio che abbia sviluppato “pregiudizi” discriminanti che derivano dal campione di dati utilizzati? Sono questioni che non è il caso di liquidare in fretta e che stanno spingendo alcune aziende a muoversi in maniera articolata, tanto che già si parla dell’AI Management come di un nuovo settore applicativo e di mercato.

Di recente, ad esempio, IBM ha preannunciato un servizio cloud che sarà in grado di controllare se un modello di AI – non solo di IBM Watson – stia operando in maniera corretta o pregiudiziale. Il servizio probabilmente applica alcune funzioni di “bias detection” che IBM ha già reso disponibili in open source attraverso il suo AI Fairness 360 Toolkit.
Nell’ambito dell’iniziativa Trusted AI, IBM Research aveva tra l'altro già suggerito che tutti i servizi di machine learning dovrebbero essere accompagnati da una sorta di dichiarazione di conformità, che spieghi in dettaglio come operano e come sono stati sviluppati e addestrati.

Analogamente, seppure con una logica diversa, sempre di recente SAP ha definito alcune linee guida da seguire nello sviluppo di applicazioni di AI collegate a SAP Leonardo, inserendovi anche elementi che non sono solo tecnologici: dalla possibilità di discriminazioni all’impatto sociale delle tecnologie, dalla trasparenza sul funzionamento degli algoritmi sino al rispetto della privacy degli individui.

Queste linee guida sono tra l’altro affiancate da un panel di consulenti esterni che comprende esperti di etica, legge, tecnologia e bioetica.