La nuova tecnologia MIT per ridurre l'autostima degli AI e aumentarne l'affidabilità

RomeI ricercatori hanno scoperto un nuovo metodo per impedire ai modelli di intelligenza artificiale di essere eccessivamente sicuri delle loro risposte sbagliate. Questa tecnica, denominata Thermometer, mira a rendere i grandi modelli di linguaggio più affidabili.

Le persone utilizzano modelli linguistici avanzati per diversi compiti, come la traduzione di lingue, l'individuazione di frodi finanziarie e la risposta alle domande del servizio clienti.

Questi modelli non sono sempre affidabili. Talvolta sono molto sicuri di risposte sbagliate o poco sicuri di quelle giuste. Questo li rende difficili da affidare.

Ricercatori del MIT e del MIT-IBM Watson AI Lab hanno sviluppato Thermometer per risolvere questo problema. Thermometer utilizza un modello addizionale più piccolo per regolare i livelli di fiducia dell'LLM. Questo nuovo metodo è efficiente e richiede poca potenza di calcolo, mantenendo al contempo l'accuratezza del modello.

I metodi tradizionali per ottimizzare i modelli di apprendimento automatico sono concepiti per un singolo compito. Tuttavia, questi approcci non sono efficaci per i grandi modelli linguistici (LLM), poiché gli LLM devono svolgere molti compiti diversi. L'adozione di un metodo tradizionale può compromettere le prestazioni dell'LLM nei compiti per i quali non è stato specificamente ottimizzato.

Calibrare modelli di linguaggio di grandi dimensioni richiede spesso l'uso di molti campioni, risultando in un elevato costo computazionale. Thermometer propone una strategia differente attraverso la scalatura della temperatura per regolare la sicurezza del modello. Questo metodo, ampiamente riconosciuto nella calibrazione, sfrutta un parametro di "temperatura" per allineare i livelli di sicurezza con la precisione delle previsioni.

Di solito, occorre un dataset etichettato per la validazione al fine di determinare la giusta temperatura. Tuttavia, ottenere dataset etichettati per nuove attività è una sfida. Ad esempio, se un'azienda vuole utilizzare un modello di linguaggio per rispondere a domande su un nuovo prodotto, è probabile che non disponga ancora di un dataset appropriato.

Il termometro utilizza un modello ausiliare per stimare la temperatura necessaria. Questo modello è addestrato con dati provenienti da vari compiti comuni. In questo modo, può gestire nuovi compiti senza bisogno di ulteriori dati etichettati. Ad esempio, un termometro addestrato su domande di algebra e di medicina a risposta multipla può anche regolare risposte per domande di geometria o biologia.

Il modello del Termometro è migliorato, sebbene non sia ancora perfetto. Richiede l'accesso solo a una piccola parte dell'LLM, quindi lo rallenta appena.

Il termometro ha fornito risultati più precisi nei test con incertezze ridotte e ha richiesto meno risorse di calcolo rispetto ad altri metodi.

Gli scienziati ritengono che il termometro possa svolgere nuovi compiti efficacemente se è addestrato su una varietà di essi. Hanno anche scoperto che funziona bene sia con modelli piccoli che grandi all'interno dello stesso gruppo. Questo lo rende un metodo versatile.

Il team intende migliorare Thermometer per affrontare compiti più complessi e gestire modelli linguistici di maggiori dimensioni. Inoltre, desiderano stabilire quanti set di dati etichettati sono necessari per ottenere buoni risultati su nuovi compiti. La ricerca è stata finanziata dal MIT-IBM Watson AI Lab.