Ny metod hindrar AI från att bli övermodig och ökar tilltron till dess förutsägelser

StockholmForskare har upptäckt ett nytt sätt att förhindra att AI-modeller blir alltför självsäkra när de ger felaktiga svar. Denna metod, kallad Thermometer, syftar till att göra stora språkmodeller mer pålitliga.

Människor använder stora språkmodeller för olika uppgifter, som att översätta språk, upptäcka ekonomiskt bedrägeri och svara på kundtjänstfrågor.

Dessa modeller är inte alltid korrekta. Ibland är de mycket säkra på felaktiga svar eller inte tillräckligt säkra på de korrekta. Detta gör det svårt att lita på dem.

Forskare vid MIT och MIT-IBM Watson AI Lab har utvecklat Thermometer för att lösa detta problem. Thermometer använder en mindre ytterligare modell för att justera LLM:ens självförtroendenivåer. Denna nya metod är effektiv och kräver inte mycket datorkraft. Den bevarar också modellens noggrannhet.

Traditionella metoder för att justera maskininlärningsmodeller är skapade för en enda uppgift. Dessa metoder fungerar inte bra för stora språkmodeller eftersom de utför många olika uppgifter. Att använda en traditionell metod kan minska en stor språkmodells prestation på de uppgifter som den inte har justerats för.

Kalibrering av stora språkmodeller kräver ofta att man tar många prover och kombinerar dem, vilket kan vara kostsamt när det gäller beräkningskraft. Thermometer erbjuder en annan metod genom att använda temperaturanpassning för att justera modellens självförtroende. Denna metod är en etablerad kalibreringsmetod där "temperaturen" är en parameter som hjälper till att matcha självförtroendenivåer med hur korrekta förutsägelserna är.

Läs också:

21 november 2024 · 15:27

USA dominerar AI-innovation, lämnar Kina bakom i Stanford-rankning

Vanligtvis behöver du en valideringsdataset med etiketter för att hitta rätt temperatur. Det är dock svårt att få etiketterade dataset för nya uppgifter. Till exempel, om ett företag vill använda en språkmodell för att besvara frågor om en ny produkt, har de sannolikt inte en dataset för det ännu.

Termometern använder en hjälpredamodell för att uppskatta den nödvändiga temperaturen. Denna modell är tränad på data från flera vanliga uppgifter och kan hantera nya uppgifter utan att behöva mer märkt data. Till exempel kan en termometer, som är tränad på algebra och medicinska flervalsfrågor, också anpassa svar för geometri- eller biologifrågor.

Termometermodellen har förbättrats, men är fortfarande inte perfekt. Den kräver bara tillgång till en liten del av det stora språkmodellen, vilket betyder att den bara saktar ner den lite.

Termometern levererade mer exakta osäkerhetsresultat i tester och krävde mindre beräkningskapacitet än andra metoder.

Forskare tror att Thermometer kan hantera nya uppgifter bra om den tränas på många olika sådana. De upptäckte också att den fungerar effektivt med både små och stora modeller inom samma kategori. Detta gör det till en flexibel metod.

Teamet planerar att utveckla Thermometer för mer krävande uppgifter och större språkmodeller. De vill även ta reda på hur många märkta dataset som behövs för att prestera bra inom nya uppgifter. Forskningen finansierades av MIT-IBM Watson AI Lab.