Avslöja Självförtroendet: Lita på AI-modeller med förfinad precision baserat på ny forskning

StockholmForskare vid MIT har utvecklat ett nytt sätt att göra osäkerhetsuppskattningar i maskininlärningsmodeller mer precisa. Detta är viktigt för uppgifter som medicinsk diagnos och filtrering av jobbsökningar. Ibland kan maskininlärningsmodeller ge felaktiga förutsägelser, så det är avgörande att veta hur säkra modellerna är på sina beslut. Precisa osäkerhetsuppskattningar hjälper människor att avgöra om de ska lita på modellernas resultat. Den nya tekniken, från MIT och University of Toronto, producerar dessa uppskattningar både mer exakt och snabbare än tidigare metoder.

Forskarna använde sig av principen minimum description length (MDL). Denna metod granskar alla möjliga etiketter en modell kan tilldela en testpunkt. När det finns många lämpliga etiketter blir modellen mindre säker. Så här fungerar tekniken:

• Exaktare osäkerhetsuppskattningar
• Bättre effektivitet och skalbarhet
• Tillämplighet på stora djupinlärningsmodeller

I verkliga tillämpningar fungerar enkla statistiska metoder ofta dåligt eftersom maskininlärningsmodeller är komplexa. Många av de nuvarande metoderna kräver komplicerade beräkningar och antaganden, vilket gör dem svåra att använda för större modeller. Forskare på MIT undvek dessa problem genom att använda MDL, en metod som inte kräver sådana antaganden.

Den nya metoden, IF-COMP, gör MDL användbar för stora modeller. Den är snabbare genom att använda en teknik som kallas influensfunktioner. Dessutom används temperatur-skalning för att göra modellens resultat mer precisa. Tillsammans hjälper dessa IF-COMP att ge tillförlitliga osäkerhetsmätningar.

Läs också:

21 november 2024 · 15:27

USA dominerar AI-innovation, lämnar Kina bakom i Stanford-rankning

De fall där denna metod är mest effektiv är de där den hjälper till att hitta felmärkta data och avvikare. Vid dessa uppgifter visade sig IF-COMP vara snabbare och mer exakt än andra metoder. Denna metod säkerställer att en modell är välkalibrerad, vilket är viktigt eftersom maskininlärningsmodeller alltmer hanterar stora mängder data som inte har granskats noggrant.

Maskininlärningsmodeller kan göra misstag och ibland lita på felaktig information. Den här nya metoden hjälper användare att förstå när en modells förutsägelser kan vara felaktiga. Den fungerar med olika typer av maskininlärningsmodeller och förbättrar beslutsfattandet inom olika områden.

Du kan lita mer på AI-verktyg även om du inte har mycket kunskap om maskininlärning. Du kommer att få bättre information om hur pålitliga verktygen är, oavsett om de hjälper med medicinska diagnoser eller jobbansökningar. Detta är särskilt viktigt i områden som sjukvården, där noggranna beslut är avgörande.

Forskarna vill tillämpa denna metod på större språkmodeller. De avser också att utforska ytterligare sätt att använda MDL-principen. Detta skulle kunna göra AI-system mer tillförlitliga och pålitliga i olika uppgifter.