Betrouwbare AI: nauwkeurige en snelle onzekerheidschattingen door MIT-onderzoekers

AmsterdamOnderzoekers van MIT hebben een innovatieve methode ontwikkeld om onzekerheidsschattingen in machine learning-modellen nauwkeuriger te maken. Dit is cruciaal voor toepassingen zoals medische diagnoses en het filteren van sollicitaties. Machine learning-modellen kunnen soms foutieve voorspellingen doen, dus het is essentieel om te weten hoe zeker de modellen zijn van hun beslissingen. Precieze onzekerheidsschattingen helpen mensen te beslissen of ze de resultaten van het model kunnen vertrouwen. De nieuwe techniek, ontwikkeld door MIT en de Universiteit van Toronto, levert deze schattingen nauwkeuriger en sneller dan oudere methoden.

De onderzoekers gebruikten het minimum description length (MDL) principe. Deze methode bekijkt alle mogelijke labels die een model aan een testpunt kan toekennen. Wanneer er veel geschikte labels zijn, neemt de zekerheid van het model af. Dit is wat deze techniek doet:

• Preciezere inschattingen van onzekerheden
• Verbeterde efficiëntie en schaalbaarheid
• Toepasbaarheid op grote deep learning-modellen

In praktische toepassingen schieten eenvoudige statistische methoden vaak tekort omdat machine learning-modellen complex zijn. Veel van de huidige methoden vereisen ingewikkelde berekeningen en aannames, wat het moeilijk maakt om ze voor grotere modellen te gebruiken. Onderzoekers van MIT hebben deze problemen vermeden door gebruik te maken van MDL, een methode die dergelijke aannames niet nodig heeft.

De nieuwe methode, IF-COMP, maakt MDL hanteerbaar voor grote modellen. Door het gebruik van invloedfuncties werkt het sneller. Daarnaast past het temperatuur-scaling toe om de nauwkeurigheid van de modelresultaten te verbeteren. Deze twee elementen samen zorgen ervoor dat IF-COMP betrouwbare onzekerheidsmetingen levert.

Lees ook:

21 november 2024 · 08:55

Nvidia imponeert, maar Aziatische beurs reageert aarzelend op concurrentie.

De situaties waarin deze methode het meest effectief is, zijn die waarin het helpt bij het ontdekken van verkeerd gelabelde data en uitschieters. Bij deze taken bleek IF-COMP sneller en nauwkeuriger dan andere methoden. Het zorgt ervoor dat een model goed gekalibreerd is, wat cruciaal is aangezien machine learning-modellen steeds meer ongereguleerde grote hoeveelheden data moeten verwerken.

Machine-learningmodellen kunnen fouten maken en soms onjuiste informatie vertrouwen. Deze nieuwe methode helpt gebruikers te begrijpen wanneer de voorspellingen van een model mogelijk onjuist zijn. Het werkt met verschillende soorten machine-learningmodellen en verbetert de besluitvorming op diverse gebieden.

Je kunt meer vertrouwen op AI-tools, zelfs als je weinig weet over machine learning. Ze bieden je betere inzichten in hoe betrouwbaar deze tools zijn, of ze nu helpen bij medische diagnoses of sollicitaties. Dit is vooral belangrijk in sectoren als de gezondheidszorg, waar nauwkeurige beslissingen van groot belang zijn.

De onderzoekers willen deze methode toepassen op grotere taalmodellen. Daarnaast zijn ze van plan om andere manieren te verkennen om het MDL-principe te gebruiken. Dit kan AI-systemen betrouwbaarder en betrouwbaarder maken voor diverse taken.