Nieuw AI-trainingsproces FairDeDup reduceert sociale vooroordelen door innovatieve gegevensselectiemethode

AmsterdamOnderzoekers van Oregon State University en Adobe hebben een nieuwe methode ontwikkeld genaamd FairDeDup om AI-systemen te trainen. Deze techniek vermindert sociale vooroordelen in AI door tijdens het trainingsproces dubbele gegevens te verwijderen.

De nieuwe techniek verfijnt een eerdere methode, genaamd SemDeDup, door maatrelen om eerlijkheid te bevorderen toe te voegen. Bij het trainen van AI-modellen worden vaak datasets gebruikt die sociale vooroordelen bevatten. Wanneer deze vooroordelen in AI-modellen terechtkomen, kunnen ze leiden tot oneerlijke acties en beslissingen.

FairDeDup vermindert gegevens door alleen de meest cruciale delen te selecteren. Dit houdt in dat sommige data worden bewaard en de rest wordt verwijderd, terwijl de overgebleven informatie de oorspronkelijke set toch goed vertegenwoordigt. Onderzoekers bepalen welke data behouden blijft op basis van de inhoud, zodat de essentiële informatie intact blijft.

Hier is hoe FairDeDup werkt:

• Overbodige gegevens worden verwijderd
• Menselijk gedefinieerde diversiteitselementen worden opgenomen
• Vooroordelen met betrekking tot beroep, ras, geslacht, leeftijd, geografie en cultuur worden aangepakt

Eric Slyman, een promovendus aan de Technische Universiteit van OSU, leidde het onderzoek. Hij werkte samen met Stefan Lee van OSU en Scott Cohen en Kushal Kafle van Adobe.

Datasets van het internet bevatten vaak vooroordelen die de vooroordelen van de samenleving weerspiegelen. Deze vooroordelen kunnen optreden in AI-resultaten, zoals alleen afbeeldingen van witte mannen tonen bij het zoeken naar CEO's of doktoren. Slyman's team onderzocht hoe het verwijderen van dubbele gegevens deze vooroordelen beïnvloedt. Ze ontdekten dat het gebruik van FairDeDup de negatieve uitkomsten kan verminderen.

Lees ook:

21 november 2024 · 08:55

Nvidia imponeert, maar Aziatische beurs reageert aarzelend op concurrentie.

FairDeDup streeft ernaar de computationele kosten te verlagen en AI-systemen rechtvaardiger te maken. Slyman legt uit dat deze methode AI niet vastpint op een strikte definitie van eerlijkheid. In plaats daarvan helpt het AI om in verschillende situaties en voor diverse gebruikers eerlijk te zijn. Dit stelt mensen in staat om zelf te bepalen wat voor hen eerlijk is, zonder te vertrouwen op grote, bevooroordeelde datasets van het internet.

De onderzoekers presenteerden het FairDeDup-algoritme op de IEEE/CVF Conference on Computer Vision and Pattern Recognition in Seattle. Ze benadrukten dat deze nieuwe methode betaalbaar, nauwkeurig en eerlijk is.

Slyman verklaarde dat hun methode AI op een kostenefficiënte, nauwkeurige en eerlijke manier laat leren. Het team ontdekte dat AI-systemen rechtvaardiger kunnen worden door vooroordelen uit de data te verwijderen.

Deze methode helpt AI om meer eerlijke beslissingen te nemen door rekening te houden met verschillende menselijke situaties en verschillen. In plaats van AI te dwingen één idee van eerlijkheid te volgen, laat het verschillende toepassingen van AI zelf bepalen wat eerlijkheid voor hen betekent.

Deze vooruitgang is een belangrijke stap in het verminderen van vooroordelen in AI-systemen. Onderzoekers denken dat FairDeDup zal bijdragen aan eerlijkere en minder bevooroordeelde AI ten opzichte van gemarginaliseerde groepen. De samenwerking tussen de OSU en Adobe is gericht op het verbeteren van de eerlijkheid en efficiëntie van AI.