De strijd tegen AI-teksten: bijblijven met snel veranderende taalmodellen

AmsterdamSinds 2019 zorgt door machines gegenereerde tekst voor verwarring bij mensen. Geavanceerde tools zoals GPT-2, ChatGPT en Llama maken het lastig om te onderscheiden of een tekst door een mens of een machine is geschreven. Hoewel deze tools tijd besparen en creativiteit bevorderen, kunnen ze ook worden gebruikt om mensen te misleiden. De huidige technologie om machine-gegenereerde tekst te detecteren verbetert, maar de resultaten zijn wisselend.

Veel commerciële detectoren beweren zeer nauwkeurig te zijn, met succespercentages tot wel 99%. Onafhankelijke tests door Chris Callison-Burch en zijn team laten echter andere resultaten zien. Zij creëerden een dataset genaamd RAID, die meer dan 10 miljoen documenten bevat, geschreven door zowel AI als mensen. Deze dataset helpt om te beoordelen hoe goed de tekstdetectoren daadwerkelijk functioneren.

Toch presteren de meeste detectoren slecht bij verschillende soorten tekst of uiteenlopende LLM-uitkomsten. Enkele hoofdproblemen zijn als volgt:

• Detectoren getraind op ChatGPT falen bij andere modellen zoals Llama.
• Gespecialiseerde detectoren, zoals die getraind op nieuwsartikelen, werken slecht bij andere content zoals recepten of creatieve teksten.
• Eenvoudige wijzigingen in tekst, zoals het toevoegen van spaties of het vervangen van letters door symbolen, kunnen de meeste detectoren gemakkelijk omzeilen.

Lees ook:

Gisteren · 08:55

Nvidia imponeert, maar Aziatische beurs reageert aarzelend op concurrentie.

Huidige tekstdetectiesystemen zijn nog niet volledig betrouwbaar. Machine learning moet beter worden in het herkennen van door andere machines gegenereerde teksten om gelijke tred te houden met geavanceerde taalmodellen. Eenvoudige trucs zoals het vervangen van letters door vergelijkbare symbolen kunnen deze detectors gemakkelijk misleiden. Hierdoor is de detectietechnologie van vandaag de dag niet betrouwbaar genoeg voor belangrijke taken, zoals het waarborgen van de integriteit van academisch werk of het beheersen van online inhoud.

Het Callison-Burch team streeft naar transparantie en wil nieuwe ideeën stimuleren door RAID en een openbare ranglijst te creëren. Bedrijven kunnen hun tools aan deze standaard toetsen en verbeteren. Deze open competitie zou aanzienlijke verbeteringen in detectietechnologie kunnen opleveren.

Het probleem ligt niet alleen bij het opsporen van door AI gegenereerde teksten. We hebben betere hulpmiddelen nodig om de risico's te begrijpen en hun effecten te beheren. De gemeenschap zou moeten werken aan het verminderen van schade door brede verspreiding van AI-teksten. Dit betekent niet alleen betere detectiemethoden ontwikkelen, maar ook gebruikers leren hoe ze digitale inhoud beter kunnen begrijpen.