Statistisk analys kan avslöja användning av ChatGPT vid fusk på kemi-flervalsprov.

StockholmForskare vid Florida State University (FSU) har utvecklat ett sätt att upptäcka fusk på flervalsfrågor i kemi med hjälp av ChatGPT. De använder särskilda statistiska verktyg för att analysera svaren och avgöra om AI har använts. Denna metod fyller en lucka i dagens system för fuskupptäckning, som oftast fokuserar på skriftliga uppsatser och öppna frågor snarare än flervalsfrågor.

Viktiga resultat från denna forskning är:

Rasch-modellen användes för att undersöka sannolikheten för korrekta svar baserat på frågans svårighetsgrad och studentens förmåga. Forskare samlade in data från fem terminer av FSU-studenters svar och jämförde dessa med svar genererade av ChatGPT. ChatGPT visade unika svarsmönster som kunde särskiljas genom passformstatistik och beteendeanalys.

Rasch-modellen visar att hur konsekvent elever besvarar frågor kan avslöja deras kunskapsnivå. Högpresterande elever svarar oftast rätt på både svåra och lätta frågor, medan lågpresterande elever främst svarar rätt på de lätta. ChatGPT ger däremot oförutsägbara svar, ibland klarar den svåra frågor men misslyckas med enkla, vilket skiljer sig från mänskligt beteende. Denna inkonsekvens kan hjälpa till att identifiera när svaret genereras av AI.

Läs också:

Idag · 12:21

Kobes hemliga vattenkopplingar: Arima, jordbävningar och prognoser

Denna forskning är mycket betydelsefull. När AI-verktyg som ChatGPT används mer inom utbildningen är det avgörande att hålla flervalsprov ärliga. Traditionella metoder som att ha övervakare och använda plagiatkontrollverktyg kanske inte fungerar effektivt mot AI-fusk. Genom att använda avancerade statistiska tekniker kan man identifiera mönster som är specifika för AI, vilket bidrar till att upprätthålla höga akademiska standarder.

Forskningen visar att AI-genererat innehåll kan verka övertygande för studenter eller personer som inte är bekanta med ämnet, men AI förstår inte materialet. Detta understryker vikten av kritiskt tänkande och djup förståelse i utbildningen. Studenter som använder AI-verktyg för att fuska missar verkliga lärmöjligheter och kan drabbas av allvarliga akademiska konsekvenser.

Dessa resultat kan tillämpas på andra ämnen med flervalsprov, inte bara kemi. Lärare kan använda dessa statistiska metoder för att säkerställa att olika standardiserade tester och inträdesprov är rättvisa och hederliga. Samarbetet mellan Hanson och Sorenson visar hur samarbete över olika områden kan bidra till att lösa svåra utbildningsproblem.

Denna studie betonar behovet för skolor att kontinuerligt anpassa sig för att hantera ny teknologi. När AI utvecklas vidare behöver vi säkerställa att våra metoder för att använda det i utbildning skyddar integriteten i akademiskt arbete.