AI överträffar studenter: Studie jämför ChatGPT med faktiska elever i biomedicinsk kurs

StockholmForskare testade AI-modeller i en universitetskurs om biomedicinsk och hälsoinformatik. William Hersh, M.D., och Kate Fultz Hollis vid Oregon Health & Science University (OHSU) ville undersöka hur bra dessa AI-modeller, inklusive ChatGPT, skulle klara sig i deras klass. Förvånande nog presterade AI-modellerna bättre än upp till 75 % av de mänskliga studenterna.

Forskare använde sex AI-modeller för att testa deras prestanda. De lät dessa modeller göra samma prov som 139 studenter inom biomedicinsk och hälsoinformatik skrev år 2023. AI:erna fick poäng i de översta 50% till 75% på flervalsprov och slutprov med korta skriftliga svar. Denna upptäckt kan förändra hur vi ser på och använder traditionella testmetoder i framtiden.

Här är några viktiga punkter:

• Sex generativa AI-modeller testades.
• 139 studenter utvärderades för jämförelse.
• AI-modellerna placerade sig i den övre 50:e till 75:e percentilen.
• Använde flervalsfrågor och korta skriftliga svar i prov.

AI kan effektivt hantera kunskapsbaserade tester. Detta innebär att i vissa kurser kan teknologin utgöra ett starkt alternativ till traditionell inlärning, särskilt när det gäller faktabaserad kunskap. Samtidigt uppstår nya problem vid användning av AI för dessa uppgifter. Kan dessa AI-modeller göra att studenterna blir mindre benägna att engagera sig djupt i materialet och därmed skapa en passiv inlärningsmiljö?

Läs också:

Igår · 15:27

USA dominerar AI-innovation, lämnar Kina bakom i Stanford-rankning

De etiska frågorna kring användningen av AI inom utbildning är betydande. Om AI har förmågan att minnas och bearbeta information effektivare, uppstår oron för fusk. Hur kan lärare försäkra sig om att elever verkligen lär sig och inte bara använder AI för att få bra betyg?

Högre utbildning syftar till att skapa yrkesverksamma som kan mer än att bara känna till fakta – de ska kunna använda sina kunskaper i verkliga situationer. Förmågor som att fatta bra beslut, förstå detaljer och se helheten är sådant som AI-modeller ännu inte kan göra. Detta visar varför det är viktigt att utveckla nya metoder för att testa inte bara kunskap utan även kritiskt tänkande och problemlösningsförmåga.

AI-modeller kan vara till hjälp vid lärande, men de bör inte ersätta den djupa förståelse och kritiska tänkande som krävs för professionellt arbete. Vetenskap och teknik utvecklas snabbt, ofta snabbare än AI kan hänga med. Därför bör lärare skapa prov som fokuserar på färdigheter där AI inte är lika stark.

Experimentet vid OHSU visar hur AI kan användas i utbildning samtidigt som man säkerställer att studenterna verkligen förstår sitt ämne.