Mit Statistik gegen ChatGPT: FSU entwickelt Methode zur Entdeckung von KI-Schummelei bei Chemietests

BerlinWissenschaftler der Florida State University (FSU) haben eine Methode entwickelt, um Betrug bei Multiple-Choice-Chemieprüfungen mit ChatGPT aufzudecken. Sie setzen spezielle statistische Werkzeuge ein, um die Prüfungsantworten zu analysieren und herauszufinden, ob eine KI verwendet wurde. Diese Methode schließt eine Lücke in den bestehenden Betrugserkennungssystemen, die sich normalerweise auf schriftliche Aufsätze und offene Fragen konzentrieren, anstatt auf Multiple-Choice-Tests.

Wichtige Erkenntnisse aus dieser Untersuchung sind:

• Das Rasch-Modell wurde verwendet, um die Wahrscheinlichkeit richtiger Antworten basierend auf der Schwierigkeit der Fragen und der Fähigkeit der Schüler zu bewerten.
• Forscher sammelten Daten aus fünf Semestern an FSU-Studentenantworten und verglichen diese mit den von ChatGPT generierten Antworten.
• ChatGPT zeigte einzigartige Antwortmuster, erkennbar durch Fit-Statistiken und Verhaltensanalysen.

Das Rasch-Modell zeigt, dass die Konsistenz, mit der Schüler Fragen beantworten, ihren Wissensstand offenbart. Hochleistungsstudenten beantworten normalerweise sowohl schwierige als auch einfache Fragen korrekt, während leistungsschwache Schüler eher nur die einfachen Fragen richtig beantworten. ChatGPT hingegen antwortet unvorhersehbar, manchmal richtig bei schwierigen Fragen, aber falsch bei einfachen. Diese Unbeständigkeit unterscheidet es deutlich von menschlichem Verhalten und kann dazu beitragen, AI-generierte Antworten zu identifizieren.

Diese Forschung ist von großer Bedeutung. Da KI-Werkzeuge wie ChatGPT zunehmend im Bildungsbereich eingesetzt werden, ist es entscheidend, Multiple-Choice-Prüfungen fair zu gestalten. Traditionelle Methoden wie Aufsichtspersonen und Plagiatsprüfungen sind möglicherweise gegen KI-Betrug ineffektiv. Der Einsatz fortschrittlicher statistischer Techniken kann Abhilfe schaffen. Indem sie muster, die typisch für KI sind, identifizieren, tragen diese Methoden dazu bei, hohe akademische Standards aufrechtzuerhalten.

Lesen Sie auch:

Gestern · 12:21

Geheime Wasserbewegungen: Arimas unsichtbaren Seismikindikator entdecken

Forschungen zeigen, dass von KI erstellte Inhalte für Schüler oder Menschen ohne Fachkenntnisse glaubwürdig erscheinen können, aber das Material nicht wirklich verstehen. Dies unterstreicht die Bedeutung kritischen Denkens und tiefen Verständnisses in der Bildung. Schüler, die KI-Tools zum Schummeln nutzen, verpassen wertvolle Lernchancen und riskieren ernsthafte akademische Konsequenzen.

Diese Erkenntnisse könnten auch in anderen Fächern mit Multiple-Choice-Prüfungen angewendet werden, nicht nur in der Chemie. Lehrkräfte könnten diese statistischen Methoden nutzen, um verschiedene standardisierte Tests und Aufnahmeprüfungen fair und transparent zu gestalten. Die Zusammenarbeit zwischen Hanson und Sorenson verdeutlicht, wie interdisziplinäre Kooperationen helfen können, schwierige Bildungsprobleme zu lösen.

Diese Studie unterstreicht die Notwendigkeit, dass Schulen sich kontinuierlich an neue Technologien anpassen müssen. Während sich die KI weiterentwickelt, ist es entscheidend, dass unsere Methoden zu ihrem Einsatz im Bildungswesen die Integrität der akademischen Arbeit wahren.