Wykrywanie oszustwa przy użyciu ChatGPT na egzaminach chemii za pomocą analizy statystycznej

WarsawNaukowcy z Florida State University (FSU) opracowali sposób wykrywania oszustw na egzaminach z chemii z pytaniami wielokrotnego wyboru za pomocą ChatGPT. Wykorzystują specjalne narzędzia statystyczne do analizy odpowiedzi egzaminacyjnych w celu ustalenia, czy użyto sztucznej inteligencji. Ta metoda pomaga wypełnić lukę w obecnych systemach wykrywania oszustw, które zazwyczaj koncentrują się na esejach i pytaniach otwartych, a nie na testach wielokrotnego wyboru.

Oto główne wnioski z przeprowadzonych badań:

Model Rascha został zastosowany do oceny prawdopodobieństwa poprawnych odpowiedzi, biorąc pod uwagę trudność pytania i umiejętności uczniów. Badacze zebrali dane z pięciu semestrów odpowiedzi studentów FSU i porównali je z odpowiedziami wygenerowanymi przez ChatGPT. ChatGPT wykazał niepowtarzalne wzorce odpowiedzi, które były rozpoznawalne dzięki statystykom dopasowania i analizie zachowań.

Model Rascha pokazuje, że sposób, w jaki uczniowie stale odpowiadają na pytania, może ujawnić poziom ich wiedzy. Uczniowie o wysokich wynikach zazwyczaj dobrze radzą sobie zarówno z trudnymi, jak i łatwymi pytaniami, podczas gdy ci uzyskujący słabsze wyniki przeważnie poprawnie odpowiadają na te łatwiejsze. Niekonsekwencje ChatGPT są jednak zauważalne - czasami dobrze odpowiada na trudne pytania, a proste rozwiązuje niepoprawnie, co różni się od zachowania ludzi. Taka niespójność może pomóc w identyfikacji odpowiedzi generowanych przez AI.

Zobacz również:

Dzisiaj · 12:21

Tajemnice Arima Hot Springs: woda zwiastująca trzęsienia ziemi

To badanie jest niezwykle istotne. W miarę jak narzędzia AI, takie jak ChatGPT, są coraz częściej wykorzystywane w edukacji, kluczowe jest zachowanie uczciwości egzaminów wielokrotnego wyboru. Tradycyjne metody, jak obecność nadzorujących i stosowanie programów do wykrywania plagiatów, mogą być niewystarczające w przypadku oszustw z użyciem AI. Zastosowanie zaawansowanych technik statystycznych może pomóc w wykrywaniu specyficznych wzorców charakterystycznych dla AI, co pozwala na utrzymanie wysokich standardów akademickich.

Badania wskazują, że treści tworzone przez AI mogą wydawać się przekonujące dla studentów lub osób niezaznajomionych z tematem, ale same nie rozumieją materiału. Podkreśla to, jak ważne jest krytyczne myślenie i dogłębne zrozumienie w edukacji. Studenci, którzy używają narzędzi AI do oszukiwania, tracą rzeczywiste szanse na naukę i mogą napotkać poważne konsekwencje akademickie.

Te odkrycia mogą być zastosowane w innych dziedzinach, które wykorzystują egzaminy wielokrotnego wyboru, nie tylko w chemii. Nauczyciele mogą używać tych metod statystycznych, aby zapewnić uczciwość i rzetelność różnych testów standaryzowanych oraz egzaminów wstępnych. Współpraca między Hansonem a Sorensonem pokazuje, jak współdziałanie w różnych dziedzinach może pomóc rozwiązywać trudne problemy edukacyjne.

Badanie to podkreśla konieczność ciągłego dostosowywania szkół do nowych technologii. W miarę jak sztuczna inteligencja się rozwija, musimy zadbać o to, by nasze metody jej wykorzystania w edukacji chroniły uczciwość w pracy akademickiej.