Detectar trampas en exámenes de química con ChatGPT usando herramientas estadísticas de FSU

MadridInvestigadores de la Universidad Estatal de Florida (FSU) han desarrollado una técnica para detectar trampas en exámenes de opción múltiple de química utilizando ChatGPT. Emplean herramientas estadísticas especiales para analizar las respuestas y determinar si se usó IA. Este método llena una laguna en los sistemas actuales de detección de trampas, que suelen centrarse en ensayos y preguntas abiertas en lugar de exámenes de opción múltiple.

Hallazgos clave de esta investigación son:

• Se utilizó el modelo de Rasch para evaluar la probabilidad de respuestas correctas en función de la dificultad de las preguntas y la habilidad de los estudiantes.
• Los investigadores recopilaron datos de cinco semestres de respuestas de estudiantes de FSU y las compararon con respuestas generadas por ChatGPT.
• ChatGPT mostró patrones de respuesta únicos, identificables a través de estadísticas de ajuste y análisis de comportamiento.

El modelo de Rasch demuestra que la forma en que los estudiantes responden a las preguntas puede revelar su nivel de conocimiento. Los estudiantes de alto rendimiento suelen acertar tanto las preguntas difíciles como las fáciles, mientras que los de bajo rendimiento aciertan mayormente las fáciles. ChatGPT, sin embargo, ofrece respuestas impredecibles; a veces acierta en preguntas complicadas, pero falla en las sencillas, lo cual difiere del comportamiento humano. Esta inconsistencia puede ser útil para identificar cuándo una respuesta ha sido generada por una IA.

Esta investigación es de suma importancia. Con el incremento del uso de herramientas de IA como ChatGPT en la educación, es esencial mantener la integridad de los exámenes de opción múltiple. Métodos tradicionales como la supervisión y los detectores de plagio pueden no ser efectivos contra el fraude con IA. La utilización de técnicas estadísticas avanzadas puede ser de gran ayuda. Al identificar patrones específicos de la IA, estas metodologías ayudan a preservar altos estándares académicos.

Lea también:

Hoy · 6:32

Desaceleración de proteínas en enfermedades crónicas abre nuevas vías terapéuticas potenciales

Las investigaciones indican que aunque el contenido generado por IA puede parecer convincente para estudiantes o personas que no estén familiarizadas con el tema, la tecnología en sí no comprende el material. Esto resalta la importancia de pensar críticamente y entender profundamente en el ámbito educativo. Los estudiantes que utilizan herramientas de IA para hacer trampa pierden valiosas oportunidades de aprendizaje y podrían enfrentar graves consecuencias académicas.

Estos hallazgos podrían aplicarse en otras asignaturas con exámenes de opción múltiple, no solo en química. Los profesores podrían utilizar estos métodos estadísticos para mantener la equidad y transparencia en diversas pruebas estandarizadas y exámenes de admisión. La colaboración entre Hanson y Sorenson demuestra cómo el trabajo conjunto en distintos ámbitos puede ayudar a resolver problemas educativos complejos.

Este estudio resalta la necesidad de que las escuelas continúen adaptándose para enfrentar las nuevas tecnologías. A medida que la IA avanza, debemos asegurarnos de que nuestros métodos de uso en educación protejan la integridad académica.