Detectando a trapaça do ChatGPT em provas de química com ferramentas estatísticas avançadas

São PauloPesquisadores da Universidade Estadual da Flórida (FSU) desenvolveram uma técnica para identificar trapaças em provas de múltipla escolha de química utilizando o ChatGPT. Eles aplicam ferramentas estatísticas especiais para analisar as respostas dos testes e detectar a utilização de IA. Este método preenche uma lacuna nos sistemas atuais de detecção de trapaças, que geralmente se concentram em redações e questões abertas, em vez de testes de múltipla escolha.

Principais descobertas desta pesquisa são:

• Foi utilizado o modelo de Rasch para avaliar a probabilidade de acertos com base na dificuldade das questões e na habilidade dos alunos.
• Pesquisadores coletaram dados de cinco semestres de respostas de estudantes da FSU e os compararam com as respostas geradas pelo ChatGPT.
• O ChatGPT mostrou padrões de resposta únicos, distinguíveis através de estatísticas de ajuste e análise comportamental.

O modelo de Rasch demonstra que a consistência nas respostas dos alunos pode revelar seu nível de conhecimento. Alunos de alto desempenho tendem a acertar tanto questões difíceis quanto fáceis, enquanto os de baixo desempenho geralmente acertam apenas as fáceis. ChatGPT, por outro lado, apresenta respostas imprevisíveis, às vezes acertando questões difíceis, mas errando as simples, comportamento distinto dos humanos. Essa inconsistência pode ajudar a identificar quando uma resposta é gerada por IA.

Esta pesquisa é de suma importância. Com o aumento do uso de ferramentas de IA, como o ChatGPT, na educação, torna-se essencial manter a integridade dos exames de múltipla escolha. Métodos tradicionais, como vigilância presencial e verificadores de plágio, podem ser ineficazes contra fraudes envolvendo IA. O uso de técnicas estatísticas avançadas pode ser uma solução. Ao identificar padrões específicos de utilização de IA, essas técnicas ajudam a preservar elevados padrões acadêmicos.

Leia também:

Hoje · 06:32

Transporte lento de proteínas em doenças crônicas revela novos caminhos para tratamentos inovadores

A pesquisa revela que conteúdos criados por IA podem parecer convincentes para estudantes ou pessoas que não conhecem o assunto a fundo, mas a IA não compreende verdadeiramente o material. Isso destaca a importância de pensar criticamente e ter um entendimento profundo na educação. Alunos que utilizam ferramentas de IA para trapacear perdem oportunidades reais de aprendizado e podem enfrentar sérias consequências acadêmicas.

Essas descobertas poderiam ser aplicadas em outras disciplinas com provas de múltipla escolha, não apenas em química. Os professores podem utilizar esses métodos estatísticos para assegurar a justiça e integridade de diversos testes padronizados e exames de ingresso. A colaboração entre Hanson e Sorenson demonstra como a parceria interdisciplinar pode ajudar a resolver problemas educacionais desafiadores.

Este estudo enfatiza a necessidade das escolas adaptarem-se constantemente para lidar com novas tecnologias. Com o aprimoramento da inteligência artificial, é crucial que nossas estratégias para integrá-la na educação mantenham a integridade nos trabalhos acadêmicos.