IA supera estudantes: estudo coloca ChatGPT contra alunos em curso de Biomedicina na OHSU

São PauloPesquisadores testaram modelos de IA em um curso universitário sobre informática biomédica e de saúde. William Hersh, M.D., e Kate Fultz Hollis, da Oregon Health & Science University (OHSU), queriam avaliar o desempenho desses modelos de IA, incluindo o ChatGPT, em sua aula. Surpreendentemente, os modelos de IA tiveram um desempenho superior a até 75% dos estudantes humanos.

Pesquisadores testaram seis modelos de IA para avaliar seu desempenho. Eles aplicaram as mesmas provas que 139 estudantes de informática biomédica e de saúde fizeram em 2023. A IA obteve pontuações entre os 50% e 75% melhores em questionários de múltipla escolha e exames finais com respostas escritas curtas. Essa descoberta pode transformar nossa visão e utilização dos métodos de avaliação tradicionais no futuro.

Principais Resultados de Avaliações com IA Generativa:

• Foram testados seis modelos de IA generativa.
• Comparou-se o desempenho de 139 estudantes.
• Os modelos de IA ficaram entre o 50º e 75º percentil.
• Avaliações incluíam provas de múltipla escolha e respostas escritas curtas.

A IA é capaz de lidar muito bem com testes baseados em conhecimento. Em alguns cursos, essa tecnologia pode substituir de forma eficaz o aprendizado tradicional, especialmente quando se trata de conhecimento factual. No entanto, o uso da IA para essas tarefas suscita novos desafios. Será que esses modelos de IA fazem com que os alunos se envolvam menos profundamente com o material e criem um ambiente de aprendizado passivo?

As questões éticas do uso de IA na educação são relevantes. Se a IA pode lembrar e processar informações de maneira superior, surgem preocupações sobre a cola. Como os professores podem garantir que os alunos estão realmente aprendendo e não apenas usando IA para obter boas notas?

O ensino superior visa formar profissionais que não só dominem informações, mas que também saibam aplicá-las em situações reais. Competências como tomar decisões acertadas, interpretar detalhes e ter uma visão abrangente são habilidades que os modelos de IA ainda não conseguem dominar. Isso destaca a importância de desenvolver novas formas de avaliar não apenas o conhecimento, mas também o pensamento crítico e a capacidade de resolver problemas.

Modelos de IA podem auxiliar no aprendizado, mas não devem substituir a compreensão profunda e o pensamento crítico necessários para trabalhos profissionais. A ciência e a tecnologia mudam rapidamente, muitas vezes mais depressa do que a IA consegue acompanhar. Por isso, os professores devem elaborar provas que enfoquem habilidades onde IA não é tão eficaz.

O experimento na OHSU demonstra como utilizar IA na educação garantindo que os alunos compreendam plenamente o seu conteúdo.