Individuare se ChatGPT bara negli esami di chimica con strumenti statistici della FSU

RomeRicercatori della Florida State University (FSU) hanno sviluppato un metodo per individuare chi bara negli esami a scelta multipla di chimica utilizzando ChatGPT. Utilizzano strumenti statistici speciali per analizzare le risposte ai test e verificare se è stato usato l'AI. Questo approccio colma una lacuna nei sistemi attuali di rilevamento del cheating, che di solito si concentrano su saggi scritti e domande aperte piuttosto che su test a scelta multipla.

Risultati principali di questa ricerca:

• Il modello di Rasch è stato utilizzato per valutare la probabilità di risposte corrette in base alla difficoltà delle domande e alle capacità degli studenti.
• I ricercatori hanno raccolto dati da cinque semestri di risposte degli studenti della FSU, confrontandoli con le risposte generate da ChatGPT.
• ChatGPT ha mostrato schemi di risposta unici, distinguibili attraverso statistiche di adattamento e analisi comportamentale.

Il modello di Rasch dimostra che la coerenza nelle risposte degli studenti può rivelare il loro livello di conoscenza. Gli studenti più bravi rispondono correttamente sia alle domande difficili che a quelle facili, mentre quelli con prestazioni più basse rispondono correttamente soprattutto a quelle facili. ChatGPT, invece, offre risposte imprevedibili, talvolta rispondendo esattamente a domande difficili ma sbagliando quelle semplici, comportamento diverso da quello umano. Questa inconsistenza può aiutare a identificare quando una risposta è generata dall'intelligenza artificiale.

Questa ricerca è di grande rilevanza. Con l'uso crescente di strumenti AI come ChatGPT nell'educazione, è cruciale mantenere l'integrità degli esami a scelta multipla. I metodi tradizionali come la presenza di sorveglianti e l'uso di software antiplagio potrebbero non essere efficaci contro l'imbroglio con le AI. L'impiego di tecniche statistiche avanzate può essere d'aiuto. Identificando schemi specifici delle AI, questi metodi contribuiscono a mantenere elevati gli standard accademici.

Leggi anche:

Ieri · 12:21

Segreti dell'acqua e terremoti: connessione Arima-Kobe

La ricerca indica che i contenuti creati dall'AI possono sembrare convincenti per studenti o persone non esperte, ma l'intelligenza artificiale non comprende veramente il materiale. Ciò evidenzia l'importanza del pensiero critico e della comprensione profonda nell'istruzione. Gli studenti che usano strumenti AI per imbrogliare perdono preziose opportunità di apprendimento e rischiano gravi conseguenze accademiche.

Questi risultati potrebbero essere applicati anche in altre materie con esami a scelta multipla, non solo in chimica. Gli insegnanti potrebbero utilizzare questi metodi statistici per mantenere equi e onesti vari test standardizzati ed esami di ammissione. La collaborazione tra Hanson e Sorenson dimostra come lavorare insieme in campi diversi possa contribuire a risolvere problemi educativi complessi.

Questo studio sottolinea l'importanza per le scuole di adattarsi continuamente per affrontare le nuove tecnologie. Con il miglioramento dell'IA, è essenziale garantire che i nostri metodi di utilizzo nell'istruzione mantengano l'integrità del lavoro accademico.