⇧ [VIDÉO] Potrebbero piacerti anche questi contenuti dei partner
I modelli linguistici più avanzati fino ad oggi, come GPT-4 di OpenAI, stanno diventando così buoni che ora è difficile distinguerli per iscritto. GPT-4 ha ottenuto in particolare un punteggio del 54% (superato) durante un recente test in cui doveva fingere di essere un essere umano durante una conversazione di cinque minuti (test di Turing). Tuttavia, la rapida evoluzione di questi sistemi sembra diventare molto problematica per il campo educativo. Lo ha appena dimostrato un esperimento condotto da ricercatori dell’Università di Reading volto a infiltrarsi segretamente negli esami universitari per farli sostenere da un’intelligenza artificiale.
Durante la pandemia di COVID-19, molte università in tutto il mondo sono passate da esami supervisionati in sede a sessioni di esami a domicilio non supervisionate. Oggi, anche se non esiste più il confinamento, questa pratica continua, ed è ciò che preoccupa docenti e ricercatori.
Infatti, con strumenti di intelligenza artificiale sempre più efficienti e accessibili, gli studenti possono facilmente imbrogliare inviando lavoro generato interamente o in gran parte da loro. Soprattutto da quando la situazione è diventata sempre più complicata a causa del calo di affidabilità degli strumenti di rilevamento del testo creati dall’intelligenza artificiale, che nella maggior parte dei casi sono diventati inefficaci.
Una prova nel mondo reale
Per misurare la portata del problema nel settore dell’istruzione, in particolare nelle università e nei college, i ricercatori hanno effettuato un “test di infiltrazione”. Con i suoi colleghi, Peter Scarfe, professore e ricercatore dell’Università di Reading, ha giocato con i voti degli esami dell’istituto per vedere se sarebbero riusciti a distinguere le risposte generate da un’intelligenza artificiale da quelle scritte da studenti reali. Per fare ciò, hanno sostenuto un esame di psicologia presso la loro struttura e hanno fornito risposte interamente prodotte da GPT-4 (il modello linguistico più potente di OpenAI) sotto 33 falsi nomi di studenti.
« Molte istituzioni si sono allontanate dagli esami tradizionali per rendere la valutazione più inclusiva. La nostra ricerca mostra che comprendere come l’intelligenza artificiale influenzerà l’integrità delle valutazioni educative è di importanza internazionale disse Scarfè. Questo studio cieco, volto a sfidare gli educatori umani a rilevare i contenuti generati dall’intelligenza artificiale, è il più grande del suo genere condotto fino ad oggi.
Risultati chiari
I risultati dello studio, pubblicati sulla rivista PLOS UNO il 26 giugno, sono definitive. Il 94% delle risposte generate da Chat GPT, inviate per diversi moduli di psicologia universitari, non sono state smascherate (come provenienti da un’intelligenza artificiale). Ancora più sorprendente è che, nell’83,4% dei casi, i compiti di intelligenza artificiale hanno ricevuto voti più alti rispetto agli studenti (selezionati casualmente). Tuttavia, Scarfe e il suo team non hanno potuto escludere il fatto che anche questi studenti avrebbero potuto utilizzare l’intelligenza artificiale per rispondere alle domande.
Vedi anche
Questi risultati evidenziano quindi due problemi principali. Da un lato c’è un’alta probabilità che gli studenti utilizzino l’intelligenza artificiale per imbrogliare senza che vengano scoperti. D’altra parte, potrebbero ottenere voti migliori rispetto ad altri che non avrebbero imbrogliato. “ Il rilascio di questo test di garanzia della qualità nel mondo reale dimostra molto chiaramente che gli strumenti di intelligenza artificiale generativa liberamente e apertamente disponibili consentono agli studenti di imbrogliare facilmente negli esami da portare a casa per ottenere voti migliori, mentre tale imbroglio non è rilevabile “, ha affermato Karen Yeung, professoressa dell’Università di Birmingham, specialista in diritto, etica e informatica.
Per affrontare efficacemente questi problemi, Scarfe suggerisce semplicemente un ritorno agli esami supervisionati di persona. Tuttavia, la professoressa Elizabeth McCrum, vicerettore per l’istruzione e l’esperienza studentesca presso l’Università di Reading, non è d’accordo. Lei disse: ” È chiaro che l’intelligenza artificiale avrà un effetto trasformativo in molti aspetti della nostra vita, compreso il modo in cui insegniamo agli studenti e valutiamo il loro apprendimento. Tuttavia, le soluzioni includono l’abbandono di idee obsolete sulla valutazione e verso idee più rilevanti per le competenze di cui gli studenti avranno bisogno sul posto di lavoro, compreso l’uso dell’intelligenza artificiale. “, conclude McCrum.
