Disponibile dalla fine del 2022, ChatGPT ha superato la soglia dei 100 milioni di utenti in meno di un mese. Da allora, l’intelligenza artificiale si è gradualmente affermata in molte case e aziende. Tuttavia, fino ad ora, non è stato effettuato uno studio approfondito sul potenziale impatto degli assistenti AI sui metodi di valutazione utilizzati dagli istituti scolastici.
I ricercatori dell’EPFL hanno quindi condotto uno studio su larga scala su 50 corsi della loro scuola. Fanno parte di nove programmi di Bachelor e Master online e coprono una vasta gamma di discipline. “Questi dati sono stati riuniti in un formato che pensavamo somigliasse di più al modo in cui gli studenti li avrebbero comunicati”, spiega Antoine Bosselut, capo del Natural Language Processing Laboratory (NLP) e membro del Centro AI dell’Università. EPFL.
Gli scienziati hanno utilizzato otto strategie di prompt (l’arte di formulare richieste in modo tale che l’intelligenza artificiale comprenda appieno ciò che si sta cercando) per produrre risposte. Hanno scoperto che GPT-4 risponde correttamente in media al 65,8% delle domande e può persino fornire la risposta corretta in almeno una strategia di suggerimento per l’85,1% delle domande. “Siamo rimasti sorpresi dai risultati. Nessuno si aspettava che gli assistenti di intelligenza artificiale avrebbero ottenuto una percentuale così alta di risposte corrette in così tanti corsi”, afferma Anna Sotnikova, scienziata della PNL e coautrice della pubblicazione.
I ricercatori hanno così dimostrato teoricamente la vulnerabilità delle valutazioni all’utilizzo dell’IA da parte degli studenti. Se ChatGPT riesce a conseguire la laurea in ingegneria semplicemente digerendo i corsi man mano che gli studenti li ricevono, cosa ci dimostra che avranno effettivamente le competenze accademiche richieste? “A breve termine, dovremmo insistere affinché le valutazioni siano più difficili, non nel senso della difficoltà delle domande, ma nel senso della complessità della valutazione stessa”, suggerisce Antoine Bosselut, nel comunicato stampa pubblicato venerdì .
