Uno studio dell’EPFL pubblicato sulla rivista americana PNAS ha testato sistemi come ChatGPT per rispondere alle valutazioni universitarie. L’intelligenza artificiale può fornire l’85% di risposte corrette, se informata in anticipo. Se lo studio venisse ripetuto oggi, questa cifra sarebbe ancora più alta.
Concentrandosi su GPT-3.5 e GPT-4, gli scienziati hanno utilizzato otto diverse strategie per produrre risposte. Hanno scoperto che GPT-4 rispondeva correttamente in media al 65,8% delle domande e poteva persino fornire la risposta corretta in almeno una strategia per l’85,1% delle domande.
Più precisamente, il 65% delle risposte corrette sono state ottenute utilizzando la strategia più elementare, senza alcuna conoscenza preliminare. “Con una certa conoscenza dell’argomento è stato possibile raggiungere una percentuale di successo dell’85%”, afferma Anna Sotnikova, coautrice dell’articolo.
>>Leggi anche: Le università stanno gradualmente introducendo le regole del gioco di fronte all’intelligenza artificiale
I ricercatori sono “scioccati” da questi risultati
La percentuale di risposte corrette dell’85% “è stata davvero uno shock”, ammette Anna Sotnikova. “Siamo rimasti sorpresi dai risultati. Nessuno si aspettava che gli assistenti dell’IA avrebbero ottenuto una percentuale così alta di risposte corrette in così tanti corsi”, continua il ricercatore.
Gli assistenti IA non peggioreranno, miglioreranno solo. La conclusione degli scienziati è che se lo studio riprendesse oggi, i numeri sarebbero ancora più alti.
50 corsi studiati
Nel loro studio gli scienziati della Facoltà di informatica e comunicazione hanno esaminato 50 corsi dell’EPFL per misurare la performance attuale di questi grandi modelli linguistici (LLM) nella valutazione dei corsi dell’istruzione superiore. I corsi selezionati fanno parte di nove programmi di Bachelor e Master online e coprono un’ampia gamma di discipline, tra cui informatica, matematica, biologia, chimica, fisica e scienza dei materiali.
“Questi dati sono stati riuniti in un formato che credevamo somigliasse di più al modo in cui gli studenti avrebbero comunicato queste informazioni ai modelli”, spiega Antoine Bosselut, assistente professore e membro dell’EPFL AI Center, citato nel comunicato stampa.
Adattare l’istruzione
“A breve termine, dovremmo insistere affinché le valutazioni siano più difficili, non nel senso della difficoltà delle domande, ma nel senso della complessità della valutazione stessa”, suggerisce Antoine Bosselut. Secondo i ricercatori, a lungo termine è chiaro che i sistemi educativi dovranno adattarsi.
“È solo l’inizio e penso che si possa fare un’analogia tra gli attuali LLM e le calcolatrici. Quando furono introdotti c’erano le stesse preoccupazioni che i bambini non imparassero più la matematica”, nota Beatriz Borges, coautrice di questa ricerca.
“Oggi, nelle prime fasi dell’istruzione, le calcolatrici in genere non sono ammesse, ma sono presenti a partire dalle classi superiori, per svolgere compiti di livello inferiore mentre gli studenti acquisiscono competenze più avanzate” , conclude il ricercatore.
lia con ats
Related News :