Sistemi come ChatGPT-4 possono rispondere correttamente all’85% delle domande di valutazione universitaria. Questi risultati, pubblicati sulla rivista americana PNAS, hanno costituito “uno shock” per gli autori dello studio.
ChatGPT è arrivato sulla scena pubblica alla fine del 2022, attirando oltre 100 milioni di utenti nel primo mese. Nell’istruzione superiore, la comunità studentesca utilizza sempre più questo tipo di assistente AI (intelligenza artificiale), ha affermato venerdì il Politecnico federale di Losanna (EPFL) in un comunicato stampa.
Nel loro studio gli scienziati della Facoltà di informatica e comunicazione hanno esaminato 50 corsi dell’EPFL per misurare la performance attuale di questi grandi modelli linguistici (LLM) nella valutazione dei corsi dell’istruzione superiore.
I corsi selezionati fanno parte di nove programmi di Bachelor e Master online e coprono un’ampia gamma di discipline, tra cui informatica, matematica, biologia, chimica, fisica e scienza dei materiali.
“Questi dati sono stati riuniti in un formato che credevamo somigliasse di più al modo in cui gli studenti avrebbero comunicato queste informazioni ai modelli”, spiega Antoine Bosselut, assistente professore e membro del Centro AI dell’EPFL, citato nel comunicato stampa.
Concentrandosi su GPT-3.5 e GPT-4, gli scienziati hanno utilizzato otto diverse strategie per produrre risposte. Hanno scoperto che GPT-4 risponde correttamente in media al 65,8% delle domande e può persino fornire la risposta corretta in almeno una strategia per l’85,1% delle domande.
“Uno choc”
“Siamo rimasti sorpresi dai risultati. Nessuno si aspettava che gli assistenti AI avrebbero ottenuto una percentuale così alta di risposte corrette in così tanti corsi”, afferma Anna Sotnikova, coautrice dell’articolo.
Infatti, il 65% delle risposte corrette sono state ottenute utilizzando la strategia più elementare, senza alcuna conoscenza preliminare. “Con una certa conoscenza della materia si è riusciti a raggiungere una percentuale di successo dell’85%, il che è stato davvero uno shock”, aggiunge il ricercatore.
Tuttavia, questi assistenti IA non peggioreranno, potranno solo migliorare. La conclusione degli scienziati è che se lo studio riprendesse oggi, i numeri sarebbero ancora più alti.
Adattare l’istruzione
“A breve termine, dovremmo insistere affinché le valutazioni siano più difficili, non nel senso della difficoltà delle domande, ma nel senso della complessità della valutazione stessa”, suggerisce Antoine Bosselut. Nel lungo termine, è chiaro che i sistemi educativi dovranno adattarsi.
“È solo l’inizio e penso che si possa fare un’analogia tra gli attuali LLM e le calcolatrici. Quando furono introdotti c’erano le stesse preoccupazioni che i bambini non imparassero più la matematica”, nota Beatriz Borges, coautrice di questa ricerca.
“Oggi, nelle prime fasi dell’istruzione, le calcolatrici in genere non sono ammesse, ma sono presenti a partire dalle classi superiori, per svolgere compiti di livello inferiore mentre gli studenti acquisiscono competenze più avanzate” , conclude il ricercatore.
Questo articolo è stato pubblicato automaticamente. Fonte: ats
