I sistemi di intelligenza artificiale sono in grado di scrivere righe di codice e controllare un computer. Cosa impedisce loro di creare altre IA? La loro mancanza di volontà propria e la loro incapacità di adattarsi dinamicamente. Spiegazioni.
Alla fine di ottobre 2024, Anthropic ha presentato Computer-Use, un programma che consente al suo modello di intelligenza artificiale Claude di controllare un computer come un essere umano. Cosa accadrebbe se un’intelligenza artificiale potesse accedere anche a risorse finanziarie per acquisire macchine e servizi aggiuntivi? Questa ipotesi, sebbene esagerata, solleva una questione affascinante. Potrebbe davvero un’intelligenza artificiale diventare autonoma e creare altre IA senza l’intervento umano?
Come vedremo, grandi aziende come OpenAI, Facebook o Google stanno già utilizzando le IA per addestrare IA sempre più complesse, e questo non è un segreto, nemmeno per le IA.
Le IA addestrano le IA
Per capire come ciò sia possibile, dobbiamo tornare indietro e spiegare cosa ha consentito i recenti progressi. Tutto è iniziato nel 2017 quando un team di ricercatori di Google ha pubblicato un articolo scientifico: “L’attenzione è tutto ciò di cui hai bisogno”. In questa pubblicazione, i ricercatori hanno introdotto una nuova architettura neurale chiamata “Transformers” che impara a quali parole “prestare attenzione” per poter generare la parola successiva. Questa architettura di Transformers ora struttura tutte le reti neurali delle moderne IA che generano testo.
La comparsa di Transformers ha portato OpenAI a lanciare la prima versione di GPT per generare testo nel 2018. Anche se i principi fondamentali si sono evoluti poco da allora, la portata e l’ambizione dei “grandi modelli linguistici” (o grandi modelli linguisticiLLM in inglese) sono esplosi.
Così, nel maggio 2020, l’arrivo di GPT-3 segna l’inizio di una categoria di intelligenza artificiale in grado di modellare i linguaggi umani utilizzando gigantesche reti neurali, siano esse naturali come il francese o formali come il C++ in informatica. Si noti che modellare con le statistiche non significa comprendere con processi cognitivi, e queste IA producono ancora risposte assurde a domande banali.
Per saperne di più: Parla liscio come un’intelligenza artificiale
I modelli sono poi passati da 1,5 miliardi di connessioni per GPT-2 a qualche centinaio di miliardi per GPT-3 e suoi successori, il che corrisponde a passare dal cervello di un’ape a quello di un criceto in termini di numero di sinapsi. Tuttavia, l’aumento delle loro dimensioni ha subito un rallentamento negli ultimi anni e non rappresenta più il principale motore del progresso.
Dobbiamo invece esaminare i cambiamenti nelle metodologie che avvengono prima e dopo l’addestramento del modello.
Dati più numerosi e migliori
La formazione LLM si basa su testi che servono da riferimento per insegnare loro a prevedere la parola successiva in una frase. Per migliorare questo apprendimento utilizziamo sempre più dati: GPT-2 è stato addestrato su 30 miliardi di parole (organizzate in frasi, paragrafi e testi), rispetto agli undicimila miliardi di LLaMa-3.
Tuttavia non tutti i testi, soprattutto quelli provenienti dal web, hanno la stessa qualità. Gli ingegneri utilizzano quindi algoritmi di pulizia e, più recentemente, gli stessi LLM per migliorare, riformulare o generare questi dati (ad esempio per LLaMa-3 o Qwen 2.5).
Pertanto, se le IA partecipano già alla formazione di altre IA, questa pratica rimane limitata dalla lentezza dei LLM. GPT-4 impiegherebbe circa 17.000 anni per generare solo undici trilioni di parole (o circa 500 terabyte di dati).
Una volta che i dati sono stati raccolti, puliti e generati, arriva la fase di apprendimento vera e propria. Questa fase rimane difficile da implementare e richiede un numero colossale di risorse di calcolo, ma poco è cambiato dalla prima versione di GPT nel 2018.
Supervisionare l’apprendimento di un’IA fornendole feedback costruttivi
D’altro canto, i ricercatori hanno esaminato la questione del miglioramento di un LLM dopo la formazione. Infatti, una delle preoccupazioni di un LLM grezzo è che è imprevedibile e non corrisponde necessariamente ai bisogni umani dal punto di vista delle competenze (reclutamento, diagnosi mediche, matematica) o del comportamento etico e sociale (chatbot politicamente corretto, senza discriminazioni e nel rispetto delle leggi).
È nata quindi l’idea di calibrare gli LLM in modo che si adattino meglio alle preferenze dei suoi utenti. Per fare ciò, la tecnica dell’apprendimento per rinforzo basato sul feedback umano chiede agli umani la loro opinione sui testi generati e forma gli LLM a compiacere gli umani.
Questo processo ha consentito un grande balzo in avanti nel 2022 con InstructGPT, precursore di ChatGPT. Tuttavia, è estremamente costoso in quanto richiede molto lavoro manuale. LLaMa-3 richiedeva che dieci milioni di preferenze venissero annotate dagli esseri umani. Questi lavoratori sono spesso sottopagati e si trovano in situazioni precarie.
Leggi tutto: “Condannati digitali”: come una decisione del tribunale in Kenya indebolisce il subappalto delle multinazionali del web
Questo è il motivo per cui i ricercatori cercano di fare il più possibile a meno dell’aiuto umano.
Quando le IA addestrano le IA
Nel luglio 2024, un team di scienziati Microsoft rilascia AgentInstruct, un nuovo metodo per insegnare nuove competenze e comportamenti agli LLM.
Questo metodo è incentrato sulla creazione di “agenti” specializzati in molti campi (matematica, programmazione, medicina) che fungono da insegnanti per il sistema che si apprende. In questo caso, un agente è esso stesso un LLM, ma arricchito con dati e strumenti esterni aggiuntivi, come una calcolatrice, Internet o un compilatore di codici informatici. Meglio attrezzato e specializzato di un solo LLM, eccelle nel campo prescelto. AgentInstruct utilizza un battaglione di agenti che insegneranno le loro conoscenze a un LLM.
Il risultato: il LLM procede senza accesso ad altre risorse, a differenza degli agenti. Ad esempio, un agente dotato di calcolatrice può migliorare il calcolo mentale di un LLM.
Allo stesso modo, grazie al programma Computer-Use, Claude potrebbe sfruttare numerosi strumenti informatici per raccogliere, pulire e organizzare i propri dati, o addirittura addestrare modelli di intelligenza artificiale in modo più autonomo mobilitando agenti specializzati. Chiedigli come potrebbe migliorare se stesso e questo è più o meno quello che ti dirà (o reclutare un esercito di umani per annotare i dati).
Ma allora come spiegare che non sia ancora capace di riprodursi e di migliorarsi?
Davanti a un’intelligenza artificiale in grado di riprodursi, un lungo percorso tecnico e questioni etiche
Questa capacità di creare agenti specializzati solleva questioni cruciali. Chi controlla gli agenti? Se le IA partecipano al proprio miglioramento, come possiamo garantire che la loro evoluzione rimanga etica e allineata con gli interessi umani? Il ruolo degli sviluppatori e dei regolatori sarà centrale per evitare potenziali abusi.
Non siamo ancora arrivati a questo punto per diversi motivi. Gli attuali LLM, sebbene efficienti, sono limitati: faticano a pianificare progetti complessi, richiedono costanti aggiustamenti durante la loro formazione e dipendono ancora in gran parte dall’intervento umano, in particolare in centri datiper gestire e manutenere le macchine fisiche.
Inoltre, senza la propria volontà, non possono fissare obiettivi autonomi, indipendenti dalle preferenze umane apprese. Sam Altman, CEO di OpenAI, parla della possibile comparsa dell’intelligenza artificiale generale già nel 2025, ma questa previsione rimane controversa, perché richiederebbe scoperte tecniche e una migliore comprensione dei meccanismi cognitivi umani.
Il successo degli LLM si basa su quattro pilastri: aumento delle dimensioni, innovazioni architetturali, miglioramento delle tecniche di calibrazione e perfezionamento dei dati. I recenti progressi, inclusa l’automazione tramite agenti specializzati, mostrano già che le IA stanno svolgendo un ruolo crescente nella creazione di altre IA. Tuttavia, senza una propria volontà o una vera autonomia, l’idea di un’IA capace di moltiplicarsi o migliorare in modo indipendente è ancora fantascienza.
In effetti, una rivoluzione di questa portata richiederebbe uno sconvolgimento dei paradigmi attuali, con architetture neurali capaci di un’intelligenza veramente adattiva e generalizzata. Attualmente, una volta terminata la fase di apprendimento, le reti neurali LLM diventano fisse: non possono più evolversi né acquisire nuove competenze in modo autonomo, anche dopo milioni di interazioni con utenti umani. A differenza degli esseri umani, che apprendono attraverso il contatto con gli altri o attraverso la riflessione interna, gli LLM non dispongono di meccanismi per adattare dinamicamente la propria struttura interna o costruire rappresentazioni profonde e rivedibili del mondo esterno. Yann LeCun, vincitore francese del Premio Turing 2019, immagina una nuova generazione di IA dotata di modelli interni, in grado di simulare ipotesi e pianificare come farebbe un essere umano, integrando osservazioni per confrontarle con aspettative preesistenti. Tuttavia, l’attuazione pratica di questa visione rimane una sfida scientifica.
Forse negli anni a venire arriverà una svolta decisiva come quella di Transformers nel 2017. Ma per ora, la visione di intelligenze artificiali completamente autonome, come le sonde di Von Neumann che colonizzeranno l’universo, rimane ipotetica.
Questo scenario ci invita però a riflettere oggi sulle questioni etiche e sui presidi legislativi e tecnici necessari per regolare l’evoluzione di queste tecnologie.
