Ormai è comunemente accettato I sistemi di intelligenza artificiale possono rispondere a enormità per i loro utenti. Tra le pizze collanti di AI Overview (Google), le risposte imbarazzanti di Prometheus (Microsoft) e le false informazioni che ChatGPT si permette di produrre in determinati momenti, queste sono tutt’altro che perfette. Anche se queste allucinazioni stanno diventando meno comuni, OpenAI ha deciso di affrontare il problema sviluppando un’intelligenza artificiale, CriticGPT, per risolvere ChatGPT. Il serpente che si morde la coda ?
CriticGPT: un occhio attento al codice
Questo nuovo sistema si basa ovviamente sullo stesso modello linguistico di ChatGPT-4, ma è specializzato per rilevare le imperfezioni nelle risposte del chatbot. Analizza meticolosamente le righe di codice e quindi segnala potenziali errorialleviando così il lavoro dei revisori in carne ed ossa.
Questo progresso fa parte di un approccio più ampio volto ad allineare meglio i sistemi di intelligenza artificiale con le aspettative umane, in particolare attraverso l’apprendimento per rinforzo dal feedback umano. Uno studio recente, intitolato I critici dell’LLM aiutano a catturare i bug dell’LLMrivela che CriticGPT è stato addestrato su un set di dati disseminato di errori intenzionaliaffinando così la sua capacità di identificare e segnalare una miriade di bug di programmazione.
I risultati parlano da soli: nel 63% dei casi che coinvolgono errori naturali nei modelli linguistici, le critiche formulate da CriticGPT sono state favorite da revisori umani, superando quelle generate da altre IA o anche solo da esperti umani. Una collaborazione uomo-macchina che sembra funzionare a meraviglia.
Un saggio esperto, ma ancora imperfetto
CriticGPT va ancora oltre. Durante esperimenti dettagliati, il modello è stato confrontato con un campione di dati di addestramento di ChatGPT, precedentemente giudicato impeccabile dagli esperti umani. Contro ogni previsione, CriticGPT ha rilevato anomalie in quasi un quarto dei casi, anomalie successivamente confermate dai revisori. Le sue competenze vanno quindi oltre il campo del codice e CriticGPT è in grado di individuare anche sottili errori che sfuggirebbero all’occhio di un esperto umano.
Nella loro ricerca dell’eccellenza, i ricercatori hanno progettato una tecnica innovativa chiamata Force Sampling Beam Search (FSBS). Questo metodo ingegnoso consente di regolare con precisione il rigore di CriticGPT nel tracciamento delle imperfezioni, controllando allo stesso tempo la frequenza dei falsi positivi. È un algoritmo che preferisce esplorare strade meno probabili per generare una risposta piuttosto che optare per la scelta più ovvia.
Nonostante i notevoli progressi che offre, CriticGPT non è esente da alcune limitazioni inerenti alla sua progettazione. Il suo apprendimento, infatti, si è concentrato principalmente sull’analisi delle risposte sintetiche generate da ChatGPT, che potrebbero rivelarsi insufficienti per comprendere compiti di maggiore portata e complessità. Inoltre, sebbene CriticGPT riesca a mitigare in modo significativo gli errori, non è ancora riuscita ad eliminarli completamente. Pertanto, gli esperti umani responsabili della revisione rimangono suscettibili di commettere errori di valutazione basandosi su dati talvolta errati. Passaggio successivo: creare un nuovo modello linguistico per cercare errori CriticGPT dopo le correzioni alle risposte ChatGPT? Chi lo sa !
- CriticGPT è un nuovo sistema di intelligenza artificiale progettato per tenere traccia degli errori del codice ChatGPT.
- Il suo utilizzo permette di analizzare e segnalare errori nelle risposte prodotte dal chatbot che sono sfuggite alla correzione umana.
- Anche se si rivela efficace, resta comunque imperfetta e limitata.
Per non perdere nessuna novità di Presse-citron, seguici su Google News e WhatsApp.
