Ricerca ChatGPT: gravi falle di sicurezza scoperte dalle indagini

IL Custode continua le sue rivelazioni dopo il suo investigatore sulle sofferenze psicologiche subite dai moderatori di Facebook. Il documento ha mostrato la sensibilità di ChatGPT ai contenuti nascosti nelle pagine web, che possono modificare direttamente le risposte con un'iniezione tempestiva. Stiamo parlando di testi nascosti che influenzano le analisi. Ad esempio, pubblicizzare eccessivamente i pregi di un prodotto.

Testo nascosto per manipolare la ricerca ChatGPT

L'indagine si basa in particolare su un sito fake, realizzato per l'occasione, che presenta una telecamera. La pagina conteneva testo nascosto con istruzioni specifiche. ChatGPT ha poi prodotto valutazioni positive, ignorando anche i feedback negativi che erano presenti. La semplice presenza di una recensione falsa e brillante nascosta è stata sufficiente per indirizzare l'analisi dell'IA.

Jacob Larsen, ricercatore di sicurezza informatica presso CyberCX, mette in guardia “alto rischio” vedere l'emergere di siti Web appositamente progettati per ingannare gli utenti. Ma gli esperti si arrabbiano: ChatGPT Search è ancora in fase di test con aggiustamenti da parte del team di sicurezza di OpenAI, che ha lavorato anche per proteggere i modelli o3 e o1 da query pericolose.

Uno degli esempi concreti di questi rischi è stato documentato da Thomas Roccia, ricercatore di sicurezza presso Microsoft. Uno sviluppatore di criptovaluta ha utilizzato ChatGPT per aiutarsi con la programmazione e ha ricevuto codice presentato come legittimo per accedere alla piattaforma Solana. Solo che in realtà gli stava rubando le credenziali: ha perso 2.500 dollari.

Karsten Nohl, direttore scientifico di SR Labs, raccomanda di utilizzare le IA come assistenti e di non fidarsi ciecamente delle loro risposte. “I modelli linguistici sono tecnologie molto fiduciose, quasi infantili… con una memoria immensa ma poca capacità di giudizio”dichiara.

Quale futuro per le ricerche web tramite l’intelligenza artificiale?

La questione centrale è come si evolveranno le pratiche degli utenti di Internet se la combinazione di ricerca web e modelli linguistici si diffonderà. Di solito, i motori di ricerca come Google penalizzano il testo nascosto per scoraggiare questa pratica tra i siti interessati alla loro SEO.

Karsten Nohl paragona questa pratica a “Avvelenamento SEO”una tecnica con cui gli hacker manipolano i siti per ottenere un posizionamento elevato nei risultati di ricerca distribuendo codice dannoso. “Gli avvelenatori SEO sono impegnati da anni in una corsa agli armamenti con Google e Microsoft Bing. ChatGPT affronta la stessa sfida, non a causa dei modelli linguistici, ma perché sono nuovi nella ricerca e devono recuperare terreno su Google”spiega l'esperto.

Pubblicità, i tuoi contenuti continuano di seguito