JFrog scopre il livello CVE 10 per l’uso di modelli linguistici di grandi dimensioni (LLM)

Il team di ricerca sulla sicurezza di JFrog annuncerà nuove scoperte che costituiscono una minaccia CVE di livello 10 (esecuzione di codice banale, remota, possibilmente non autenticata). Questi risultati riguardano l’utilizzo di modelli linguistici di grandi dimensioni (LLM), sempre più utilizzati nel panorama dell’intelligenza artificiale, soprattutto dopo il lancio di ChatGPT. Gli LLM sono ora tra il 14% delle tecnologie emergenti.

Questi risultati ruotano specificamente attorno a una vulnerabilità zero-day che il team di ricerca sulla sicurezza di JFrog ha recentemente scoperto e divulgato in una popolare libreria ML, la libreria Vanna.AI. Offre agli utenti un’interfaccia text-to-SQL, che presenta una vulnerabilità legata all’esecuzione di codice in modalità remota tramite tecniche di prompt injection note come CVE-2024-5565. Questo attacco può essere utilizzato per aggirare le misure di protezione “pre-prompt” integrate nei LLM, che possono, ad esempio, costringere un LLM a restituire informazioni sensibili o dannose che non dovrebbe condividere, il che potrebbe avere un impatto negativo di vasta portata .

A causa del recente aumento di AI e ML, molti sviluppatori utilizzano i prompt LLM e li collegano a varie risorse (database, API, generatori di codice, ecc.), che, come mostra lo studio di JFrog, possono essere estremamente pericolosi e mettere le organizzazioni in difficoltà. alto rischio di attacco con esecuzione di codice in modalità remota che dà pieno accesso alla macchina che ospita LLM. Ciò può portare al furto di proprietà intellettuale (furto di modelli ML) o a ulteriori infezioni dei sistemi dell’organizzazione.

Alla domanda su questa vulnerabilità, Shachar Menasche, direttore senior della ricerca sulla sicurezza presso JFrog, ha dichiarato:

“Questa scoperta dimostra che i rischi di un uso diffuso di IA Gen/LLM senza un’adeguata governance e sicurezza possono avere implicazioni drammatiche per le organizzazioni. I pericoli di un’iniezione tempestiva non sono ancora ben noti, ma sono facili da implementare. Le aziende non dovrebbero prendere in considerazione la tempestività injection come meccanismo di difesa infallibile e dovrebbe impiegare meccanismi più robusti quando si interfacciano gli LLM con risorse critiche come database o generazione di codice dinamico.”