CyberArk svela uno strumento open source per aiutare le aziende a proteggersi dal dirottamento dei modelli di intelligenza artificiale

CyberArk annuncia il lancio di FuzzyAI, un framework open Source di nuova generazione che ha effettuato il jailbreak di ogni modello di intelligenza artificiale testato utilizzandolo. FuzzyAI aiuta le aziende a identificare e affrontare le vulnerabilità nei modelli di intelligenza artificiale, come aggirare i guardrail o generare output dannosi, sia ospitati nel cloud che on-premise. In anteprima, i visitatori dell’evento Black Hat Europe 2024 potranno esplorare le funzionalità e le applicazioni del suo nuovo strumento, per capire come le aziende possono adottare l’intelligenza artificiale senza creare rischi informatici.

FuzzyAI, per soddisfare quali esigenze?

I modelli di intelligenza artificiale stanno trasformando tutti i settori industriali attraverso applicazioni innovative, per le interazioni con i clienti, i processi interni o l’automazione. L’utilizzo di questi modelli internamente solleva anche nuove sfide alla sicurezza che lasciano impotente la maggior parte delle aziende.

FuzzyAI aiuta ad affrontare queste sfide fornendo alle aziende un approccio sistematico per testare i modelli di intelligenza artificiale rispetto a vari input casuali, evidenziando potenziali vulnerabilità nei loro sistemi di sicurezza e rendendo più sicuri lo sviluppo e l’implementazione dell’intelligenza artificiale. Un potente fuzzer, uno strumento che rivela difetti e vulnerabilità del software, è il cuore di FuzzyAI e consente di evidenziare questi aspetti già identificati utilizzando più di una dozzina di tecniche di attacco distinte, dall’etica di bypass dei filtri alla rivelazione di prompt nascosti del sistema .

Le caratteristiche principali di FuzzyAI includono:

• Test di dati casuali (“fuzzing”): FuzzyAI sottopone i modelli di intelligenza artificiale a varie tecniche di attacco con l’obiettivo di esporre vulnerabilità, come il bypass del guardrail, la fuga di informazioni, la richiesta di iniezione o la generazione di output dannosi.

• Un framework estensibile: aziende e ricercatori possono aggiungere i propri metodi di attacco per adattare i test alle vulnerabilità specifiche del dominio.

• Un approccio collaborativo: un ecosistema comunitario in crescita garantisce lo sviluppo permanente di tecniche dannose e il progresso dei meccanismi di difesa.

“Il lancio di FuzzyAI sottolinea ulteriormente l’impegno di CyberArk nei confronti della sicurezza dell’intelligenza artificiale e aiuta le aziende a compiere un passo importante nell’affrontare le questioni di sicurezza inerenti all’uso in evoluzione dei modelli di intelligenza artificiale dell’intelligenza artificiale”, ha affermato Peretz Regev, Chief Product Officer di CyberArk. Sviluppato da CyberArk Labs, FuzzyAI ha dimostrato la capacità di eseguire il “jailbreak” su tutti i modelli di intelligenza artificiale testati. Lo strumento rafforza la capacità delle imprese e dei ricercatori di identificare i propri punti deboli e rafforzare in modo proattivo i propri sistemi di intelligenza artificiale contro le minacce emergenti”.

– Disponibilità di FuzzyAI

Il framework estensibile di FuzzyAI è disponibile come software open Source sulla pagina GitHub di CyberArk Labs dall’11 dicembre 2024. CyberArk Labs ospiterà un workshop Capture The Flag (CTF) all’evento Black Hat Europe Arsenal per presentare le sue applicazioni pratiche ed evidenziare le impatto reale delle vulnerabilità derivanti dai jailbreak e l’urgente necessità di rafforzare in modo proattivo le proprie difese per mitigarle.