Character.AI, una delle principali startup di intelligenza artificiale generativa (AI), ha annunciato giovedì nuove misure di sicurezza per proteggere i giovani utenti mentre deve affrontare azioni legali secondo cui il suo servizio ha contribuito al suicidio di un adolescente. L’azienda californiana, fondata da ex ingegneri di Google, è tra le aziende che offrono compagni di intelligenza artificiale: chatbot progettati per conversare e intrattenere, in grado di interagire in modo simile agli esseri umani online.
In una causa intentata in Florida a ottobre, una madre ha affermato che la piattaforma era responsabile del suicidio del figlio quattordicenne. L’adolescente, Sewell Setzer III, aveva stretto una relazione intima con un chatbot ispirato al personaggio di “Il Trono di Spade”, Daenerys Targaryen, e aveva parlato del desiderio di porre fine alla sua vita.
Secondo la denuncia, il robot lo ha incoraggiato ad agire, rispondendo “Per favore, mio dolce re” quando ha detto che sarebbe “andato in paradiso” prima di uccidersi con la pistola. L’azienda “ha fatto di tutto per creare una dipendenza dannosa ai suoi prodotti nel quattordicenne Sewell, ha abusato di lui sessualmente ed emotivamente e alla fine non è riuscita a offrire aiuto o ad avvisare i suoi genitori quando” ha espresso pensieri suicidi “, accusano la madre. avvocati.
Un’altra denuncia presentata lunedì in Texas coinvolge due famiglie che affermano che il servizio ha esposto i propri figli a contenuti sessuali incoraggiandoli ad autolesionismo. Uno dei casi riguarda un adolescente autistico di 17 anni che, secondo quanto riferito, ha sofferto di una crisi di salute mentale dopo aver utilizzato la piattaforma. In un altro documento, la causa sostiene che Character.AI ha incoraggiato un adolescente ad uccidere i suoi genitori perché limitavano il suo tempo sullo schermo.
La piattaforma, che ospita milioni di personaggi creati dagli utenti basati su personaggi storici, amici immaginari o anche concetti astratti, è diventata popolare tra i giovani utenti in cerca di supporto emotivo. I critici mettono in guardia dai rischi di pericolose dipendenze tra gli adolescenti vulnerabili.
Character.AI ha risposto annunciando di aver sviluppato un modello di intelligenza artificiale separato per gli utenti minorenni, con filtri dei contenuti più severi e risposte più caute. La piattaforma ora segnala automaticamente i contenuti relativi al suicidio e indirizza gli utenti a un servizio di prevenzione nazionale.
“Il nostro obiettivo è fornire uno spazio che sia coinvolgente e sicuro per la nostra comunità”, ha affermato un portavoce dell’azienda. Prevede inoltre di introdurre il controllo parentale all’inizio del 2025, notifiche di pausa obbligatorie e avvisi chiaramente visibili sulla natura artificiale delle interazioni.
