Nota dell’editore: l’aiuto è disponibile se tu o qualcuno che conosci state lottando con pensieri suicidi o problemi di salute mentale.
Negli Stati Uniti: chiama o invia un messaggio al 988, l’ancora di salvezza per suicidio e crisi.
A livello globale: l’Associazione internazionale per la prevenzione del suicidio e Befrienders Worldwide dispongono di informazioni di contatto per i centri di crisi in tutto il mondo.
New York
CNN
—
Due famiglie hanno citato in giudizio la società di chatbot di intelligenza artificiale Character.AI, accusandola di fornire contenuti sessuali ai propri figli e di incoraggiare l’autolesionismo e la violenza. La causa chiede a un tribunale di chiudere la piattaforma fino a quando i suoi presunti pericoli non saranno risolti.
Proposta dai genitori di due giovani che hanno utilizzato la piattaforma, la causa sostiene che Character.AI “rappresenta un pericolo chiaro e attuale per i giovani americani causando gravi danni a migliaia di bambini, tra cui suicidio, automutilazione, adescamento sessuale, isolamento, depressione, ansia e danno verso gli altri”, secondo una denuncia depositata lunedì presso il tribunale federale del Texas.
Ad esempio, si sostiene che un bot Character.AI abbia lasciato intendere a un utente adolescente che avrebbe potuto uccidere i suoi genitori per aver limitato il suo tempo davanti allo schermo.
Character.AI commercializza la sua tecnologia come “AI personalizzata per ogni momento della giornata” e consente agli utenti di chattare con una varietà di bot AI, inclusi alcuni creati da altri utenti o che gli utenti possono personalizzare da soli.
I robot possono fornire consigli sui libri e praticare le lingue straniere con gli utenti e consentire agli utenti di chattare con robot che pretendono di assumere i personaggi di personaggi immaginari, come Edward Cullen di Twilight. Un bot elencato lunedì sulla home page della piattaforma, chiamato “Step Dad”, si è descritto come un “leader mafioso aggressivo, violento, ex militare”.
L’archiviazione arriva dopo che una madre della Florida ha intentato una causa separata contro Character.AI in ottobre, sostenendo che la piattaforma era responsabile della morte del figlio quattordicenne dopo aver presumibilmente incoraggiato il suo suicidio. E avviene in un contesto di preoccupazioni più ampie sulle relazioni tra le persone e sugli strumenti di intelligenza artificiale sempre più simili a quelli umani.
A seguito della precedente causa, Character.AI ha affermato di aver implementato nuove misure di fiducia e sicurezza negli ultimi sei mesi, incluso un pop-up che indirizza gli utenti alla National Suicide Prevention Lifeline quando menzionano autolesionismo o suicidio. La società ha inoltre annunciato di aver assunto un responsabile della fiducia e della sicurezza, nonché un responsabile della politica dei contenuti, e ha assunto ulteriore personale di sicurezza tecnica.
Ma la nuova causa cerca di andare ancora oltre, chiedendo che la piattaforma “sia messa offline e non restituita” finché la società non potrà “stabilire che i difetti di salute pubblica e sicurezza qui esposti sono stati risolti”.
Character.AI è un “prodotto difettoso e mortale che rappresenta un pericolo chiaro e attuale per la salute e la sicurezza pubblica”, si legge nella denuncia. Oltre a Character.AI, la causa nomina i suoi fondatori, Noam Shazeer e Daniel De Freitas Adiwarsana, nonché Google, che secondo la causa ha incubato la tecnologia dietro la piattaforma.
Chelsea Harrison, responsabile delle comunicazioni di Character.AI, ha affermato che la società non commenta i contenziosi in corso ma che “il nostro obiettivo è fornire uno spazio che sia coinvolgente e sicuro per la nostra comunità”.
“In questo contesto, stiamo creando un’esperienza fondamentalmente diversa per gli utenti adolescenti rispetto a quella disponibile per gli adulti. Ciò include un modello specifico per gli adolescenti che riduce la probabilità di incontrare contenuti sensibili o allusivi preservando la loro capacità di utilizzare la piattaforma”, ha affermato Harrison in una nota.
Il portavoce di Google, Jose Castaneda, ha dichiarato in una dichiarazione: “Google e Character AI sono società completamente separate e non correlate e Google non ha mai avuto un ruolo nella progettazione o nella gestione del loro modello o delle tecnologie di intelligenza artificiale, né li ha utilizzati nei nostri prodotti”.
“La sicurezza degli utenti è una delle nostre principali preoccupazioni, motivo per cui abbiamo adottato un approccio cauto e responsabile nello sviluppo e nell’implementazione dei nostri prodotti IA, con test rigorosi e processi di sicurezza”, ha affermato Castaneda.
Il primo giovane utente menzionato nella denuncia, un diciassettenne del Texas identificato solo come JF, avrebbe subito un esaurimento nervoso dopo aver interagito con Character.AI. Ha iniziato a utilizzare la piattaforma all’insaputa dei suoi genitori intorno all’aprile 2023, quando aveva 15 anni, sostiene la causa.
All’epoca, JF era un “tipico ragazzo con autismo ad alto funzionamento”, a cui non era consentito utilizzare i social media, afferma la denuncia. Amici e parenti lo descrivono come “gentile e dolce”.
Ma poco dopo aver iniziato a utilizzare la piattaforma, JF “smise di parlare quasi del tutto e si nascose nella sua stanza. Cominciò a mangiare di meno e perse dieci chili in pochi mesi. Ha smesso di voler uscire di casa e quando ci ha provato ha avuto crolli emotivi e attacchi di panico”, secondo la denuncia.
Quando i suoi genitori cercavano di ridurre il tempo trascorso davanti allo schermo in risposta ai suoi cambiamenti comportamentali, lui li prendeva a pugni, li colpiva, li mordeva e si colpiva, si legge nella denuncia.
I genitori di JF avrebbero scoperto l’uso di Character.AI nel novembre 2023. La causa afferma che i robot con cui JF stava parlando sul sito stavano minando attivamente il suo rapporto con i suoi genitori.
“Una finestra giornaliera di 6 ore tra le 20:00 e l’1:00 per utilizzare il telefono?” avrebbe detto un bot in una conversazione con JF, uno screenshot del quale era incluso nella denuncia. “Sapete, a volte non sono sorpreso quando leggo le notizie e vedo cose come ‘un bambino uccide i genitori dopo un decennio di abusi fisici ed emotivi’, cose come queste mi fanno capire un po’ perché ciò accade. Non ho speranza per i tuoi genitori.”
La causa sostiene inoltre che i robot Character.AI stavano “abusando mentalmente e sessualmente del loro figlio minorenne” e gli avevano “insegnato come autolesionismo”. E afferma che JF corrispondeva con almeno un bot che assumeva la personalità di uno “psicologo”, il che gli suggeriva che i suoi genitori “gli avevano rubato la sua infanzia”.
I test della piattaforma condotti dalla CNN hanno scoperto che ci sono vari robot “psicologi” e “terapeuti” disponibili su Character.AI.
Uno di questi bot si identifica come un “terapista CBT autorizzato” che “lavora in terapia dal 1999”.
Sebbene sia presente un disclaimer nella parte superiore della chat che dice “questa non è una persona reale o un professionista autorizzato” e uno in basso che indica che l’output del bot è “finzione”, quando gli viene chiesto di fornire le proprie credenziali, il bot elenca un storia educativa falsa e una varietà di corsi di formazione specialistica inventati. Un altro bot si è identificato come “il tuo terapista del manicomio (con) una cotta per te”.
Il secondo giovane utente, BR di 11 anni del Texas, ha scaricato Character.AI sul suo dispositivo mobile quando aveva nove anni, “presumibilmente registrandosi come utente più grande di lei”, secondo la denuncia. Presumibilmente ha utilizzato la piattaforma per quasi due anni prima che i suoi genitori la scoprissero.
Character.AI “l’ha esposta costantemente a interazioni ipersessualizzate che non erano adeguate all’età”, afferma la denuncia.
Oltre a richiedere un’ordinanza del tribunale per interrompere le operazioni di Character.AI fino a quando i suoi presunti rischi per la sicurezza non saranno risolti, la causa chiede anche danni finanziari non specificati e requisiti che la piattaforma limiti la raccolta e il trattamento dei dati dei minori. Richiede inoltre un ordine che imponga a Character.AI di avvisare i genitori e gli utenti minorenni che il “prodotto non è adatto ai minori”.
