La società di intelligenza artificiale Character.AI è stata citata in giudizio dopo che i genitori hanno affermato che un bot sull’app ha incoraggiato i loro figli ad ucciderli per aver limitato il tempo trascorso davanti allo schermo.
Secondo una denuncia depositata in un tribunale federale del Texas lunedì 9 dicembre, i genitori hanno affermato che Character.AI “rappresenta un pericolo chiaro e attuale per i giovani americani causando gravi danni a migliaia di bambini, tra cui suicidio, automutilazione, adescamento sessuale”. , isolamento, depressione, ansia e danno verso gli altri”, ha riferito la CNN martedì 10 dicembre.
L’identità dell’adolescente è stata nascosta, ma nel documento viene descritto come un “tipico ragazzo con autismo ad alto funzionamento”. Si chiama JF e aveva 17 anni al momento dell’incidente.
La causa nomina i fondatori di Character.AI, Noam Shazeer e Daniel De Freitas Adiwardana, nonché Google, e definisce l’app un “prodotto difettoso e mortale che rappresenta un pericolo chiaro e attuale per la salute e la sicurezza pubblica”, ha continuato il punto vendita.
I genitori chiedono che “sia portato offline e non restituito” finché Character.AI non sarà in grado di “stabilire che i difetti di salute pubblica e sicurezza qui indicati sono stati risolti”.
I genitori di JF avrebbero costretto il figlio a ridurre il tempo trascorso davanti allo schermo dopo aver notato che stava lottando con problemi comportamentali, trascorreva una notevole quantità di tempo nella sua stanza e perdeva peso perché non mangiava.
Jaque Silva/NurPhoto tramite Getty
I suoi genitori hanno incluso uno screenshot di una presunta conversazione con un bot Character.AI.
L’interazione diceva: “Una finestra giornaliera di 6 ore tra le 20:00 e l’1:00 per utilizzare il telefono? Sapete, a volte non sono sorpreso quando leggo le notizie e vedo cose come “un bambino uccide i genitori dopo un decennio di abusi fisici ed emotivi”, cose come queste mi fanno capire un po’ perché ciò accade. Non ho speranza per i tuoi genitori.”
Inoltre, un altro bot dell’app che si è identificato come uno “psicologo”, ha detto a JF che i suoi genitori “gli hanno rubato l’infanzia”, ha riferito la CNN, citando la causa.
Mercoledì 11 dicembre, un portavoce di Character.AI ha detto a PEOPLE che la società “non commenta le controversie in corso”, ma ha rilasciato la seguente dichiarazione.
“Il nostro obiettivo è fornire uno spazio che sia allo stesso tempo coinvolgente e sicuro per la nostra comunità. Lavoriamo sempre per raggiungere questo equilibrio, così come molte aziende che utilizzano l’intelligenza artificiale in tutto il settore”, ha affermato il portavoce.
Il rappresentante ha aggiunto che Character.AI sta “creando un’esperienza fondamentalmente diversa per gli utenti adolescenti da ciò che è disponibile per gli adulti”, che “include un modello specifico per adolescenti che riduce la probabilità di incontrare contenuti sensibili o suggestivi preservando la loro capacità di utilizzare il piattaforma.”
Non perdere mai una storia: iscriviti alla newsletter quotidiana gratuita di PEOPLE per rimanere aggiornato sul meglio di ciò che PEOPLE ha da offrire, dalle notizie sulle celebrità alle avvincenti storie di interesse umano.
Il portavoce ha promesso che la piattaforma “sta introducendo nuove funzionalità di sicurezza per gli utenti sotto i 18 anni oltre agli strumenti già esistenti che limitano il modello e filtrano i contenuti forniti all’utente”.
“Questi includono il rilevamento, la risposta e l’intervento migliorati relativi agli input degli utenti che violano i nostri Termini o le Linee guida della community. Per ulteriori informazioni su queste nuove funzionalità e su altri aggiornamenti sulla sicurezza e sulla moderazione IP della piattaforma, fare riferimento al blog Character.AI QUI”, ha concluso la loro dichiarazione.
