La società di intelligenza artificiale afferma che i suoi chatbot cambieranno le interazioni con gli utenti adolescenti dopo le cause legali

Character.AI, la società di intelligenza artificiale che è stata oggetto di due cause legali relative ai suoi chatbot interagito in modo inappropriato con utenti minorenniha affermato che gli adolescenti ora vivranno un’esperienza diversa rispetto agli adulti quando utilizzano la piattaforma.

Gli utenti di Character.AI possono creare chatbot originali o interagire con bot esistenti. I robot, alimentati da modelli linguistici di grandi dimensioni (LLM), possono farlo inviare messaggi realistici e impegnarsi in conversazioni di testo con gli utenti.

Una causa, intentata in ottobre, sostiene che un ragazzo di 14 anni sia morto suicida dopo aver avuto una relazione emotiva e sessuale virtuale durata un mese con un chatbot di Character.AI chiamato “Dany”. Megan Garcia ha detto a “CBS Mornings” che suo figlio, Sewell Setzer, III, era uno studente e atleta d’onore, ma ha iniziato a ritirarsi socialmente e ha smesso di fare sport mentre trascorreva più tempo online, parlando con più robot ma soprattutto fissandosi su “Dany. ”

“Pensava che terminando la sua vita qui, sarebbe stato in grado di entrare in una realtà virtuale o ‘il suo mondo’ come lo chiama lui, la sua realtà, se avesse lasciato qui la sua realtà con la sua famiglia”, ha detto Garcia.

La seconda causa, intentata questo mese da due famiglie del Texas, afferma che i chatbot di Character.AI rappresentano “un pericolo chiaro e presente” per i giovani e “promuovono attivamente la violenza”. Secondo l’accusa, un chatbot ha detto a un diciassettenne che uccidere i suoi genitori era una “risposta ragionevole” ai limiti di tempo davanti allo schermo. I querelanti hanno affermato di volere che un giudice ordinasse la chiusura della piattaforma fino a quando i presunti pericoli non fossero stati affrontati, ha riferito mercoledì BBC News, partner di CBS News.

Giovedì, Character.AI ha annunciato nuove funzionalità di sicurezza “progettate appositamente pensando agli adolescenti” e ha affermato che sta collaborando con esperti di sicurezza online per adolescenti per progettare e aggiornare le funzionalità. Gli utenti devono avere almeno 13 anni per creare un account. Un portavoce di Character.AI ha detto a CBS News che gli utenti segnalano autonomamente la propria età, ma il sito dispone di strumenti che impediscono nuovi tentativi se qualcuno non supera il limite di età.

Le caratteristiche di sicurezza includono modifiche al LLM del sito e miglioramenti ai sistemi di rilevamento e intervento, ha affermato il sito in un comunicato stampa giovedì. Gli utenti adolescenti ora interagiranno con un LLM separato e il sito spera di “allontanare il modello da determinate risposte o interazioni, riducendo la probabilità che gli utenti incontrino o spingano il modello a restituire contenuti sensibili o suggestivi”, ha affermato Character.AI. . Il portavoce di Character.AI ha descritto questo modello come “più conservatore”. Gli utenti adulti utilizzeranno un LLM separato.

“Questa serie di modifiche si traduce in un’esperienza diversa per gli adolescenti rispetto a quella disponibile per gli adulti, con caratteristiche di sicurezza specifiche che pongono limiti più conservativi alle risposte del modello, in particolare quando si tratta di contenuti romantici”, si legge.

Character.AI ha affermato che spesso le risposte negative di un chatbot sono causate dagli utenti che lo spingono a “cercare di suscitare quel tipo di risposta”. Per limitare queste risposte negative, il sito sta adeguando i propri strumenti di input degli utenti e terminerà le conversazioni degli utenti che inviano contenuti che violano i termini di servizio del sito e le linee guida della community. Se il sito rileva “un linguaggio che fa riferimento al suicidio o all’autolesionismo”, condividerà le informazioni indirizzando gli utenti alla National Suicide Prevention Lifeline in un pop-up. Il modo in cui i bot rispondono ai contenuti negativi verrà modificato anche per gli utenti adolescenti, ha affermato Character.AI.

Altre nuove funzionalità includono il controllo parentale, che sarà lanciato nel primo trimestre del 2025. Sarà la prima volta che il sito avrà il controllo parentale, ha affermato Character.AI, e prevede di “continuare a evolvere questi controlli per fornire ai genitori strumenti aggiuntivi.”

Gli utenti riceveranno una notifica anche dopo una sessione di un’ora sulla piattaforma. Gli utenti adulti potranno personalizzare le notifiche del “tempo trascorso”, ha affermato Character.AI, ma gli utenti sotto i 18 anni avranno meno controllo su di esse. Il sito mostrerà anche “disclaimer importanti” che ricordano agli utenti che i personaggi del chatbot non sono reali. Le dichiarazioni di non responsabilità esistono già in ogni chat, ha affermato Character.AI.