La piattaforma di chatbot Character.ai sta rivedendo il modo in cui funziona per gli adolescenti, promettendo che diventerà uno spazio “sicuro” con controlli aggiuntivi per i genitori.
Il sito sta affrontando due cause legali negli Stati Uniti – una per la morte di un adolescente – ed è stato etichettato come “pericolo evidente e presente“ai giovani.
Dice che la sicurezza sarà ora “infusa” in tutto ciò che fa attraverso nuove funzionalità che diranno ai genitori come i loro figli utilizzano la piattaforma, compreso quanto tempo trascorrono a parlare con i chatbot e con quelli con cui parlano di più.
La piattaforma, che consente agli utenti di creare personalità digitali con cui interagire, otterrà la sua “prima iterazione” del controllo parentale entro la fine di marzo 2025.
Ma Andy Burrows, capo della Molly Rose Foundation, ha definito l’annuncio “una risposta tardiva, reattiva e del tutto insoddisfacente” che, secondo lui, “sembra un cerotto adesivo ai loro fondamentali problemi di sicurezza”.
“Sarà un primo test per Ofcom per affrontare piattaforme come Character.ai e agire contro il loro persistente fallimento nell’affrontare danni completamente evitabili”, ha affermato.
Carattere.ai è stato criticato in ottobre quando sulla piattaforma sono state trovate versioni chatbot delle adolescenti Molly Russell e Brianna Ghey.
E le nuove funzionalità di sicurezza arrivano mentre si trova ad affrontare un’azione legale negli Stati Uniti per le preoccupazioni su come ha gestito la sicurezza dei bambini in passato, con una famiglia che sostiene un chatbot ha detto a un diciassettenne che uccidere i suoi genitori era una “risposta ragionevole” alla limitazione del suo tempo sullo schermo.
Le nuove funzionalità includono la notifica agli utenti dopo aver parlato con un chatbot per un’ora e l’introduzione di nuove dichiarazioni di non responsabilità.
Agli utenti verranno ora mostrati ulteriori avvertimenti che indicano che stanno parlando con un chatbot piuttosto che con una persona reale e che tratteranno ciò che dice come finzione.
E sta aggiungendo ulteriori disclaimer ai chatbot che pretendono di essere psicologi o terapisti, per dire agli utenti di non fare affidamento su di loro per una consulenza professionale.
L’esperto di social media Matt Navarra ha affermato di ritenere che la decisione di introdurre nuove funzionalità di sicurezza “riflette un crescente riconoscimento delle sfide poste dalla rapida integrazione dell’intelligenza artificiale nella nostra vita quotidiana”.
“Questi sistemi non si limitano a fornire contenuti, ma simulano interazioni e relazioni che possono creare rischi unici, in particolare riguardo alla fiducia e alla disinformazione”, ha affermato.
“Penso che Character.ai stia affrontando un’importante vulnerabilità, il potenziale di uso improprio o che i giovani utenti incontrino contenuti inappropriati.
“È una mossa intelligente e che riconosce le aspettative in evoluzione riguardo allo sviluppo responsabile dell’intelligenza artificiale”.
Ma ha detto che anche se i cambiamenti sono stati incoraggianti, era interessato a vedere come reggono le misure di sicurezza mentre Character.ai continua a crescere.
Belgium
