Era ancora lontana l’alba quando Angel Cholka fu svegliata dal raggio di una torcia elettrica alla sua finestra. C’era un poliziotto alla porta. “Madi vive qui?” “, chiese. Prima confuso, poi terrorizzato, MMe Cholka si precipitò nella stanza della figlia sedicenne.
Pubblicato alle 7:00
Ellen Barry
Il New York Times
MMe Cholka non era a conoscenza del fatto che il software di intelligenza artificiale utilizzato dal distretto scolastico di Neosho, nel Missouri, stava monitorando ciò che Madi scriveva sul laptop fornito dalla scuola.
Nella notte, Madi aveva mandato un messaggio a un’amica per informarla della sua intenzione di suicidarsi con gli ansiolitici. L’allarme è partito da un funzionario della scuola, che ha chiamato la polizia. Quando MMe Cholka e il poliziotto hanno trovato Madi, aveva già ingoiato una quindicina di pillole. L’hanno tirata giù dal letto e l’hanno portata d’urgenza in ospedale.
A 1.300 miglia di distanza, verso mezzanotte, il telefono fisso squillò in una casa nella contea di Fairfield, nel Connecticut, ma i genitori non risposero in tempo. Un quarto d’ora dopo, tre agenti di polizia erano alla porta: volevano vedere la figlia 17enne perché il software di sorveglianza aveva rilevato un rischio di autolesionismo.
I suoi genitori l’hanno svegliata e portata in soggiorno perché la polizia potesse interrogarla su una frase che aveva digitato sul cellulare a scuola. Molto rapidamente abbiamo concluso che si trattava di un falso allarme: era un estratto di una poesia che aveva scritto anni prima. Ma la visita scosse la giovane.
“È stata una delle peggiori esperienze della sua vita”, dice la madre, che ha chiesto di restare anonima per poter parlare di questo episodio “traumatico” per sua figlia.
Tra le tecnologie di intelligenza artificiale che entrano nelle scuole americane, poche sollevano tante criticità quanto quelle volte a prevenire l’autolesionismo e il suicidio.
Questi software sono diventati più diffusi durante la pandemia di COVID-19, dopo che molte scuole hanno fornito laptop agli studenti e sono passate al virtuale.
FOTO GRAHAM DICKIE, IL NEW YORK TIMES
I computer portatili forniti agli studenti dalla scuola sono dotati del software Faroda GoGuardian, che analizza ciò che gli studenti scrivono alla ricerca di parole chiave che potrebbero indicare intenzioni suicide.
Una legge americana prevede che questi computer siano dotati di filtri per bloccare determinati contenuti. Le aziende di tecnologia educativa – GoGuardian, Gaggle, Lightspeed, Bark, Securly, tra le altre – hanno visto un’opportunità per affrontare comportamenti suicidari e autolesionistici. Hanno strumenti integrati che scansionano ciò che gli studenti digitano e avvisano la scuola se sembra che stiano pensando di farsi del male.
Milioni di studenti americani – quasi la metà, secondo alcune stime – sono ora soggetti a tale sorveglianza. I dettagli vengono comunicati ai genitori una volta all’anno, al momento del consenso.
La maggior parte dei sistemi identifica le parole chiave; gli algoritmi o la revisione umana determinano quali casi sono gravi. Durante il giorno, gli studenti possono essere allontanati dalla classe e sottoposti a screening.
Al di fuori dell’orario scolastico, se i genitori non possono essere raggiunti telefonicamente, la polizia può recarsi a casa degli studenti per vedere cosa sta succedendo.
Non possiamo analizzare la precisione, i vantaggi e gli svantaggi di questi avvisi: i dati appartengono ad aziende tecnologiche; I dati su ogni intervento successivo e sui suoi esiti sono generalmente conservati dalle amministrazioni scolastiche.
Secondo i genitori e il personale scolastico, gli allarmi talvolta consentono di intervenire nei momenti critici. Nella maggior parte dei casi, consentono di offrire agli studenti in difficoltà un sostegno per impedire loro di agire in modo anomalo.
Tuttavia, gli avvisi possono avere conseguenze indesiderate, talvolta dannose. I gruppi per i diritti sostengono che esiste un rischio per la privacy. Questi sistemi sono anche criticati perché mettono inutilmente gli studenti in contatto con la polizia.
Per quanto riguarda i benefici di questo strumento per la salute mentale, le opinioni sono divise. Ci sono molti falsi positivi, che fanno perdere tempo al personale e disturbano gli studenti. In alcuni distretti, le visite a domicilio al di fuori dell’orario scolastico hanno suscitato tali polemiche che gli interventi sono ora limitati all’orario scolastico.
Ma in alcune scuole si sottolinea che questo software aiuta in un compito molto difficile: riconoscere in tempo i bambini che soffrono in silenzio. Talmage Clubbs, direttore dei servizi di orientamento del distretto scolastico di Neosho, era riluttante a spegnere il sistema, anche durante le vacanze estive, per ragioni morali: “È difficile: se lo spegni, qualcuno può morire. »
Rompi un tabù
A Neosho si ritiene che gli allarmi – seguiti da interventi terapeutici a scuola – abbiano contribuito a rompere il tabù che circonda il suicidio.
Dal 2014 al 2018, 8 dei suoi 5.000 studenti si sono suicidati. Poi, in un intervallo di quasi quattro anni, non si sono verificati suicidi (ce n’è stato uno nel 2022 e un altro nel 2024). Jim Cummins, ex commissario della scuola Neosho, è chiaro nel dire che la tecnologia ha qualcosa a che fare con tutto ciò.
“Abbiamo salvato una vita?” Venti vite? Non possiamo mettere un numero”, ha detto. Ma, aggiunge, le statistiche sul calo dei suicidi parlano da sole.
Anche se torniamo indietro di sei anni e ci viene detto che è impossibile dimostrare che abbiamo salvato una sola vita, io rispondo che in effetti è impossibile. Ma stiamo facendo tutto il possibile.
Jim Cummins, ex amministratore della scuola Neosho
Lo studente che si è ucciso nel 2022 è Madi Cholka. Lo stesso che fu salvato da una visita notturna della polizia nel 2020.
In quegli anni Madi è stata ricoverata più volte in ospedale e sua madre, Angel, ha preso provvedimenti per proteggerla, conservando i suoi farmaci e le sue armi in una cassaforte.
L’allerta, nel 2020, ha consentito a MMe Cholka per portare Madi al pronto soccorso, poi in un ospedale psichiatrico a un’ora di distanza.
Questo ricovero non ha risolto i problemi di Madi. Dopo la dimissione ha continuato a tentare di farsi del male, ma è stata attenta a non parlare più delle sue intenzioni al computer. Morì a 17 anni, lasciando dietro di sé una valigia preparata per un ulteriore ricovero in ospedale.
FOTO GRAHAM DICKIE, THE NEW YORK TIMES
A sinistra, cartoline stampate per il funerale di Madi Cholka. A destra, il ciondolo con l’impronta digitale di Madi che sua madre porta al collo.
“Mi dispiace”, ha scritto in un messaggio a sua madre.
Nonostante tutto, MMe Cholka dice di essere grata per gli allarmi, che l’hanno sollevata da parte del peso durante questi anni di vigilanza. Ha sentito gli argomenti riguardanti il rischio per la privacy degli studenti e l’intrusione nelle famiglie: li mette da parte.
“Lo so: è solo grazie a questi avvisi che mia figlia è rimasta con noi ancora un po’. »
Questo articolo è stato pubblicato nel New York Times.
Leggi l’articolo nella sua versione originale
(in inglese; abbonamento richiesto)
