Secondo i risultati di un recente studio, ChatGPT batte i medici quando si tratta di fare una diagnosi. La parte peggiore è che il chatbot funziona meglio anche quando i professionisti utilizzano l’intelligenza artificiale.
Che ne approviamo o meno l’uso, è impossibile negarlo l’intelligenza artificiale fa avanzare la medicina. Pieno di milioni di studi e dati, un chatbot possiede una conoscenza che nessun essere umano può sperare di conservare nel corso della propria vita. Dove questo è più evidente è sul diagnosi di malattie. Non solo l’intelligenza artificiale è in grado di identificare patologie che lasciano perplessi i professionisti, ma può farlo anche a distanza, senza esami invasivi.
I medici stessi riconoscono ill'utilità di essere accompagnati da un'IA. Così, quando il dottor Adam Rodman lancia uno studio per denunciare questi benefici, è quasi sicuro dei risultati che otterrà: i suoi colleghi con l'aiuto di ChatGPT-4 faranno diagnosi migliori di chi pensa da solo. Non solo non è stato così, ma quello che ha scoperto lo ha lasciato davvero senza parole.
Secondo questo studio, ChatGPT AI fa diagnosi migliori rispetto ai medici
Alla ricerca partecipano 50 medici provenienti da ospedali americani, sia interni che esterni. Presentiamo loro 6 file da cui devono formulare una diagnosispiegando il loro ragionamento. I casi sono reali e sono tra i 105 utilizzati in vari studi a partire dagli anni '90.
Naturalmente non furono mai pubblicati, il che significa questo né i partecipanti né ChatGPT avrebbero potuto esserne a conoscenza. Solo uno dei 6 file è stato divulgato in anticipo con esempi di risposte corrette e altre sbagliate, per far capire cosa ci si aspettava.
Leggi anche – L’intelligenza artificiale rileva questa malattia nei bambini nel 100% dei casi
I 50 medici sono stati divisi casualmente in 2 gruppi. Il primo utilizza ChatGPT per identificare la malattia, mentre il secondo deve funzionare senza. Sono state misurate anche le capacità del solo chatbot. Le conclusioni sono sorprendenti.
Il gruppo di controllo, senza l'assistenza dell'AI, ottiene a punteggio medio del 74%. I professionisti che utilizzano i chatbot lo fanno appena meglio, 76%. Per quanto riguarda ChatGPT, frantuma questi punteggi raggiungendo una media del 90%. Come spiegarlo?
Perché ChatGPT batte i medici nel fare la diagnosi?
Dopo lo shock iniziale, il dottor Rodman cerca di capire cosa sia successo. Evidenzia 2 punti principali. Prima di tutto, i medici non si fidano dell’intelligenza artificiale se suggerisce qualcosa che li contraddice. Al contrario, vedere ChatGPT formulare ipotesi diverse rafforza le loro. Spesso erroneamente, come possiamo vedere qui.
Leggi anche – Per rilevare una malattia mortale, questa AI di Google ha un metodo originale
Un’osservazione che ha senso per Laura Zwaan, che studia il ragionamento clinico e gli errori diagnostici: “Le persone di solito sono troppo sicure di sé quando pensano di avere ragione“. Per quanto riguarda l’altro fattore che spiega i risultati dello studio, è molto più concreto: molti medici non sanno come utilizzare ChatGPT al meglio delle sue possibilità.
Il dottor Jonathan H. Chen, uno degli autori, lo nota la maggioranza utilizza l’intelligenza artificiale come motore di ricercaponendo domande come “La cirrosi è un fattore di rischio per il cancro?“. Alla fine, “solo una piccola parte dei medici si è resa conto che potevano letteralmente copiare e incollare l'intero file nel chatbot e chiedergli semplicemente di dare una risposta completa all'intera domanda“.
Il problema sollevato è quindi duplice. Inoltre formare i professionisti all’uso dell’intelligenza artificiale nel loro lavorodovremo riuscire a far loro accettare che questi ultimi possono talvolta trovare una risposta che sfugge loro, nonostante i loro anni di esperienza.
Fonte: New York Times
