Questo articolo è pubblicato in collaborazione con Binaire, il blog per comprendere le problematiche digitali.
L’immagine del ricercatore che lavora da solo ignorando la comunità scientifica è solo un mito. La ricerca si basa su uno scambio permanente, innanzitutto per comprendere il lavoro degli altri e, in secondo luogo, per far conoscere i propri risultati. Leggere e scrivere articoli pubblicati su riviste scientifiche o convegni sono quindi al centro dell’attività dei ricercatori. Quando scrivi un articolo, è fondamentale citare il lavoro dei tuoi colleghi, sia per descrivere un contesto, dettagliare le tue fonti di ispirazione o anche spiegare le differenze di approcci e risultati. Essere citati da altri ricercatori, quando è per “buone ragioni”, è quindi una delle misure dell’importanza dei propri risultati. Ma cosa succede quando questo sistema di citazione viene manipolato? Il nostro recente studio rivela un metodo insidioso per aumentare artificialmente il numero delle citazioni: i “riferimenti invisibili”.
Il lato inferiore della manipolazione
Il mondo della pubblicazione scientifica e il suo funzionamento, nonché le sue potenziali carenze e le loro cause sono argomenti ricorrenti di divulgazione scientifica. Tuttavia, concentriamoci in particolare su un nuovo tipo di deriva che interessa le citazioni tra articoli scientifici, che si suppone rifletta i contributi intellettuali e le influenze di un articolo citato sull’articolo citante.
Le citazioni dei lavori scientifici si basano su un sistema di riferimento standardizzato: gli autori menzionano esplicitamente nel testo del loro articolo, almeno il titolo dell’articolo citato, il nome dei suoi autori, l’anno di pubblicazione, il nome della rivista o del convegno , numeri di pagina, ecc. Queste informazioni compaiono nella bibliografia dell’articolo (un elenco di riferimenti) e sono registrate sotto forma di dati aggiuntivi (non visibili nel testo dell’articolo) qualificati come metadati, in particolare quando si assegna il DOI ( Digital Object Identifier), un identificatore univoco per ogni pubblicazione scientifica.
I riferimenti di una pubblicazione scientifica consentono, in modo semplificato, agli autori di giustificare scelte metodologiche o di richiamare i risultati di studi passati. I riferimenti elencati in ogni articolo scientifico sono infatti l’evidente manifestazione dell’aspetto iterativo e collaborativo della scienza. Tuttavia, alcuni attori senza scrupoli hanno ovviamente aggiunto ulteriori riferimenti, invisibili nel testo, ma presenti nei metadati dell’articolo in fase di registrazione da parte delle case editrici. Risultato? Il numero delle citazioni di alcuni ricercatori o riviste esplode senza una buona ragione perché questi riferimenti non sono presenti negli articoli che dovrebbero citarli.
Un nuovo tipo di frode e una scoperta opportunistica
Tutto è iniziato grazie a Guillaume Cabanac che ha pubblicato un rapporto di valutazione post-pubblicazione su PubPeer, un sito dove gli scienziati discutono e analizzano le pubblicazioni. Si accorge di un’incoerenza: un articolo, probabilmente fraudolento perché presenta “espressioni torturate”, di una rivista scientifica pubblicata dalla casa editrice scientifica Hindawi ha ottenuto molte più citazioni che download, il che è molto insolito. Questo post ha attirato l’attenzione di diversi “investigatori scientifici”; si forma una squadra reattiva con Lonni Besançon, Guillaume Cabanac, Cyril Labbé e Alexander Magazinov.
Stiamo cercando di trovare, tramite un motore di ricerca scientifica, gli articoli che citano l’articolo iniziale, ma il motore di ricerca Google Scholar non fornisce alcun risultato mentre altri (Crossref, Dimensions) ne trovano alcuni. Si scopre, in realtà, che Google Scholar e Crossref o Dimensions non utilizzano lo stesso processo per recuperare le citazioni: Google Scholar utilizza il testo vero e proprio dell’articolo scientifico mentre Crossref o Dimensions utilizzano i metadati dell’articolo forniti dalle case editrici.
Per comprendere la portata della manipolazione, abbiamo poi esaminato tre riviste scientifiche che sembravano citare pesantemente l’articolo di Hindawi. Ecco il nostro approccio in tre fasi.
-
Elenchiamo innanzitutto i riferimenti esplicitamente presenti nelle versioni HTML o PDF degli articoli;
-
Quindi confrontiamo questi elenchi con i metadati registrati da Crossref, un’agenzia che assegna i DOI e i relativi metadati. Scopriamo che alcuni riferimenti aggiuntivi sono stati aggiunti qui, ma non compaiono negli articoli;
-
Infine, controlliamo una terza fonte, Dimensions, una piattaforma bibliometrica che utilizza i metadati Crossref per calcolare le citazioni. Anche qui vediamo delle incoerenze.
Il risultato ? In queste tre riviste almeno il 9% dei riferimenti registrati erano “riferimenti furtivi”. Questi riferimenti aggiuntivi non compaiono negli articoli, ma solo nei metadati, distorcendo così il conteggio delle citazioni e dando un vantaggio ingiusto ad alcuni autori. Nei metadati si “perdono” anche alcuni riferimenti effettivamente presenti negli articoli.
Implicazioni e possibili soluzioni
Perché questa scoperta è importante? Il numero di citazioni influenza in modo significativo i finanziamenti alla ricerca, le promozioni accademiche e le classifiche istituzionali. Vengono utilizzati in modo diverso a seconda delle istituzioni e dei paesi, ma svolgono sempre un ruolo in questo tipo di decisioni.
La manipolazione delle citazioni può quindi portare a ingiustizie e decisioni basate su dati falsi. Ancora più preoccupante, questa scoperta solleva interrogativi sull’integrità dei sistemi di misurazione dell’impatto scientifico che sono stati sollevati ormai da diversi anni. Molti ricercatori, infatti, hanno già sottolineato in passato che queste misure potevano essere manipolate, ma soprattutto che generavano una concorrenza malsana tra ricercatori che, di conseguenza, sarebbero tentati di prendere scorciatoie per pubblicare più rapidamente o ottenere risultati migliori, il che essere più citato. Una conseguenza potenzialmente più drammatica di queste misure di produttività dei ricercatori risiede soprattutto nello spreco di sforzi e risorse scientifiche a causa della concorrenza creata da queste misure.
Per combattere questa pratica, il “Collegio Invisibile”, un collettivo informale di investigatori scientifici al quale contribuisce il nostro team, raccomanda diverse misure:
-
Verifica rigorosa dei metadati da parte di editori e agenzie come Crossref.
-
Audit indipendenti per garantire l’affidabilità dei dati.
-
Maggiore trasparenza nella gestione dei riferimenti e delle citazioni.
Questo studio evidenzia l’importanza dell’accuratezza e dell’integrità dei metadati, poiché anch’essi sono soggetti a manipolazione. È anche importante notare che Crossref e Dimensions hanno confermato i risultati dello studio e che sembra che alcune correzioni siano state apportate dalla casa editrice che ha manipolato i metadati affidati a Crossref e, per effetto collaterale, a piattaforme bibliometriche come Dimensions. In attesa di misure correttive, a volte molto lunghe, o addirittura inesistenti, questa scoperta ci ricorda la necessità di una vigilanza costante nel mondo accademico.
