I ricercatori, guidati dall’Università di Cambridge, hanno analizzato più di 12.000 documenti di ricerca sulla biologia cellulare del cancro al seno, dopo aver ristretto la serie a 74 articoli di elevato interesse scientifico, meno di un terzo (22 articoli) è risultato riproducibile. Eve la “scienziata robot” in due casi, è stata in grado di fare scoperte fortuite.
I risultati, pubblicati nella rivista Royal Society Interface, dimostrano che è possibile utilizzare la robotica e l’intelligenza artificiale per aiutare ad affrontare la crisi della riproducibilità.
È un esperimento riuscito quello in cui un altro scienziato, in condizioni simili, in un laboratorio diverso, può ottenere lo stesso risultato. La realtà è che oltre il 70% dei ricercatori ha tentato senza riuscirci a riprodurre gli esperimenti di un altro scienziato, e più della metà non ha riprodotto alcuni dei propri esperimenti: questa è la crisi della riproducibilità.
Ross King del Dipartimento di ingegneria chimica e biotecnologia di Cambridge, ricopre anche una posizione presso la Chalmers University of Technology in Svezia, responsabile della ricerca, ha detto:
«La buona scienza si basa sulla riproducibilità dei risultati, altrimenti i risultati sono essenzialmente privi di significato, ciò è particolarmente critico in biomedicina, se sono un paziente e leggo di un nuovo promettente potenziale trattamento, ma i risultati non sono riproducibili, come dovrei sapere in cosa credere? Il risultato potrebbe essere che le persone perdano fiducia nella scienza».
Ross King diversi anni fa, ha sviluppato Eve la “scienziata robot”, un computer/sistema robotico che utilizza tecniche dell’intelligenza artificiale (AI) per condurre esperimenti scientifici. Ha affermato:
«Uno dei grandi vantaggi dell’utilizzo delle macchine per fare scienza è che sono più precise e registrano i dettagli in modo più preciso di quanto possa fare un essere umano, questo li rende adatti al lavoro di tentare di riprodurre risultati scientifici».
Ross King e i suoi colleghi del Regno Unito, Stati Uniti e Svezia, nell’ambito di un progetto finanziato dalla Defense Advanced Research Projects Agency, più conosciuto con la sigla “DARPA” (è un’agenzia governativa del Dipartimento della Difesa degli Stati Uniti incaricata dello sviluppo di nuove tecnologie per uso militare), hanno progettato un esperimento che utilizza una combinazione di intelligenza artificiale e robotica per aiutare ad affrontare la crisi della riproducibilità, facendo in modo che i computer leggano articoli scientifici e li comprendano, e convincere Eve a tentare di riprodurre gli esperimenti.
Il team di ricercatori si è concentrato sulla ricerca sul cancro, Ross King ha detto:
«La letteratura sul cancro è enorme, ma nessuno fa mai la stessa cosa due volte, il che rende la riproducibilità un grosso problema. Viste le ingenti somme di denaro spese per la ricerca sul cancro e l’enorme numero di persone colpite dal cancro in tutto il mondo, è un settore in cui abbiamo urgente bisogno di migliorare la riproducibilità».
I ricercatori da una serie iniziale di oltre 12.000 articoli scientifici pubblicati, per estrapolare affermazioni relative a un cambiamento nell’espressione genica, in risposta al trattamento farmacologico del cancro al seno, hanno utilizzato tecniche di estrazione di testo automatizzata; da questo set sono state selezionate 74 carte.
La ricerca ha coinvolto due diversi team umani, hanno utilizzato Eve e due linee cellulari di cancro al seno per tentare di riprodurre i 74 risultati. È emerso che per 43 articoli sono state trovate prove statisticamente significative per la ripetibilità, significa che i risultati erano replicabili in condizioni identiche; mentre prove significative di riproducibilità sono state trovate in 22 articoli, ciò significa che i risultati erano replicabili da più scienziati in condizioni simili. L’automazione in due casi ha fatto scoperte fortuite.
I ricercatori hanno affermato che mentre solo 22 documenti su 74 in questo esperimento sono risultati riproducibili, ciò non significa che i documenti rimanenti non siano scientificamente riproducibili.
Ross King ha affermato:
«Ci sono molte ragioni per cui un particolare risultato potrebbe non essere riproducibile in un altro laboratorio, per esempio, le linee cellulari a volte possono cambiare il loro comportamento in laboratori diversi in condizioni diverse. La differenza più importante che abbiamo riscontrato è che conta chi fa l’esperimento, perché ogni persona è diversa».
La ricerca ha mostrato che le tecniche automatizzate e semiautomatiche potrebbero essere uno strumento importante per aiutare ad affrontare la crisi della riproducibilità e che la riproducibilità dovrebbe diventare elemento standard del processo scientifico.
Ross King in conclusione ha detto:
«È piuttosto scioccante quanto sia grande la riproducibilità di un problema nella scienza e avrà bisogno di una revisione completa del modo in cui viene fatta molta scienza. Pensiamo che le macchine abbiano un ruolo chiave da svolgere nell’aiutare a risolverlo».