I neuroingegneri della Colombia University hanno creato un dispositivo che traduce il pensiero in un linguaggio comprensibile e riconoscibile. Monitorando l’attività cerebrale di un individuo, la tecnologia con una chiarezza senza precedenti può ricostruire le parole per la persona che ascolta. Tale sviluppo tecnologico si avvale della tecnologia dei sintetizzatori vocali e dell’intelligenza artificiale, potrebbe portare a nuovi sistemi di comunicazione diretta tra i computer e il cervello. I risultati sono stati pubblicati su Scientific Reports.
Il nuovo dispositivo pone le basi per aiutare le persone che non possono parlare, come quelle che convivono con la sclerosi laterale amiotrofica (Sla) o che si stanno riprendendo da un ictus, a ritrovare la loro capacità di comunicare con il mondo esterno.
Nima Mesgarani, ricercatore principale presso il Mortimer B. Zuckerman Mind Brain Behavior Institute della Columbia University, ha detto:
«La nostra voce ci aiuta a connetterci ai nostri amici, alla famiglia e al mondo che ci circonda, per questo motivo è devastante perdere il controllo della propria voce a causa di lesioni o malattie.
Oggi con la nostra ricerca, abbiamo progettato un sistema per ripristinare la possibilità di parlare. Abbiamo dimostrato che, con la giusta tecnologia, i pensieri di queste persone potrebbero essere decodificati e compresi da qualsiasi persona che ascolta».
Decenni di ricerca hanno dimostrato che quando le persone parlano – o addirittura immaginano di parlare – rivelano schemi di attività che appaiono nel loro cervello. I modelli di segnali emergono anche quando ascoltiamo qualcuno che parla, o immaginiamo di ascoltare. Gli esperti, impegnati a registrare e decodificare questi modelli, vedono un futuro in cui i pensieri nascosti nel cervello potrebbero invece essere tradotti in un discorso verbale.
La realizzazione del dispositivo si è rivelata una sfida per Nima Mesgarani e il suo team di ricercatori. I primi tentativi per decodificare i segnali cerebrali si sono concentrati su semplici modelli computerizzati che analizzavano gli spettrogrammi, le rappresentazioni visive delle frequenze sonore.
Il team di Nima Mesgarani poiché questo percorso tecnico non riusciva a produrre nulla che assomigliasse a un discorso intelligibile, per continuare lo sviluppo della ricerca ha utilizzato il Vocoder per elaborare un algoritmo informatico in grado di sintetizzare il parlato dopo essere stato addestrato sulle voci registrate delle persone. E’ la stessa tecnologia utilizzata da Amazon Echo e Apple Siri per dare risposte verbali alle nostre domande.
Nima Mesgarani per insegnare al Vocoder a interpretare l’attività cerebrale, ha lavorato con Ashesh Dinesh Mehta, neurochirurgo del Northwell Health (tratta i pazienti epilettici, alcuni dei quali devono essere sottoposti a interventi chirurgici), ha detto:
«Lavorando con Ashesh Dinesh Mehta per addestrare il Vocader, ai pazienti con epilessia già sottoposti a chirurgia cerebrale, misurando i loro modelli di attività cerebrale, abbiamo chiesto di ascoltare le frasi pronunciate da diverse persone”.
I ricercatori in seguito, hanno chiesto a quegli stessi pazienti di ascoltare dai diffusori i numeri da 0 a 9, mentre registravano i loro segnali cerebrali che potevano essere passati attraverso il Vocoder.
Il suono prodotto dal Vocoder con risposta a quei segnali è stato analizzato e ripulito dalle reti neurali, un tipo d’intelligenza artificiale che imita la struttura dei neuroni nel cervello biologico. Il risultato finale era una voce dal suono robotico che diceva una sequenza di numeri.
Nima Mesgarani e il suo team per verificare l’accuratezza della registrazione, hanno incaricato i singoli individui di ascoltare la registrazione e riferire ciò che avevano sentito. Ha detto:
«Abbiamo scoperto che le persone potevano capire e ripetere i suoni per circa il 75% del tempo, che è ben sopra di qualsiasi tentativo precedente. Il miglioramento dell’intelligibilità è stato particolarmente evidente se si confrontano le nuove registrazioni con i precedenti tentativi basati sullo spettrogramma. Il Vocoder e le potenti reti neurali hanno riprodotto con sorprendente precisione i suoni che i pazienti avevano originariamente ascoltato».
Nima Mesgarani e il suo team hanno in programma di testare parole e frasi più complicate, vogliono eseguire gli stessi test sui segnali cerebrali emessi quando una persona parla o immagina di parlare. In definitiva, sperano che il loro sistema possa far parte di un impianto, simile a quello indossato da alcuni pazienti epilettici, in grado per chi lo indossa di tradurre direttamente i pensieri in parole.
Nima Mesgarani in conclusione ha detto:
«In pratica, se la persona che lo indossa pensa: “Ho bisogno di un bicchiere d’acqua”, il nostro dispositivo potrebbe prendere i segnali cerebrali generati da quel pensiero e trasformarli in un discorso verbale sintetizzato. Ciò sarebbe un punto di svolta, darebbe a chiunque abbia perso la capacità di parlare, attraverso lesioni o malattie, la rinnovata possibilità di connettersi al mondo che li circonda».
