Il team di ricerca guidato dall’Università di Buffalo ha modificato le cuffie con cancellazione del rumore, consentendo al comune dispositivo elettronico di “vedere” e tradurre la lingua dei segni americana (ASL) quando abbinato a uno smartphone.
Il sistema basato su cuffie utilizza la tecnologia Doppler per rilevare piccole fluttuazioni, o echi, nelle onde sonore acustiche create dalle mani di qualcuno che utilizza il linguaggio dei segni. È stato documentato nella rivista “Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies”.
Il sistema soprannominato SonicASL, si è dimostrato efficace al 93,8% nei test eseguiti all’interno e all’esterno di 42 parole. Gli esempi di parole includono “amore”, “spazio” e “fotocamera”. SonicASL alle stesse condizioni è stato efficace al 90,6% con 30 semplici frasi, ad esempio “Piacere di conoscerti”.
Zhanpeng Jin, professore associato presso il Dipartimento di informatica e ingegneria dell’Università di Buffalo, ha detto:
«SonicASL è un’entusiasmante prova di concetto che potrebbe eventualmente aiutare a migliorare notevolmente la comunicazione tra le popolazioni sorde e udenti, ma prima che tale tecnologia sia disponibile in commercio, molto lavoro deve essere fatto, ad esempio, il vocabolario di SonicASL deve essere notevolmente ampliato. Il sistema, inoltre deve essere in grado di leggere le espressioni facciali, una componente importante della lingua dei segni americana (ASL)».
Lo studio del dispositivo sarà presentato alla Conferenza ACM Ubiquitous Computing (UbiComp), che si terrà dal 21 al 26 settembre 2021.
Le barriere di comunicazione persistono per i non udenti
La Federazione Mondiale dei Sordi riporta che nel mondo ci sono circa 72 milioni di persone sorde che usano più di 300 differenti lingue dei segni. Le Nazioni Unite sebbene riconoscano che le lingue dei segni hanno la stessa importanza della parola parlata, questa visione non è ancora una realtà in molte nazioni. Le persone non udenti o con problemi di udito continuano a sperimentare più barriere di comunicazione.
Tradizionalmente, le comunicazioni tra gli utenti sordi della Lingua dei Segni Americana (ASL) e gli udenti che non conoscono la lingua avvengono in presenza di un interprete ASL, o attraverso una telecamera.
Zhanpeng Jin ha evidenziato:
«Una preoccupazione frequente sull’uso delle telecamere, include se tali registrazioni video potrebbero essere utilizzate in modo improprio. E mentre l’uso di interpreti ASL sta diventando sempre più comune, non c’è alcuna garanzia che uno di loro possa essere disponibile quando necessario. SonicASL mira ad affrontare questi problemi, specialmente in circostanze casuali senza una pianificazione e una configurazione prestabilite».
Modifica delle cuffie con l’altoparlante e l’aggiunta dell’app
I ricercatori hanno detto che per annullare il rumore esterno, la maggior parte delle cuffie con cancellazione del rumore, si basa su un microfono rivolto verso l’esterno che rileva il rumore ambientale. Le cuffie quindi producono un anti-suono, un’onda sonora con la stessa ampiezza ma con una fase invertita del rumore circostante.
Yincheng Jin (nessuna relazione di parentela con Zhanpeng Jin), ha detto:
«Abbiamo aggiunto un altoparlante accanto al microfono rivolto verso l’esterno. Volevamo vedere se le cuffie modificate potevano rilevare oggetti in movimento, in modo simile al radar».
L’altoparlante e il microfono rilevano effettivamente i movimenti delle mani. Le informazioni vengono trasmesse tramite l’app per cellulari SonicASL, contiene un algoritmo creato dal team per identificare le parole e le frasi. L’app traduce quindi i segni e tramite gli auricolari parla alla persona udente.
Yang Gao co-autore principale dello studio, ha completato la ricerca nel laboratorio di Zhanpeng Jin prima di diventare uno studioso post-dottorato presso la Northwestern University, ha detto:
«Abbiamo testato SonicASL in diversi ambienti, tra cui uffici, appartamenti, corridoi e marciapiedi, anche se abbiamo notato una leggera diminuzione dell’accuratezza con l’aumento dei rumori ambientali complessivi, l’accuratezza complessiva è ancora abbastanza buona, perché la maggior parte dei rumori ambientali non si sovrappone o interferisce con la gamma di frequenza richiesta da SonicASL. L’algoritmo di base di SonicASL può essere implementato e distribuito su qualsiasi smartphone».
SonicASL può essere adattato per altre lingue dei segni
I ricercatori hanno detto che SonicASL a differenza dei sistemi che affidano la responsabilità di “colmare” il divario di comunicazione sui non udenti, capovolge il copione, incoraggiando la popolazione udente a fare di più.
Zhanpeng Jin ha detto:
«Un ulteriore vantaggio della flessibilità di SonicASL è che può essere adattato per lingue diverse dalla lingua dei segni americana (ASL). È noto che diverse lingue dei segni hanno caratteristiche differenti, con le proprie regole per la pronuncia, la formazione delle parole e l’ordine delle parole, ad esempio, lo stesso gesto in altri paesi può rappresentare diverse parole della lingua dei segni. Tuttavia, la funzionalità chiave di SonicASL è riconoscere vari gesti delle mani che rappresentano parole e frasi nelle lingue dei segni, che sono generiche e universali. Sebbene la nostra attuale tecnologia si concentri sulla lingua dei segni americana (ASL), con un’adeguata formazione del modello algoritmico, può essere facilmente adattata ad altre lingue dei segni».
I prossimi passi, amplieranno il vocabolario dei segni che può essere riconosciuto e differenziato da SonicASL, oltre a lavorare per incorporare la capacità di leggere le espressioni facciali. La proposta SonicASL mira a sviluppare un sistema in stile auricolare intuitivo, comodo e facile da usare per promuovere e facilitare la comunicazione tra le popolazioni sorde e udenti”.