A livello mondiale, si stimano 360 milioni di persone non udenti o con problemi di udito, poiché la maggior parte degli individui con problemi d’udito non capisce il linguaggio dei segni, le persone sorde hanno spesso difficoltà a interagire con la comunicazione.
I ricercatori sperano di rendere la traduzione ancora più facile con un efficiente dispositivo che in tempo reale traduce il linguaggio dei segni nella lingua parlata e la lingua parlata nella lingua dei segni.
L’Asia risponde all’appello
I ricercatori dedicati in Cina hanno creato il Kinect Sign Language Translator, un prototipo di sistema che capisce i gesti del linguaggio dei segni e li converte in lingua parlata e scritta e viceversa.
Il sistema acquisisce una conversazione tra due utenti: la persona sorda in tempo reale può vedere una traduzione scritta delle parole che il sistema trasforma anche in linguaggio dei segni comprensibili.
Il progetto è il risultato di una collaborazione, facilitata da Microsoft Research Connections tra l’Accademia Cinese delle Scienze, Pechino Union University e Microsoft Research Asia, ognuno dei quali hanno fornito contributi decisivi.
Il professor Xilin Chen, vice direttore dell’Istituto di Tecnologia Informatica presso l’Accademia Cinese delle Scienze, ha trascorso gran parte degli ultimi dieci anni a studiare il riconoscimento del linguaggio dei segni, nella speranza di trovare un metodo per consentire alle persone non udenti di comunicare con altre persone, ha detto:
«Sapevamo che la tecnologia dell’informazione, in particolare la tecnologia informatica, è cresciuta velocemente, quindi, dal mio punto di vista, ho pensato che questo è il momento giusto per sviluppare una tecnologia per aiutare la comunità dei non udenti».
Microsoft Kinect
Originariamente sviluppato per il gioco, i sensori del Kinect leggono la posizione e i movimenti del corpo di un utente, con l’aiuto di un computer, li traducono in comandi. Si ha quindi un enorme potenziale per la comprensione dei gesti complessi che compongono il linguaggio dei segni e per tradurre i segni in parole e frasi pronunciate o scritte.
Il Kinect versione 2010 aveva suscitato grande interesse nella comunità di ricerca. Tale interesse si è intensificato nel 2011 con l’uscita del Kinect supportato da Microsoft per lo sviluppo del software di Windows kit (SDK), che ha contribuito a rendere la tecnologia ampiamente disponibile per uso scientifico.
Microsoft Research Connections era desideroso di incoraggiare gli usi più promettenti di Kinect, ma con tanto fervore nel mondo della ricerca, oltre Kinect è stato difficile scegliere quali progetti sostenere.
Stewart Tansley, direttore del Natural User Interface di Microsoft Research Connections, ai laboratori di Microsoft Research in tutto il mondo ha chiesto di presentare le migliori collaborazioni accademiche che avevano considerato per il Kinect.
Microsoft Research Asia ha presentato il lavoro di Ming Zhou, principale ricercatore che è stato fortemente coinvolto in modelli di linguaggio naturale e la traduzione in stretta collaborazione con l’Accademia Cinese delle Scienze. Il progetto è stato proprio quello che Microsoft Research Connections stava cercando.
Il gruppo del professor Xilin Chen, presso l’Accademia Cinese delle Scienze è stato completato con Ming Zhou e altri ricercatori senior di Microsoft Research Asia, dove una grande quantità di lavoro di traduzione automatica è già in corso, compresa la ricerca avanzata in traduzioni automatiche in tempo reale d’inglese a cinese mandarino.
Essenziale per questo progetto è stato la partecipazione del programma di educazione speciale presso la Pechino Union University. Ming Zhou ha detto:
«Un contributo unico di questo progetto è che si tratta di uno sforzo congiunto tra i ricercatori del software con le persone udenti e non udenti. E’ iscritto a questo progetto anche un gruppo d’insegnanti e studenti della Pechino Union University per svolgere test delle connessioni dei nostri algoritmi condotti su dati del mondo reale».
Collaudo del sistema (vedi video)
Dandan Yin, giovane, graziosa dinamica studentessa non udente ha partecipato al progetto. Ha detto al team di ricercatori che è stato realizzato il suo sogno d’infanzia, quello di creare una macchina per le persone con problemi di udito.
Dandan Yin ha interagito con un avatar con il linguaggio dei segni. Osservandola si può vedere il futuro potenziale della comunicazione tra le persone sorde e chi può sentire. E mentre tutti i collaboratori sono pronti a rilevare che il Kinect Sign Language Translator è un prototipo, non è un prodotto finito, tutti sono ugualmente certi nell’esprimere la loro convinzione che ha il potenziale di fornire un mezzo di comunicazione economico, efficace ed efficiente tra chi parla correntemente il linguaggio dei segni e quelli che si esprimono con limitati gesti.
Stewart Tansley per fare un esempio sulle potenzialità del Kinect Sign Language Translator, evoca lo scenario di una persona sorda visitata da un medico che non conosce il linguaggio dei segni, ha fatto notare:
«Il paziente potrebbe prenotare un interprete o ricorrere a comunicare con carta e penna, ma queste interazioni sarebbero molto artificiali. Ora con questa tecnologia potrebbe semplicemente usare il linguaggio dei segni naturali (vedi) per comunicare senza pianificazione di un interprete o ricorrere ad altri metodi.
Il sistema potrebbe aprire nuove opportunità di lavoro per le persone sorde, per esempio immaginate l’ufficio informazioni in un aeroporto dove l’impiegato è una persona sorda e chi cerca informazioni, è una persona che sente. Ora la persona che sente potrebbe rivolgersi all’ufficio informazioni per fare domande alla persona sorda, in questo caso il sistema potrebbe aiutarli a comunicare con il linguaggio dei segni».
Tali scenari non sembrano troppo lontano grazie ai ricercatori dedicati e partner, stanno lavorando per rendere il Kinect Sign Language Translator, una realtà, realizzando il sogno d’infanzia di Dandan Yin e milioni di altri non udenti in Cina e in tutto il mondo».
