Stephanie Stoll esperta in Computer Vision, Robotica, Computer Graphics ed Embedded Systems, lavora nel Centro per la visione, la parola e l’elaborazione della lingua dei segni all’Università del Surrey, in questo suo articolo spiega l’utilizzo dell’intelligenza artificiale per apprendere il linguaggio dei segni.
Le lingue dei segni non sono facili da imparare e sono ancora più difficili da insegnare, per comunicare il significato utilizzano non solo i gesti delle mani, ma anche la bocca, le espressioni facciali e la postura del corpo. Tale complessità significa che i programmi d’insegnamento professionale sono ancora rari e spesso costosi, ma tutto questo potrebbe cambiare presto, con l’aiuto dell’intelligenza artificiale (AI).
Io e i miei colleghi stiamo lavorando su un software per insegnare la lingua dei segni in modo automatizzato e intuitivo. Ora, questo strumento può analizzare il modo in cui uno studente esegue un segno nella lingua dei segni svizzero-tedesca e fornire un feedback dettagliato su come migliorare la forma, il movimento, la posizione e la tempistica della mano.
La nostra speranza è che possiamo usare l’intelligenza artificiale dietro lo strumento per creare software in grado di insegnare varie lingue dei segni di tutto il mondo, e tenere conto di caratteristiche più complesse delle lingue, come la grammatica delle frasi e gli elementi non manuali della comunicazione.
L’Intelligenza Artificiale in precedenza è stata utilizzata per il riconoscimento, la traduzione o l’interpretazione della lingua dei segni. Crediamo di essere i primi a tentare effettivamente di valutare i segni che una persona fa. Ancora più importante, vogliamo sfruttare la tecnologia AI per fornire un feedback all’utente su ciò che ha sbagliato.
Praticare e valutare il linguaggio dei segni è difficile perché non si può né leggere né scrivere, per questo abbiamo creato un gioco per computer: per esercitarsi con un segno, ti mostra un video di quel segno che è eseguito, o ti dà la parola parlata più vicina che lo descrive (o entrambi). Poi usando una videocamera registra il tuo tentativo di ricreare il segno è ti dice come puoi fare per migliorarlo.
Abbiamo scoperto che la realizzazione di un gioco incoraggia le persone a competere per ottenere il miglior punteggio e migliorare il loro linguaggio dei segni lungo il percorso.
L’intelligenza artificiale è utilizzata in tutte le fasi della valutazione delle prestazioni, in primo luogo, una rete neurale convoluzionale (CNN) estrae informazioni dal video sulla postura della parte superiore del corpo. La CNN è un tipo di IA genericamente basata sull’elaborazione fatta dalla corteccia visiva del cervello. Le informazioni sulla tua postura scheletrica e il video originale sono poi inviati all’analizzatore di forma della mano, dove un’altra CNN guarda il video ed estrae le informazioni sulla forma della mano in ogni punto del video.
Le informazioni sulla struttura scheletrica e le forme delle mani sono poi inviate a un analizzatore di movimento della mano, utilizza un modello chiamato Hidden Markov model (HMMM): questo tipo di IA ci permette di modellare nel tempo le informazioni sulla struttura scheletrica e sulla forma della mano. Poi per una valutazione di quanto bene si abbina, confronta quello che ha visto con un modello di riferimento che rappresenta la versione perfetta di quel segno.
I risultati sia dell’analizzatore di forma della mano sia dell’analizzatore di movimento della mano sono poi valutati e presentati come feedback. Tutta l’intelligenza artificiale è celata dietro un’interfaccia semplice da usare, consente di concentrarsi sull’apprendimento. La nostra speranza è che il feedback automatico e personale renda gli studenti più coinvolti nel processo di apprendimento.
Portare l’Intelligenza Artificiale in classe
Finora il software funziona solo per il linguaggio dei segni svizzero-tedesco. La nostra ricerca suggerisce che l’architettura del sistema non deve necessariamente cambiare per potersi confrontare con altre lingue. Ci vorrebbero solo più registrazioni video di ogni lingua per fungere da dati con cui addestrarla.
L’area di ricerca che vorremmo esplorare è come utilizzare ciò che l’intelligenza artificiale già conosce per aiutarla a imparare nuove lingue. Ci piacerebbe anche vedere come possiamo aggiungere altri aspetti della comunicazione durante l’utilizzo del linguaggio dei segni, come le espressioni facciali.
Il software al momento funziona meglio in un ambiente semplice come un’aula scolastica, ma se riusciamo a svilupparlo per tollerare più variazioni nello sfondo del filmato video, potrebbe diventare come molte popolari applicazioni che permettono di imparare una lingua ovunque ci si trovi senza l’aiuto di un esperto. Presto con questo tipo di tecnologia in fase di sviluppo, sarà possibile rendere l’apprendimento della lingua dei segni accessibile a tutti.
