Aayush Bansal insieme ai suoi colleghi ricercatori della Carnegie Mellon University, hanno sviluppato un metodo per combinare video da più telecamere per creare visualizzazioni 4D. I video combinati creano una “videocamera virtuale”, consente allo spettatore di guardare la stessa scena da diverse angolazioni, rimuovere le persone dalla scena o aggiungere persone a una nuova scena. Hanno affermato che il sistema potrebbe anche consentire agli attori registrati in un’ambientazione di essere inseriti digitalmente in un altro video con facilità. Aayush Bansal ha detto:
«Siamo limitati solo dal numero di telecamere, senza alcun limite massimo di quanti feed video possono essere utilizzati».
La “realtà virtualizzata” non è una novità, ma in passato è stata limitata alle configurazioni di studio, come Panoptic Studio della Carnegie Mellon University, per creare l’effetto richiede più di 500 videocamere integrate nelle sue pareti geodetiche.
I ricercatori hanno affermato che finora in un unico modello completo non è stato possibile fondere informazioni visive di scene del mondo reale riprese da più fotocamere portatili indipendenti.
Aayush Bansal e i suoi colleghi hanno aggirato questa limitazione usando reti neurali convoluzionali (Cnn), un tipo di programma di apprendimento profondo che si è dimostrato abile nell’analisi dei dati visivi. Hanno scoperto che le Cnn specifiche della scena potevano essere utilizzate per comporre diverse parti della scena.
I ricercatori della Carnegie Mellon University, hanno dimostrato il loro metodo utilizzando fino a 15 iPhone per catturare varietà di scene: danze, dimostrazioni di arti marziali e persino fenicotteri presso la National Aviary di Pittsburgh (vedi video).
Aayush Bansal ha detto: «Abbiamo dimostrato che chiunque può usare questo sistema con l’Iphone, il mondo è il nostro studio».
Il metodo sblocca anche una serie di potenziali applicazioni nel settore cinematografico e dei dispositivi di consumo, in particolare poiché la popolarità delle cuffie con realtà virtuale continua a crescere.