Facebook e Twitter all’inizio di questa settimana hanno rimosso gli account dei social media associati all’Internet Research Agency, la fattoria di troll russa che ha interferito nelle elezioni presidenziali statunitensi quattro anni fa, diffondendo disinformazione a 126 milioni di utenti di Facebook. Il social network di Mark Zuckerberg, ha lanciato misure volte a frenare la disinformazione prima del giorno delle elezioni di novembre. I deepfake possono creare meme epici o inserire Nicholas Cage in ogni film, ma possono anche minare le elezioni. Ora con l’aumento delle minacce di interferenza elettorale, due team di ricercatori di intelligenza artificiale hanno recentemente introdotto nuovi metodi per identificare i deepfake osservando i battiti cardiaci.
I modelli di rilevamento deepfake esistenti si concentrano sui tradizionali metodi di analisi forense dei media, come il rilevamento dei movimenti innaturali delle palpebre o delle distorsioni sul bordo del viso. Il primo studio per il rilevamento di impronte digitali GAN uniche è stato introdotto nel 2018; nel campo dell’apprendimento automatico, si definisce rete generativa avversaria o rete antagonista generativa, o in inglese generative adversarial network (GAN), una classe di metodi, introdotta per la prima volta da Ian Goodfellow, in cui due reti neurali vengono addestrate in maniera competitiva all’interno di un framework di gioco minimax, questo tipo di framework permette alla rete neurale di apprendere come generare nuovi dati aventi la stessa distribuzione dei dati usati in fase di addestramento: ad esempio, è possibile ottenere una rete neurale in grado di generare volti umani iperrealistici, come dimostrato nel 2018 da NVIDIA Corporation, azienda produttrice di GPU.
La fotopletismografia (PPG) traduce segnali visivi come il modo in cui il flusso sanguigno provoca lievi cambiamenti nel colore della pelle in un battito cardiaco umano. Le applicazioni PPG remote vengono esplorate in aree come l’assistenza sanitaria, ora PPG è anche utilizzato per identificare i deepfake perché i modelli generativi non sono attualmente noti per essere in grado di imitare i movimenti del sangue umano.
Battiti cardiaci deepfake
I ricercatori della Binghamton University e Intel hanno introdotto l’intelligenza artificiale che va oltre il rilevamento deepfake per riconoscere quale modello deepfake ha realizzato un video modificato. I ricercatori hanno scoperto che i video dei modelli deepfake lasciano dietro di sé segnali di rumore biologici e generativi unici, ciò che chiamano “battiti cardiaci deepfake”. Il metodo di rilevamento cerca segnali biologici residui da 32 punti diversi sul viso di una persona, che i ricercatori chiamano cellule PPG.
I ricercatori nello studio pubblicato su arXiv (accettato per la pubblicazione dalla Conferenza internazionale congiunta sulla biometria, che si terrà alla fine di questo mese), hanno scritto:
«Proponiamo un rilevatore di sorgenti deepfake che predice il modello generativo di sorgenti per ogni dato video. Il nostro metodo per quanto ne sappiamo, è il primo a condurre un’analisi più approfondita per il rilevamento della fonte che interpreta i residui dei modelli generativi per i video deepfake. La nostra scoperta chiave emerge dal fatto che possiamo interpretare questi segnali biologici come falsi battiti cardiaci che contengono una trasformazione caratteristica dei residui per modello. Pertanto, dà origine a una nuova esplorazione di questi segnali biologici non solo per determinare l’autenticità di un video, ma anche per classificare il suo modello sorgente che genera il video».
Il metodo cellulare della fotopletismografia (PPG) ha rilevato deepfake con una precisione del 97,3% e ha identificato modelli deepfake generativi dal popolare set di dati deepfake FaceForensics ++ con una precisione del 93,4%.
I ricercatori di AI del Gruppo Alibaba, dell’Università di Kyushu, dell’Università Tecnologica di Nanyang e dell’Università di Tianjin, in un altro recente lavoro hanno introdotto DeepRhythm, un modello di rilevamento deepfake che riconosce i battiti cardiaci umani dal PPG visivo. Gli autori hanno detto che DeepRhythm differisce dai modelli precedentemente esistenti per identificare persone dal vivo in un video perché tenta di riconoscere i modelli ritmici, “poiché i video falsi possono ancora avere i ritmi cardiaci, ma i loro schemi sono diminuiti dai metodi deepfake e sono diversi da quelli reali”.
DeepRhythm incorpora un modulo di amplificazione del movimento del ritmo cardiaco e un meccanismo di attenzione spazio-temporale apprendibile in varie fasi del modello di rete. I ricercatori affermano che DeepRhythm supera numerosi metodi deepfake all’avanguardia quando utilizza FaceForensics++ come punto di riferimento, hanno detto:
«I risultati sperimentali su FaceForensics++ e Deepfake Detection Challenge – il set di dati di anteprima – dimostrano che il nostro metodo non solo supera i metodi all’avanguardia, ma è robusto a vari livelli di degradazione».
Il documento, intitolato “DeepRhythm: Exposing DeepFakes with Attentional Visual Heartbeat Rhythms”, è stato pubblicato a giugno e rivisto la scorsa settimana, ed è stato accettato per la pubblicazione dalla conferenza ACM Multimedia che si terrà a ottobre. Entrambi i gruppi di ricercatori dicono di voler esplorare modi per combinare i sistemi PPG con i metodi di autenticazione video esistenti nel lavoro futuro. Ciò permetterebbe loro di ottenere modi più accurati o robusti per identificare in profondità i video falsificati.
Video Authentication deepfake
Microsoft all’inizio di questa settimana per Azure ha introdotto il servizio Video Authentication deepfake, come parte del suo lancio, è stato messo a disposizione dei media e delle campagne politiche attraverso il programma Reality Defender della AI Foundation.
Attualmente per quanto riguarda le preoccupazioni relative alle interferenze elettorali, i video falsificati e le falsità diffuse dal presidente Trump e dal suo team sembrano rappresentare una minaccia maggiore rispetto ai deepfake; un giornalista della CBS di Sacramento si è unito alle proteste nel definire il video un falso. Twitter ha rimosso il video a causa di una segnalazione presentata dal proprietario del copyright. Il video falsificato è stato visto più di un milione di volte.