È in fase di sviluppo una tecnologia in grado di bloccare i contenuti sessuali o violenti mentre vengono filmati, condivisi o trasmessi in live streaming, ciò potrebbe aiutare a salvaguardare centinaia di migliaia di bambini.
La start-up britannica sta utilizzando un software di rilevamento delle minacce in tempo reale, alimentato dall’intelligenza artificiale, per identificare materiale potenzialmente dannoso mentre è filmato o condiviso in tempo reale. Il software potrebbe essere utilizzato sui cellulari dei bambini per impedire loro di creare, inviare o ricevere video o immagini che coinvolgono nudità, contenuti sessuali e violenza “prima che venga fatto qualsiasi danno”.
Internet Watch Foundation – ente di beneficenza che mira a rendere i contenuti di abusi sessuali su minori online il più inaccessibile possibile -, ha evidenziato che il 29% dei contenuti di abusi sessuali su minori su cui ha agito lo scorso anno è stato autogenerato, con questa percentuale in forte aumento. Ciò suggerirebbe che il software per impedire ai bambini di creare, inviare o ricevere contenuti grafici potrebbe essere un prezioso strumento di protezione.
Il software, in fase di sviluppo presso la start-up britannica SafeToNet, potrebbe essere installato sui cellulari dei bambini per rilevare e bloccare contenuti grafici con immagini di natura sessuale o violenta “prima che venga fatto qualsiasi danno”; potrebbe anche essere utilizzato dalle società di social media per impedire il caricamento e la condivisione di contenuti grafici, ad esempio interrompendo i live streaming violenti.
Il software “SafeToWatch” analizza il contenuto video fotogramma per fotogramma per valutarne il rischio, identificando le immagini ad alto rischio utilizzando un algoritmo di apprendimento automatico. È stato addestrato per rilevare anche contenuti grafici in forma di cartoni animati, sarà addestrato per identificare sangue, armi e violenza estrema.
SafeToNet non ha ancora deciso quali misure adottare una volta rilevata una minaccia, ma le opzioni potrebbero includere il blocco del dispositivo per un periodo di tempo, il blocco dell’app utilizzata per le riprese o il blocco della fotocamera del cellulare.
Il software in un’analisi iniziale utilizzando milioni di immagini e video, ha rilevato il 92% dei contenuti che coinvolgono nudità e l’84% degli esempi violenti. Il prossimo novembre, 2.000 famiglie inizieranno a testare il software, con la start-up che prevede un rilascio entro la metà del 2021.
Il software potrebbe essere utilizzato anche dalle emittenti televisive per bloccare contenuti violenti imprevisti che possono apparire nel frame mentre i corrispondenti riferiscono di eventi dal vivo, o da società di videoconferenza per filtrare i live streaming.
Richard Pursey CEO di SafeToNet ha dichiarato:
«La tecnologia potrebbe aiutare a prevenire il grooming (adescamento di un minore in Internet tramite tecniche di manipolazione psicologica volte a superarne le resistenze e a ottenerne la fiducia per abusarne sessualmente), il bullismo e lo sfruttamento sessuale prima che sia troppo tardi; non ha senso che ti venga detto che ieri tuo figlio di 12 anni ha inviato una sua foto di nudo, perché è già troppo tardi. La capacità di rilevare, analizzare l’acquisizione di video dal vivo e intervenire se è rilevato un rischio, per noi è pionierìstico: non conosciamo un’altra azienda al mondo che lo ha fatto».
Fred Langford vice amministratore delegato di Internet Watch Foundation ha detto:
«Software come questo nei punti vendita dovrebbe essere “assolutamente” preinstallato su tutti i dispositivi per bambini. Tutto si sta muovendo verso i dispositivi finali, questo software si è posizionato nel posto perfetto: da quello che ho visto nelle dimostrazioni, impedirebbe assolutamente a chiunque di visualizzare contenuti potenzialmente illegali sul proprio cellulare e anche di scattare quelle foto e caricarle altrove. Il rovescio della medaglia è che le persone potrebbero eseguirlo dall’altra parte per misurare ciò che le persone fanno per quanto riguarda il caricamento dei contenuti. Strumenti come questi potrebbero aiutare a ridurre al minimo l’esposizione dei moderatori a contenuti traumatizzanti che potrebbero avere un grave impatto sul loro benessere mentale».
Il software “SafeToWatch” potrebbe ridurre il lavoro delle società di social media, avranno un obbligo legale di diligenza nei confronti dei propri utenti, costringendoli a rimuovere in modo più proattivo contenuti dannosi come la propaganda terroristica e i suicidi trasmessi in live streaming. Facebook e altre società di social media tendono a utilizzare una combinazione di moderatori di contenuti umani per rivedere i contenuti contrassegnati e strumenti di moderazione automatica dei contenuti.