Esistono sistemi per rilevare quando le riprese sono state manipolate dall’intelligenza artificiale, ma gli scienziati hanno rivelato che quei sistemi possono essere facilmente ingannati.
Per la prima volta, gli scienziati hanno dimostrato che l’intelligenza artificiale può ingannare i sistemi progettati per rilevare i deepfake.
Un binomio di “deep learning” e “fake“, ha creato i deepfake che non sono altro che video progettati per ingannare lo spettatore unendo filmati reali con immagini generate artificialmente.
Mentre alcuni potrebbero essere divertenti, come manipolare la bocca di un politico in modo che sembri che stiano dicendo qualcosa di assurdo, o addirittura alcuni attori hanno recitato utilizzando il volto di un altro, gli esperti sono preoccupati che renderà la disinformazione dannosa ancora più convincente.
I sistemi sono stati progettati per rilevare quando il metraggio è un deepfake, ma questi sistemi possono essere ingannati, hanno rivelato i ricercatori dell’Università della California a San Diego in una conferenza.
I tipici rilevatori di deepfake si concentrano sui volti nei video che stanno analizzando, monitorandoli e trasmettendo i dati a una rete neurale che determina se il volto è reale o meno.
I rilevatori si concentrano spesso su lampi innaturali poiché i deepfake non tendono a replicare in modo convincente il movimento degli occhi.
Intervenendo alla conferenza Workshop on Applications of Computer vision, tenutasi online a gennaio, gli scienziati hanno dimostrato come i rilevatori possono essere ingannati inserendo input chiamati “esempi contraddittori” in ogni fotogramma di un video deepfake.
Questi esempi sono input leggermente manipolati che fanno sì che i sistemi di intelligenza artificiale, come i modelli di apprendimento automatico, commettano un errore e funzionano anche dopo la compressione dei video.
I rilevatori di deepfake più avanzati si basano su questi modelli di apprendimento automatico per funzionare.
“Il nostro lavoro mostra che gli attacchi ai rilevatori deepfake potrebbero essere una minaccia nel mondo reale“, ha detto alla conferenza Shehzeen Hussain, dottorando in ingegneria informatica.
“In modo ancora più allarmante, dimostriamo che è possibile creare deepfake avversari robusti anche quando un avversario potrebbe non essere a conoscenza del funzionamento interno del modello di apprendimento automatico utilizzato dal rilevatore“.
Lo studente di informatica Paarth Neekhara ha aggiunto: “Se gli aggressori hanno una certa conoscenza del sistema di rilevamento, possono progettare input per colpire i punti ciechi del rilevatore e aggirarlo“.
I ricercatori hanno creato un esempio contraddittorio per ogni volto in un fotogramma video, costruito per resistere alla compressione e al ridimensionamento che di solito li rimuove.
La versione modificata del viso viene quindi inserita in ogni fotogramma.
Gli autori dello studio hanno testato i loro attacchi deepfake in due diversi scenari. In uno, gli aggressori avevano pieno accesso al modello del rilevatore, inclusa la pipeline di estrazione del viso e l’architettura e i parametri del modello di classificazione.
Nell’altro, gli aggressori potevano solo interrogare il modello di apprendimento automatico per calcolare le probabilità che un frame venisse classificato come reale o falso.
La percentuale di successo dell’attacco nel primo scenario era del 99% per i video non compressi e dell’84,96% per i video compressi.
Nel secondo scenario, la percentuale di successo era dell’86,43% per i video non compressi e del 78,33% per i video compressi.
È il primo lavoro che dimostra attacchi riusciti contro rivelatori deepfake all’avanguardia.
“Per utilizzare questi rilevatori deepfake nella pratica, sosteniamo che è essenziale valutarli contro un avversario adattivo che è consapevole di queste difese e sta intenzionalmente cercando di sventare queste difese”, hanno detto i ricercatori.
