V Laboratoriju za strojno inteligenco v boj proti globokim ponaredkom

V dobi, ko umetna inteligenca zmore ustvariti podobe, ki jih je skoraj nemogoče ločiti od resničnosti, se pojavlja ena največjih tehnoloških groženj današnjega časa – globoki ponaredki (angl. deepfake). Gre za računalniško ustvarjene slike, videe ali zvok, ki lahko zelo prepričljivo oponašajo resnične osebe. Sodobni generativni modeli omogočajo, da nekdo v nekaj minutah izdela video, kjer politik izreka besede, ki jih nikoli ni povedal, ali pa zamenja obraz osebe v filmu tako, da je gledalcu skoraj nemogoče zaznati razliko.

V Laboratoriju za strojno inteligenco na Fakulteti za elektrotehniko Univerze v Ljubljani se zavedajo nevarnosti, ki jih takšne tehnologije prinašajo – od dezinformacij in manipulacije javnega mnenja do zlorab zasebnih podatkov in osebne varnosti. Zato so zagnali projekt DeepFake DAD, s katerim razvijajo sodobne detektorje globokih ponaredkov, ki bodo kos tudi najnovejšim generativnim modelom. Projekt financira ARIS pod šifro J2-50065.

Veliko obstoječih detektorjev je zasnovanih tako, da prepoznajo le tiste vrste ponaredkov, na katerih so bili učeni. Ko se pojavi nov postopek generiranja, ki ga v učnih podatkih še ni bilo, takšni sistemi pogosto odpovedo. V laboratoriju se zato osredotočajo na pristope, ki temeljijo na zaznavanju anomalij – to pomeni, da sistemi znajo prepoznati, kdaj je v videu ali sliki nekaj nenavadnega ali sumljivega, tudi če se s takim primerom še nikoli niso srečali. Na ta način želijo razviti rešitve, ki bodo odporne tudi na prihodnje in danes še neznane metode ustvarjanja globokih ponaredkov.

Detekcija globokih ponaredkov na ravni posameznih segmentov

Ena od študij, ki so jo v laboratoriju izvedli skupaj s kolegi iz Laboratorija za računalniški vid na Fakulteti za računalništvo in informatiko (UL FRI), je metoda W-TDL (Window-Based Temporal Deepfake Localization), ki omogoča, da se ne ugotovi le, ali je video manipuliran, ampak tudi v katerih delih posnetka se manipulacija pojavi. W-TDL združuje analizo slike in zvoka, pri čemer vizualna komponenta analizira vsako sličico posebej, avdio komponenta pa razdeli zvok na kratke časovne okvire. Ta kombinacija omogoča, da sistem zazna tudi zelo kratke in subtilne manipulacije – na primer, kadar je obraz spremenjen le v nekaj sličicah, ali ko je zvok ponarejen zgolj v enem stavku.

Takšna sposobnost »pogleda od blizu« daje W-TDL veliko prednost pred tradicionalnimi pristopi. Rezultati preizkusov na obsežnih zbirkah kažejo, da metoda omogoča zanesljivo lokalizacijo manipulacij in s tem odpira nove možnosti za uporabo v praksi, od digitalne forenzike do preverjanja avtentičnosti medijskih vsebin.

Interpretabilnost detektorjev: odločitve, ki jih je mogoče razumeti

Druga pomembna raziskava laboratorija se ukvarja z vprašanjem, ki je za zaupanje v detektorje enako pomembno kot sama natančnost – razložljivost oziroma interpretabilnost. Detektorji namreč pogosto podajo zgolj odgovor, ali je slika ponarejena ali ne, ne povedo pa, zakaj so se tako odločili.

V okviru študije Locally-Explainable Self-Blended (LESB) DeepFake detector so raziskovalci razvili metodo, ki omogoča vpogled v notranje odločitve modela. Detektor tako lahko pokaže, katera področja obraza – na primer oči, nos ali usta – so bila ključna pri presoji, da je obraz ponarejen. Ta dodatna raven razlage ne zmanjša zmogljivosti sistema, ampak poveča zaupanje v rezultate, saj omogoča bolj transparentno delovanje. To je posebej pomembno v situacijah, kjer je treba odločitve detektorjev uporabiti kot dokaz, denimo v sodnih postopkih ali pri preverjanju avtentičnosti kritičnih medijskih vsebin.

Od globokih ponaredkov do napadov zlivanja

Manipulacije obrazov se ne končajo pri globokih ponaredkih. Ena od bolj subtilnih in za varnost še posebej nevarnih oblik so napadi zlivanja obrazov (angl. morphing attacks). Pri teh napadih se dva obraza združita v eno samo sliko, ki je videti dovolj podoben obema izvirnima oseba. Če se takšna fotografija uporabi na osebnem dokumentu, lahko dokument brez težav prestane avtomatske kontrole na mejnih prehodih, saj sistem prepozna lastnosti obeh oseb. Rezultat je, da lahko en potni list uporablja več ljudi – kar predstavlja resno varnostno grožnjo na področju identifikacije in nadzora meja.

SelfMAD – pristop k samo-nadzorovanemu zaznavanju napadov zlivanja

V laboratoriju so ta problem naslovili s študijo SelfMAD (Self-supervised Morphing Attack Detection), ki so jo izvedli as. Marija Ivnovska, mladi raziskovalec Leon Todorov, prof. Peter Peer (FRI UL) in prof. Vitomir Štruc. Gre za metodo, ki uporablja samo-nadzorovane pristope učenja, da se sistem nauči prepoznati drobne neskladnosti in anomalije, ki nastanejo ob združevanju obrazov. Četudi so te spremembe za človeško oko komaj opazne, SelfMAD uspe učinkovito ločiti med pristnimi in zlitimi obrazi.

Pomembna prednost SelfMAD je, da se metoda ne zanaša na obsežne zbirke vnaprej označenih podatkov, temveč zna sama ustvarjati primere in se učiti iz njih. To omogoča, da se detektor prilagodi različnim tipom zlivanj in ohrani robustnost tudi, ko se pojavijo nove oblike napadov zlivanja obrazov.

Pogled naprej

Raziskovalci v Laboratoriju za strojno inteligenco si prizadevajo zgraditi detektorje, ki bodo kos vsem oblikam manipulacij obrazov – od globokih ponaredkov v videu in zvoku, do napadov zlivanja na osebnih dokumentih. Generativne metode napredujejo hitro, zato morajo biti tudi obrambne tehnologije vedno korak pred njimi.

Projekt DeepFake DAD in z njim povezane študije, kot so W-TDL, LFD in SelfMAD, niso zgolj raziskovalni izzivi, temveč tudi družbena zaveza: ustvariti tehnologije, ki bodo pomagale zaščititi resnico in varnost v svetu, kjer postaja meja med realnostjo in iluzijo vse tanjša.