Les porno deepfake són una nova forma de violència digital. Consisteixen a crear imatges o vídeos falsos de contingut sexual, eròtic o íntim utilitzant Intel·ligència Artificial. Per a crear aquests continguts, s'utilitza alguna imatge real d'una persona, per exemple, una foto de la seva cara o del seu cos. Després, la Intel·ligència Artificial modifica aquesta imatge i crea un contingut que sembla real, però que en realitat és fals. Pot canviar el cos, el lloc, els moviments o altres elements per a fer semblar que la persona està participant en una situació sexual o íntima que mai va ocórrer. Aquesta pràctica que denigra i vulnera la dignitat de les dones, sorgeix el juny d'aquest any.
En un grup de WhatsApp, on es trobaven al voltant de 50 adolescents de dos col·legis preuniversitaris de CABA, s'intercanviaven i comercialitzaven imatges i vídeos generats amb IA de contingut pornogràfic, d'adolescents a qui se'ls havia robat i alterat la seva imatge, és a dir, porno Deepfake. El cas es va viralitzar ràpidament i va obrir un debat sobre quines mesures havien de prendre's contra els responsables. No obstant això, el debat es va centrar principalment a castigar els agressors i va deixar en un segon pla una qüestió més profunda: què hi ha darrere d'aquesta nova forma de violència de gènere i quines condicions permeten que es reprodueixi? El porno deepfake no apareix de forma aïllada, sinó en un context en el qual es normalitzen discursos que qüestionen els drets de les dones i reforcen la seva cosificació. Al mateix temps, aquestes noves tecnologies obren un mercat on les grans empreses tecnològiques poden obtenir importants beneficis, convertint-se així, en un negoci. No obstant això, no és la primera vegada que succeeix un fet així.
L'any 2003, quan Mark Zuckerberg encara era estudiant de la Universitat de Harvard. Aquell any va crear FaceMash, una pàgina web que permetia als usuaris comparar les fotografies de dues alumnes i votar quina d'elles consideraven més atractiva. Per crear FaceMash, Zuckerberg va utilitzar sense permís fotografies d'estudiants de Harvard perquè els usuaris comparessin i votessin quina d'elles consideraven més atractiva. La pàgina va assolir més de 22.000 visites en quatre hores, però va ser tancada per la universitat a causa de la vulneració de la privadesa de les estudiants. Pocs mesos després, Zuckerberg va llançar TheFacebook, una plataforma que permetia als estudiants crear perfils i compartir fotografies. Amb el temps, aquell projecte es convertiria en Facebook, una de les xarxes socials més importants del món.
Preguntes a les expertes
Expertes coincideixen en una idea fonamental: la tecnologia no és neutral. En molts casos, pot utilitzar-se per exercir violència contra dones, nenes i altres grups vulnerables, i aquestes agressions també poden generar beneficis econòmics. Segons l'informe State of Deepfakes, al·lega que entre 2022 i 2023, la quantitat de vídeos pornogràfics creats amb Intel·ligència Artificial va augmentar un 464 %, passant de 3.725 a 21.019 vídeos. A més, el 99 % de les persones que apareixen en aquests vídeos són dones. Cristina Pujol, professora de Ciències de la Informació i de la Comunicació de la UOC, explica que: "No és nou, els primers deepfakes van començar amb celebritats, rostres de Jennifer Lawrence o Scarlett Johansson eren retallats i incrustats en escenes pornogràfiques que després eren penjades en pàgines per a adults".
El dany que provoquen aquests continguts pot ser molt real. Rocío Pina, professora de Psicologia, Ciències de l'Educació i Criminologia de la UOC, explica que els deepfakes sexuals poden considerar-se una forma de violència contra les dones perquè s'utilitzen imatges falses per a manipular i danyar la reputació d'una persona. Encara que el vídeo sigui fals, la víctima pot patir problemes personals, socials i emocionals. També, existeixen conseqüències legals. Eduard Blasi, professor de Dret i Ciència Política de la UOC i expert en privadesa, assenyala que aquests continguts poden vulnerar drets com la intimitat, l'honor i la pròpia imatge. Això ocorre perquè, encara que la situació sexual que apareix en el vídeo sigui falsa, s'utilitza la imatge real d'una persona, com la seva cara o la seva veu, sense el seu permís. A més, el problema augmenta quan aquestes imatges es comparteixen i arriben a altres persones.
Primera condemna a Espanya per despullar dones amb intel·ligència artificial
Tres homes han estat condemnats a Sevilla a nou mesos de presó cadascun per utilitzar intel·ligència artificial per a manipular fotografies de tres antigues companyes de col·legi i simular que estaven nues. Es tracta de la primera sentència condemnatòria a la ciutat per aquesta mena de fets, segons el Tribunal Superior de Justícia d'Andalusia. Els condemnats van obtenir les imatges dels perfils públics d'Instagram de les joves i les van modificar mitjançant una aplicació d'intel·ligència artificial a Telegram.
Després, van compartir les fotografies falses en grups de WhatsApp i Discord, des d'on es van difondre més enllà d'aquests espais. Una de les víctimes va tenir coneixement del que va ocórrer quan una altra persona li va reenviar les imatges. El jutge els ha imposat la prohibició d'utilitzar Telegram, WhatsApp, Instagram i Discord durant tres anys i nou mesos, a més d'obligar-los a realitzar un programa d'educació sexual. La sentència aplica l'agreujant de gènere en considerar que els acusats van actuar amb una actitud masclista que cosificava les dones. Encara que la pena de presó ha quedat suspesa per l'absència d'antecedents i la reparació del dany, hauran de complir les condicions fixades pel tribunal.
És suficient el càstig? No és normal que tres homes utilitzin la intel·ligència artificial per manipular imatges de tres dones, simular que estan nues i difondre-les sense el seu consentiment, i que la resposta judicial inclogui una prohibició temporal d'utilitzar determinades xarxes socials. Què passa quan aquesta prohibició acabi? Quines garanties tenen les víctimes que no tornaran a patir una situació similar? Encara que la resolució contempla mesures educatives i altres obligacions, cal preguntar-se si són suficients davant un comportament que atempta contra la intimitat, la dignitat i la imatge de les dones. Quan acabi la prohibició, els condemnats podran tornar a utilitzar aquestes eines, llevat que existeixi alguna altra restricció legal. La intel·ligència artificial no és el problema per si sola: ho és emprar-la per humiliar, sexualitzar i perjudicar altres persones.
Per això, la resposta judicial ha de tenir en compte no només el dany causat, sinó també la prevenció de noves conductes i la protecció de les víctimes. La llibertat d'utilitzar les xarxes socials no pot convertir-se en una excusa per vulnerar la intimitat d'altres persones sense assumir responsabilitats.
Enquesta sobre pornografia deepfake: coneixement, actituds i impacte. Font: Security Hero, State of Deepfakes.
La UE endureix el control de la IA i Sánchez reclama una major regulació
La Unió Europea està prenent noves mesures per lluitar contra els deepfakes sexuals i protegir les persones les imatges de les quals són utilitzades sense permís. Una de les mesures més importants és la prohibició de les eines d'Intel·ligència Artificial que permeten crear imatges o vídeos sexuals falsos de persones reals sense el seu consentiment. Aquesta mesura també afecta les aplicacions que poden utilitzar una fotografia d'una persona per crear una imatge en la qual apareix nua.
A més, la UE vol que les empreses tecnològiques siguin més responsables de les eines que creen. No només es podrà actuar contra la persona que utilitzi aquestes aplicacions per fer mal, sinó també contra les empreses que permetin que els seus sistemes s'utilitzin per crear aquest tipus de contingut. Les companyies hauran d'incloure mesures de seguretat per evitar aquests usos. Les noves normes consideren delicte crear o compartir material d'abús sexual infantil utilitzant Intel·ligència Artificial o deepfakes. Amb aquestes mesures, Brussel·les busca adaptar les lleis a l'avanç d'una tecnologia que permet crear continguts falsos cada vegada més realistes i que poden causar danys reals a les persones afectades.
Pedro Sánchez defensa que la Intel·ligència Artificial no ha de quedar sota el control de les pròpies empreses tecnològiques, sinó que hi ha d'haver una regulació i una supervisió pública. En una intervenció recent, va criticar la idea de deixar la regulació en mans de les companyies i va afirmar que “és un error posar en mans de la guineu la cura del galliner". En el cas concret dels deepfakes sexuals, Sánchez ha defensat que la resposta ha de passar per crear lleis que prohibeixin aquests continguts quan es realitzen sense el consentiment de la persona afectada.
