El 22 de agosto se descubrió la existencia de un bot coreano en Telegram que permite a los usuarios, con un solo clic y alrededor de 650 wones (0,44 euros), crear un deepfake pornográfico de cualquier persona. Alrededor de 227.000 personas habían empleado el servicio de este bot para producir desnudos deepfake “a la carta”.
Días más tarde, el 30 de agosto, un grupo de mujeres se reunía en Seul para protestar y manifestarse a causa de los delitos sexuales que inundan Corea del Sur. Además, a raíz del descubrimiento, las investigaciones realizadas por periodistas y usuarios se multiplicaron, destapando una multitud de canales de Telegram dedicados a crear y distribuir estas imágenes hipersexualizadas de mujeres conocidas.
Imágenes falsas con un impacto muy real
Un deepfake pornográfico consiste en una imagen real que ha sido alterada mediante IA, en este caso, para crear contenido sexualizado. Este tipo de pornografía incluye contenidos explícitos en los que los rostros reales se superponen digitalmente a otras imágenes o vídeos pornográficos, creando así una imagen realista, pero falsa.
Algunos de los canales de Telegram que empleaban este bot se dedicaban a compartir imágenes de una persona determinada, cuyos miembros del canal conocían; como es el caso de una estudiante llamada Jiwon, según descubrió Le Monde. En el canal dedicado a esta estudiante, alrededor de 30 miembros compartían fotos reales de la chica, que posteriormente se empleaban para generar contenido pornográfico explícito.
Otros canales, conocidos como “Family Rooms”, se empleaban para compartir contenidos pornográficos incestuosos, en los cuales se compartían vídeos de jóvenes agrediendo a miembros familiares femeninos, como hermanas o primas. Los distintos canales oscilaban entre varias decenas de miembros hasta diez mil en algunos casos.
El acceso a estos canales era relativamente sencillo: una búsqueda online o incluso un link difundido a través de X (antes Twitter) te permitía acceder al bot, el cual solicitaba “subir una fotografía de una mujer que te guste”. En tan solo cinco segundos, el canal generaba un deepfake pornográfico de esa fotografía, permitiendo incluso personalizar partes del cuerpo en la imagen resultante. La herramienta creaba hasta dos desnudos falsos de forma gratuita, exigiendo un pago de alrededor de 40 céntimos para obtener más imágenes, pero ofreciendo descuentos a aquellos usuarios que hiciesen compras mayores.
“Las imágenes deepfake de explotación sexual creadas en salas de Telegram como estas, se comparten en otros grupos, y así es como se llega a los delitos sexuales masivos”, afirmaba Seo Hye-jin, directora de derechos humanos de la Asociación de Abogadas Coreanas.
Víctimas que no deberían ser víctimas
Entre las víctimas de los deepfakes creados, no solo se encuentran estudiantes de diversas universidades de Corea del Sur, sino también alumnas menores de edad de distintos colegios. En general, muchos de los canales se centran en un único centro de enseñanza coreano, probablemente porque sea el centro de enseñanza que atienden los mismos agresores.
A raíz de diversas investigaciones, se ha creado incluso un mapa denominado “Deepfake Map”, en el que se enumeran todas las escuelas en el punto de mira de algún canal en Corea del Sur. Según este mapa, realizado por DataSec, se estimaba que el número de escuelas afectadas ascendía a 632 el pasado 30 de agosto. Tras conocerse este dato, muchas de las chicas eliminaron todas sus fotos de las redes sociales. La preocupación entre las alumnas es también compartida por las profesoras, quienes igualmente se arriesgan a ser el blanco de los ataques de sus alumnos.
Las imágenes deepfakes se publicaban junto con información básica de la víctima, como su carrera o grado, su nombre, cuándo empezaron los estudios, e incluso número de teléfono. A raíz de esta información, las personas que reconocen a la víctima formaban un canal propio dedicado a esta persona. Es decir, estos canales van más allá de buscar una imagen pornificada; se trata de todo un proceso de sexualización y cosificación de una única mujer, en el que sus datos se ven comprometidos.
Los jóvenes son las principales víctimas y los principales agresores. Se estima que el 69% de los sospechosos en casos de “creación y distribución de vídeos falsos” en Corea del Sur son adolescentes, y el 92% tienen menos de 30 años. Son precisamente los jóvenes los que han adquirido mayor dominio de las tecnologías como la IA, especialmente la IA generativa.
Curar lo que no se ha prevenido
Las autoridades coreanas respondieron con urgencia ante este descubrimiento. Sin embargo, dada la jurisdicción legal de Telegram en Corea del Sur, no cuentan con una manera de exigir la eliminación de los contenidos de estos canales, lo que también dificulta la detección de los sospechosos.
Simultáneamente, Pavel Durov, CEO de Telegram, está siendo investigado en París por negarse a cooperar con la policía en varios casos, siendo uno de ellos un caso asociado a pornografía infantil. La policía surcoreana se ha comprometido a encontrar formas de cooperar con diversos organismos de investigación, incluidos los franceses, para mejorar su investigación sobre la plataforma.
Para reflexionar…
Aunque Corea del Sur parezca un lugar lejano a nuestra realidad, lo ocurrido en este país es tan solo un recordatorio de la nueva escala que pueden adoptar los crímenes sexuales a los que nos enfrentamos.
Telegram es utilizado en todo el mundo, y además recordamos que el enlace al bot coreano fue compartido como “trending topic” en la red X; por tanto, población no coreana seguramente tuvo acceso a este contenido.
El uso común de la IA por jóvenes y adolescentes es cada vez más frecuente, pero cabe preguntarnos si la ética de uso de estas tecnologías ha seguido el ritmo de los avances. Muchos jóvenes delincuentes emplean el deepfake como un juego, sin considerar el impacto de sus acciones, ni la ilegalidad de las mismas. El hecho que exista un canal de Telegram tan grande con un modelo de generación de ingresos, es reflejo del alto nivel de demanda que hay por estas imágenes, las cuales no se consideran un problema, sino todo lo contrario: un producto por el que incluso la gente pagaría.
Degradar sexualmente a mujeres, incluyendo menores de edad, se está normalizando como una forma más de ‘contenido’ online. Ya no se trata de un contenido al que acceden unos pocos, sino de un contenido que incluso se difunde abiertamente en redes sociales comunes como X.
La escala de los delitos sexuales a los que nos enfrentamos es ahora de un nivel incontrolable, en la que cualquiera puede ser víctima, y no saberlo. Si contamos con unas 220.000 personas creando y distribuyendo imágenes, es imposible determinar dónde pueden acabar dichas imágenes.
El daño de la distribución se convierte en un daño masivo. Claramente, hay que dar una vuelta a todo esto…
Referencias:
LeMonde. “In South Korea, young people are victims and perpetrators of pornographic deepfakes”.
LeMonde. “South Korea opens probe into Telegram for deepfake porn”.
Hankyoreh. “With a click, 220,000+ member Telegram room generates illegal deepfake porn”.
Hankyoreh. “On Telegram, countless chat rooms dedicated to degrading deepfakes of female acquaintances”.
Ara. “Corea del Sur lucha contra una ola de pornografía ‘deepfake’”.
Trackbacks/Pingbacks