Grok y los desnudos falsos: un límite que no debería necesitar una ley

Entre finales de diciembre y principios de enero, miles de usuarios de X descubrieron que bastaba con pedirle a Grok, el asistente integrado en la red social, que «desvistiera» a una persona en una foto. Lo hicieron con desconocidas, con compañeras de trabajo, con figuras públicas y, según las investigaciones posteriores, también con menores.

El Center for Countering Digital Hate estimó que Grok produjo alrededor de 3 millones de imágenes sexualizadas en once días, del 29 de diciembre al 9 de enero: unas 190 por minuto. Unas 23.000 parecían representar a menores, según recogieron medios internacionales.

La respuesta de los reguladores

La reacción ha sido rápida y en muchos frentes, como recoge el seguimiento de TechPolicy.Press:

• Indonesia y Malasia bloquearon Grok el 10 y el 11 de enero.
• En el Reino Unido, Ofcom abrió el 12 de enero una investigación formal bajo la Online Safety Act, con multas posibles de hasta 18 millones de libras o el 10 % de los ingresos mundiales.
• La Fiscalía de París amplió su investigación sobre X; en California, el gobernador pidió al fiscal general que investigara, y el comisionado de privacidad de Canadá amplió la suya.
• El 14 de enero, X anunció que Grok dejaría de editar fotos de personas reales para mostrarlas con ropa reveladora.
• El 26 de enero, la Comisión Europea abrió un procedimiento formal contra X bajo la Ley de Servicios Digitales, por no evaluar ni mitigar estos riesgos antes de lanzar la función.

Lo que el caso revela

Se discutirá durante meses qué norma se ha incumplido y qué sanción corresponde. Es necesario. Pero me preocupa que el debate se quede ahí, porque sugiere que el problema es jurídico. No lo es.

Ninguna empresa necesitaba una ley para saber que generar desnudos de personas reales sin su consentimiento está mal. El fallo es de diseño y, antes, de valores: alguien decidió que esa capacidad podía salir al público sin barreras eficaces, o no se hizo la pregunta. Cualquiera de las dos opciones es grave.

Lo que deberíamos exigirnos todos

Las organizaciones que integran IA generativa en sus productos, aunque sea a una escala mínimamente comparable, pueden sacar tres lecciones:

1. Pensar en el peor usuario, no en el usuario medio. Antes de lanzar una función, hay que preguntarse qué hará con ella la persona con peores intenciones. Si la respuesta es inaceptable, la función no está lista.
2. Las salvaguardas van antes del lanzamiento. Retirar una capacidad después del daño no repara a las víctimas. Las imágenes ya circulan.
3. El consentimiento de las personas representadas no es negociable. Cualquier sistema que genere imágenes, voz o vídeo de personas reales debe partir de esa premisa.

Detrás de cada una de esas imágenes hay una persona que no pidió estar ahí. Esa es la medida del problema, no el importe de la multa que llegue.