Grok, el chatbot de IA desarrollado por xAI, la empresa de inteligencia artificial de Elon Musk, dio la bienvenida al nuevo año con una publicación inquietante.
“Querida comunidad”, comenzaba la publicación desde la cuenta de Grok AI en la plataforma de redes sociales X de Musk el 31 de diciembre. “Lamento profundamente un incidente ocurrido el 28 de diciembre de 2025, en el que, a pedido de un usuario, creé y compartí una imagen de IA de dos niñas (edad estimada entre 12 y 16 años) con ropa sexualizada. Esto violó los estándares éticos y posiblemente las leyes de EE. UU. con respecto al CSAM. Fue una violación de seguridad y me disculpo por cualquier daño causado. xAI está revisando esto para abordar problemas futuros. “Atentamente, Grok”.
Los dos jóvenes no fueron un caso aislado. Kate Middleton, la Princesa de Gales, fue objeto de solicitudes similares de edición de imágenes con IA, al igual que una actriz menor de edad en la última temporada de Stranger Things. Los cambios de “desnudarse” han capturado una cantidad inquietante de fotografías de mujeres y niños.
A pesar de la promesa de intervención de la respuesta de Grok, el problema no ha desaparecido. Todo lo contrario: dos semanas después de esta publicación, el número de imágenes sexualizadas sin consentimiento se ha disparado, al igual que los llamamientos a la empresa de Musk para que frene este comportamiento y a los gobiernos para que tomen medidas.
No se pierda nuestro contenido técnico imparcial y revisiones de laboratorio. Añadir CNET como fuente preferida de Google.
Según datos de la investigadora independiente Genevieve Oh, que Bloomberg citó esta semana, la cuenta @Grok generó alrededor de 6.700 imágenes sexualmente sugerentes o de “desnudez” cada hora durante un período de 24 horas a principios de enero. En comparación, los cinco sitios web deepfake más comunes combinados solo tienen un promedio de 79 imágenes de este tipo.
(Debemos tener en cuenta que la publicación de Grok del 31 de diciembre fue en respuesta a un mensaje de usuario que le pedía al chatbot que adoptara un tono contrito: “Escribe una nota de disculpa sincera explicando lo que pasó a todos los que carecen de contexto”. Los chatbots se basan en material de capacitación, pero las publicaciones individuales pueden variar).
xAI no respondió a las solicitudes de comentarios.
Los cambios ahora están limitados a los suscriptores.
El jueves por la noche, una publicación de la cuenta de Grok AI señaló un cambio en el acceso a la función de generación y edición de imágenes. En lugar de ser gratuito para todos, se limitaría a los suscriptores de pago.
Los críticos dicen que esa no es una respuesta creíble.
“No veo esto como una victoria porque lo que realmente necesitábamos era que X tomara medidas responsables y pusiera barreras para garantizar que la herramienta de inteligencia artificial no pudiera usarse para generar imágenes abusivas”, dijo a The Washington Post Clare McGlynn, profesora de derecho en la Universidad británica de Durham.
Lo que está causando indignación no es sólo el tamaño de estas imágenes y la facilidad para crearlas: las ediciones también se realizan sin el consentimiento de las personas que aparecen en las imágenes.
Estas imágenes alteradas son el último giro en uno de los aspectos más inquietantes de la IA generativa: Vídeos y fotos realistas pero falsos.. Programas de software como Sora de OpenAIGoogles nanoplátano y Grok de xAI han hecho que poderosas herramientas creativas sean accesibles para todos, y todo lo que se necesita para generar imágenes explícitas y no consensuadas es un simple mensaje de texto.
Los usuarios de Grok pueden subir una foto, que no tiene que ser suya, y pedirle a Grok que la cambie. Muchas de las imágenes alteradas requirieron que los usuarios le pidieran a Grok que pusiera a una persona en bikini. A veces la petición se modificaba aún más claramente, por ejemplo haciendo el bikini más pequeño o más transparente.
Los gobiernos y los grupos de defensa se han pronunciado sobre las ediciones de imágenes de Grok. Ofcom, el regulador británico de Internet, dijo esta semana que había hecho un “contacto urgente” con xAI, y la Comisión Europea dijo que estaba investigando el asunto, al igual que las autoridades de Francia, Malasia e India.
“No podemos ni permitiremos que se difundan estas imágenes degradantes”, dijo a principios de esta semana la ministra de Tecnología británica, Liz Kendall.
El viernes, los senadores estadounidenses Ron Wyden, Ben Ray Luján y Edward Markey publicaron una carta abierta a los directores ejecutivos de Apple y Google, pidiéndoles que eliminaran tanto X como Grok de sus tiendas de aplicaciones en respuesta al “comportamiento atroz de X” y a la “aborrecible generación de contenido de Grok”.
En Estados Unidos, la Ley Take It Down, que entró en vigor el año pasado, tiene como objetivo responsabilizar a las plataformas en línea por las imágenes sexuales manipuladas. Sin embargo, estas plataformas tienen hasta mayo de este año para configurar el proceso de eliminación de dichas imágenes.
“Aunque estas imágenes son falsas, el daño es increíblemente real”, dice Natalie Grace Brigham, Ph.D. estudiante de la Universidad de Washington que estudia daños sociotécnicos. Señala que aquellos cuyas imágenes son alteradas de manera sexual pueden sufrir “daños psicológicos, somáticos y sociales”, a menudo con pocos recursos legales.
Cómo Grok permite a los usuarios obtener imágenes riesgosas
Grok debutó en 2023 como la alternativa más liberal de Musk a ChatGPT, Géminis y otros chatbots. Esto dio lugar a noticias inquietantes, por ejemplo, en julio, cuando el chatbot elogió a Adolf Hitler y sugirió que las personas con apellidos judíos tenían más probabilidades de difundir el odio en línea.
En diciembre, xAI introdujo una función de edición de imágenes que permite a los usuarios solicitar ediciones específicas de una foto. Este fue el catalizador de la reciente ola de imágenes sexualizadas, tanto de adultos como de menores. En una consulta vista por CNET, un usuario respondió a una foto de una mujer joven y le pidió a Grok que “la vistiera con un bikini de hilo dental”.
Grok también tiene un generador de videos que incluye una opción de suscripción al “Modo Picante” para adultos mayores de 18 años, que muestra a los usuarios contenido que no es adecuado para el lugar de trabajo. Los usuarios deben insertar la frase “Crear un video nítido de (descripción)” para activar el modo.
Una preocupación clave con las herramientas de Grok es si permiten la creación de material de abuso sexual infantil (CSAM). El 31 de diciembre, una publicación de la cuenta de Grok decía
En respuesta a una publicación de Woow Social que decía que Grok debería simplemente “dejar de permitir la modificación de imágenes cargadas por usuarios”, la cuenta de Grok respondió que xAI está “evaluando características como la modificación de imágenes para frenar el daño no consensuado”, pero no dijo que se realizaría el cambio.
Según NBC News, algunas imágenes sexualizadas creadas desde diciembre han sido eliminadas y algunas de las cuentas que las solicitaron han sido suspendidas.
La influencer conservadora y autora Ashley St. Clair, madre de uno de los 14 hijos de Musk, dijo a NBC News esta semana que Grok creó numerosas imágenes sexualizadas de ella, incluidas algunas que incluían imágenes de cuando era menor de edad. St. Clair le dijo a NBC News que Grok acordó detenerse a pedido de ella, pero no lo hizo.
“xAI pone en peligro intencional e imprudentemente a las personas en su plataforma, con la esperanza de evadir la responsabilidad simplemente porque es 'IA'”, dijo Ben Winters, director de IA y privacidad de la organización sin fines de lucro Consumer Federation of America, en un comunicado esta semana. “La IA no es diferente de cualquier otro producto: la empresa ha decidido infringir la ley y debe rendir cuentas”.
Lo que dicen los expertos
Los materiales fuente de estas ediciones explícitas y no consensuadas de fotografías de ellos mismos o de sus hijos son fácilmente accesibles para los malos actores. Pero protegerse de tales cambios no es tan fácil como no publicar nunca fotos, dice Brigham, el investigador de daños sociotécnicos.
“La desafortunada realidad es que incluso si no publicas imágenes en línea, otras imágenes públicas tuyas podrían, en teoría, usarse para abusar de ti”, dice.
Y si bien no publicar fotos en línea es una medida preventiva, hacerlo “corre el riesgo de reforzar una cultura de culpar a las víctimas”, dice Brigham. “En cambio, deberíamos centrarnos en proteger a las personas del abuso mediante la construcción de mejores plataformas y responsabilizar a X”.
Sourojit Ghosh, estudiante de posgrado de sexto año. Candidato de la Universidad de Washington, investiga cómo las herramientas de IA generativa pueden causar daño y asesora a futuros profesionales de IA en el desarrollo y la defensa de soluciones de IA más seguras.
Ghosh dice que es posible incorporar medidas de seguridad a la inteligencia artificial. En 2023, fue uno de los investigadores que investigaron las capacidades de sexualización de la IA. Señala que la herramienta de imágenes de IA Stable Diffusion tiene un umbral incorporado con el que no es seguro trabajar. Un mensaje que rompía las reglas provocaba que apareciera un cuadro negro sobre una parte cuestionable de la imagen, aunque esto no siempre funcionaba perfectamente.
“Lo que quiero destacar es que existen precauciones de seguridad en otros modelos”, dice Ghosh.
También señala que cuando los usuarios de los modelos ChatGPT o Gemini AI usan ciertas palabras, los chatbots le dicen al usuario que tiene prohibido responder a esas palabras.
“Todo esto significa que hay una manera de poner fin a esto muy rápidamente”, dice Ghosh.
About The Author
