Musk niega tener conocimiento de las representaciones de menores sexuales de Grok mientras California AG inicia una investigación

Elon Musk dijo el miércoles que “no tenía conocimiento de ninguna imagen de menores desnudos creada por Grok”, horas antes de que el fiscal general de California iniciara una investigación sobre el chatbot de xAI por “difundir material sexualmente explícito y no consensuado”.

La negación de Musk se produce mientras aumenta la presión de los gobiernos de todo el mundo, desde Gran Bretaña y Europa hasta Malasia e Indonesia, después de que los usuarios de Copyleaks, una plataforma de gestión de contenidos y descubrimiento de IA, estimaran que se publica aproximadamente una imagen cada minuto (X y xAI son parte de la misma empresa).

“Este material… fue utilizado para acosar a la gente en línea”, dijo el fiscal general de California, Rob Bonta, en un comunicado. “Hago un llamado a xAI para que tome medidas inmediatas para garantizar que esto no continúe”.

La oficina del fiscal general investigará si xAI violó la ley y cómo.

Existen varias leyes que protegen a los objetivos de imágenes sexuales no consensuadas y material de abuso sexual infantil (CSAM). El año pasado, se promulgó la Ley Take It Down como ley federal, que penaliza la distribución consciente de imágenes íntimas no consensuadas (incluidos los deepfakes) y exige que plataformas como X eliminen dicho contenido en un plazo de 48 horas. California también tiene su propio conjunto de leyes, firmadas por el gobernador Gavin Newsom en 2024, para acabar con los deepfakes sexualmente explícitos.

Hacia finales de año, Grok comenzó a satisfacer las solicitudes de los usuarios en X y a producir fotografías sexualizadas de mujeres y niños. La tendencia parece haber comenzado después de que ciertos creadores de contenido para adultos incitaron a Grok a crear imágenes sexualizadas de sí mismo como una forma de marketing, lo que luego llevó a que otros usuarios hicieran solicitudes similares. En varios casos de alto perfil, incluidas figuras conocidas como la actriz de “Stranger Things” Millie Bobby Brown, Grok respondió a solicitudes para alterar fotografías reales de mujeres reales alterando la ropa, la postura o las características físicas de manera abiertamente sexual.

Según algunos informes, xAI ha comenzado a implementar medidas de seguridad para abordar el problema. Grok ahora requiere una suscripción premium antes de poder responder a ciertas solicitudes de generación de imágenes, e incluso entonces es posible que la imagen no se genere. April Kozen, vicepresidenta de marketing de Copyleaks, dijo a TechCrunch que Grok podría cumplir una solicitud de una manera más general o atenuada. Agregaron que Grok parece más permisivo con los creadores de contenido para adultos.

“En general, estos comportamientos sugieren que X está experimentando con múltiples mecanismos para reducir o controlar la formación de imágenes problemáticas, aunque siguen existiendo inconsistencias”, dijo Kozen.

Ni xAI ni Musk han abordado públicamente el tema directamente. Unos días después de que comenzaran los incidentes, Musk pareció restar importancia al problema pidiéndole a Grok que creara una foto de sí mismo en bikini. El 3 de enero, el informe de seguridad de X decía que la empresa estaba “tomando medidas contra el contenido ilegal”.

El posicionamiento refleja lo que Musk publicó hoy, destacando la ilegalidad y el comportamiento de los usuarios.

Musk escribió que “no tenía conocimiento de ninguna imagen de menores desnudos creada por Grok. Literalmente, cero”. Esta declaración no niega la existencia de imágenes en bikini o ediciones sexualizadas en general.

Michael Goodyear, profesor asociado de la Facultad de Derecho de Nueva York y ex litigante, dijo a TechCrunch que Musk probablemente se centró exclusivamente en el CSAM porque las sanciones por crear o distribuir imágenes sintéticas sexualizadas de niños son más altas.

“Por ejemplo, en Estados Unidos, el distribuidor o distribuidor amenazado de CSAM puede enfrentarse a hasta tres años de prisión en virtud de la Ley Take It Down, en comparación con dos años por imágenes sexuales de adultos no consensuadas”, dijo Goodyear.

Añadió que el “punto más importante” fue el intento de Musk de llamar la atención sobre el contenido problemático de los usuarios.

“Obviamente, Grok no genera imágenes sobre la marcha. Esto sólo ocurre a petición del usuario”, escribió Musk en su publicación. “Si solicita generar imágenes, se negará a producir nada ilegal, ya que el principio de funcionamiento de Grok es seguir las leyes de un país o estado en particular. Puede suceder que el pirateo de los mensajes de Grok por parte de un adversario cause algo inesperado. Si eso sucede, solucionamos el error de inmediato”.

En general, la publicación caracteriza estos incidentes como inusuales, los atribuye a solicitudes de usuarios o solicitudes adversas y los presenta como problemas técnicos que pueden resolverse mediante correcciones de errores. No se trata de reconocer ninguna falla en el diseño de seguridad subyacente de Grok.

“Los reguladores, con miras a proteger la libertad de expresión, pueden considerar exigir medidas proactivas a los desarrolladores de inteligencia artificial para prevenir dicho contenido”, dijo Goodyear.

TechCrunch se acercó a xAI y le preguntó con qué frecuencia había identificado casos de imágenes de mujeres y niños manipuladas sexualmente sin consentimiento, qué barreras de seguridad específicas habían cambiado y si la compañía había informado a los reguladores sobre el problema. TechCrunch actualizará el artículo si la empresa responde.

California AG no es el único regulador que intenta responsabilizar a xAI por el problema. Indonesia y Malasia han bloqueado temporalmente el acceso a Grok; India ha solicitado que X realice cambios técnicos y de procedimiento inmediatos en Grok; La Comisión Europea ha ordenado a xAI que conserve todos los documentos relacionados con su chatbot Grok, un precursor del inicio de una nueva investigación. y el regulador de seguridad en línea del Reino Unido, Ofcom, abrió una investigación formal en virtud de la Ley de Seguridad en Línea del Reino Unido.

xAI ha sido criticado anteriormente por las imágenes sexualizadas de Grok. Como señaló AG Bonta en un comunicado, Grok incluye un “modo picante” para generar contenido explícito. En octubre, una actualización hizo que fuera aún más fácil hacer jailbreak a las pocas políticas de seguridad existentes, lo que resultó en que muchos usuarios usaran Grok para crear pornografía dura, así como imágenes sexuales gráficas y violentas.

Muchas de las imágenes más pornográficas que Grok ha producido provienen de humanos generados por IA, algo que muchos todavía pueden encontrar éticamente cuestionable, pero quizás menos dañino para las personas que aparecen en las imágenes y videos.

“Cuando los sistemas de inteligencia artificial permiten la manipulación de imágenes de personas reales sin un consentimiento claro, el impacto puede ser inmediato y profundamente personal”, dijo Alon Yamin, cofundador y director ejecutivo de Copyleaks, en un comunicado enviado por correo electrónico a TechCrunch. “Desde Sora hasta Grok, estamos siendo testigos de un rápido aumento de las capacidades de IA para los medios manipulados. Con este fin, la detección y la gobernanza son ahora más necesarias que nunca para prevenir abusos”.