Una demanda en Nueva Jersey muestra lo difícil que es combatir el porno deepfake

Una aplicación llamada ClothOff ha estado aterrorizando a mujeres jóvenes en línea durante más de dos años, y es increíblemente difícil detenerla. La aplicación ha sido eliminada de las dos principales tiendas de aplicaciones y prohibida en la mayoría de las plataformas sociales, pero todavía está disponible en la web y a través de un bot de Telegram. En octubre, una clínica de la Facultad de Derecho de Yale presentó una demanda que cerraría la aplicación por completo, obligando a los propietarios a eliminar todas las imágenes y cesar sus operaciones por completo. Pero fue un desafío encontrar a los acusados.

“Tiene su sede en las Islas Vírgenes Británicas”, explica el profesor John Langford, uno de los abogados principales de la demanda, “pero creemos que está dirigida por un hermano y una hermana y por Bielorrusia. Incluso podría ser parte de una red más grande en todo el mundo”.

Esta es una amarga lección dada la reciente avalancha de pornografía no consensuada generada por xAI de Elon Musk, que incluyó a muchas víctimas menores de edad. El material de abuso sexual infantil es el contenido legalmente más peligroso de Internet: su producción, transmisión o almacenamiento es ilegal y los principales servicios en la nube lo analizan periódicamente. Pero a pesar de las estrictas prohibiciones legales, todavía hay pocas maneras de lidiar con generadores de imágenes como ClothOff, como lo demuestra el caso Langford. Los usuarios individuales pueden ser procesados, pero plataformas como ClothOff y Grok son mucho más difíciles de monitorear, lo que deja pocos recursos para las víctimas que esperan justicia en los tribunales.

La denuncia de la clínica, disponible en línea, pinta un panorama alarmante. El demandante es un estudiante anónimo de secundaria de Nueva Jersey cuyos compañeros utilizaron ClothOff para alterar sus fotos de Instagram. Tenía 14 años cuando se tomaron las fotos originales de Instagram, lo que significa que las versiones modificadas por IA están clasificadas legalmente como imágenes de abuso infantil. Pero aunque las imágenes alteradas son claramente ilegales, las autoridades locales se negaron a procesar el caso, citando la dificultad de obtener pruebas de los dispositivos de los sospechosos.

“Ni la escuela ni las autoridades determinaron jamás cuán ampliamente distribuido estaba el CSAM de Jane Doe y otras niñas”, afirma la denuncia.

Aún así, el juicio avanzó lentamente. La demanda se presentó en octubre y, en los meses siguientes, Langford y sus colegas estuvieron ocupados notificando a los demandados, una tarea difícil dada la naturaleza global de la empresa. Una vez notificada, la clínica puede presionar para que se presente ante el tribunal y se emita un veredicto final, pero mientras tanto, el sistema legal ha ofrecido poco consuelo a las víctimas de ClothOff.

El caso Grok parece un problema más fácil de resolver. La xAI de Elon Musk no se esconde y al final hay mucho dinero para los abogados que pueden ganar una demanda. Pero Grok es una herramienta de uso general, lo que hace que sea mucho más difícil responsabilizarse ante los tribunales.

“ClothOff fue diseñado y comercializado específicamente como un generador de imágenes y videos de pornografía deepfake”, me dijo Langford. “Si demandas a un sistema general donde los usuarios pueden pedir todo tipo de cosas, se vuelve mucho más complicado”.

Varias leyes estadounidenses ya han prohibido la pornografía deepfake, en particular la Ley Take It Down. Pero si bien ciertos usuarios claramente están violando estas leyes, responsabilizar a toda la plataforma es mucho más difícil. Las leyes existentes exigen pruebas claras de la intención de dañar, lo que significaría presentar pruebas de que xAI sabía que su herramienta se utilizaría para producir pornografía no consensuada. Sin esta evidencia, los derechos fundamentales de la Primera Enmienda de xAI proporcionarían una protección legal significativa.

“Con respecto a la Primera Enmienda, está muy claro que el material de abuso sexual infantil no es un discurso protegido”, dijo Langford. “Entonces, si estás diseñando un sistema para crear este tipo de contenido, claramente te estás saliendo de lo que está protegido por la Primera Enmienda. Pero si tienes un sistema general en el que los usuarios pueden consultar todo tipo de cosas, eso no está tan claro”.

La forma más sencilla de superar estos problemas sería demostrar que xAI ignoró intencionalmente el problema. Esta es una posibilidad real, ya que recientemente se informó que Musk ha ordenado a sus empleados que relajen las medidas de seguridad de Grok. Pero incluso entonces sería un caso mucho más riesgoso.

“La gente razonable puede decir que sabíamos que esto era un problema hace años”, dijo Langford. “¿Cómo no se pueden implementar controles más estrictos para asegurarse de que algo como esto no suceda? Eso es una especie de imprudencia o conocimiento, pero es sólo un caso más complicado”.

Estas cuestiones de la Primera Enmienda son la razón por la que la mayor resistencia de xAI proviene de sistemas judiciales sin protecciones legales sólidas para la libertad de expresión. Tanto Indonesia como Malasia han tomado medidas para bloquear el acceso al chatbot Grok, mientras que los reguladores del Reino Unido han iniciado una investigación que podría conducir a una prohibición similar. La Comisión Europea, Francia, Irlanda, la India y Brasil adoptaron otras medidas preparatorias. En cambio, ningún regulador estadounidense ha emitido una respuesta oficial.

Es imposible decir cómo se desarrollará la investigación, pero al menos la avalancha de imágenes plantea muchas preguntas que los reguladores deben investigar, y las respuestas podrían ser condenatorias.

“Si publicas, distribuyes o difundes material de abuso sexual infantil, estás infringiendo las prohibiciones del derecho penal y puedes ser considerado responsable”, dice Langford. “La pregunta difícil es: ¿Qué sabía X? ¿Qué hizo o no hizo X? ¿Qué están haciendo ahora en respuesta?”