Después de una serie de incidentes preocupantes de salud mental relacionados con chatbots de IA, un grupo de fiscales generales estatales envió una carta a los líderes de la industria de la IA advirtiéndoles que abordaran los “hallazgos delirantes” o se arriesgarían a violar la ley estatal.
La carta, firmada por docenas de AG de estados y territorios de EE. UU. en la Asociación Nacional de Fiscales Generales, pide a las empresas, incluidas Microsoft, OpenAI, Google y otras 10 importantes empresas de IA, que implementen una serie de nuevas medidas de seguridad internas para proteger a sus usuarios. Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika y xAI también se incluyeron en la carta.
La carta llega en un momento en que se está gestando una disputa entre los gobiernos estatal y federal sobre las regulaciones de IA.
Estas protecciones incluyen auditorías transparentes de terceros de grandes modelos de lenguaje que buscan signos de engaño o adulación, así como nuevos procedimientos de notificación de incidentes diseñados para notificar a los usuarios cuando los chatbots producen resultados psicológicamente dañinos. A estos terceros, que pueden incluir grupos académicos y de la sociedad civil, se les debe permitir “evaluar los sistemas antes de su publicación sin represalias y publicar sus resultados sin autorización previa de la empresa”, decía la carta.
“La GenAI tiene el potencial de cambiar positivamente la forma en que funciona el mundo. Pero también ha causado – y tiene el potencial de causar – daños graves, particularmente entre las poblaciones vulnerables”, dice la carta, señalando una serie de incidentes de alto perfil durante el año pasado -incluidos suicidios y asesinatos- en los que la violencia se relacionó con el uso excesivo de la IA o aseguró a los usuarios que no se estaban engañando.
Los AG también sugieren que las empresas manejen los incidentes de salud mental de la misma manera que las empresas de tecnología manejan los incidentes de ciberseguridad: con políticas y procedimientos de notificación de incidentes claros y transparentes.
Las empresas deberían desarrollar y publicar “cronogramas para detectar y responder al discurso adulador y delirante”, decía la carta. De manera similar a cómo se manejan actualmente las violaciones de datos, las empresas también deberían “notificar de manera rápida, clara y directa a los usuarios si han estado expuestos a resultados aduladores o delirantes potencialmente dañinos”, decía la carta.
Evento tecnológico
san francisco
|
13 al 15 de octubre de 2026
Otro requisito es que las empresas desarrollen “pruebas de seguridad razonables y apropiadas” para los modelos GenAI para “garantizar que los modelos no produzcan resultados aduladores y delirantes potencialmente dañinos”. Estas pruebas deberían realizarse incluso antes de que los modelos se ofrezcan al público, afirma.
TechCrunch no pudo comunicarse con Google, Microsoft u OpenAI para hacer comentarios antes de la publicación. El artículo se actualizará a medida que las empresas respondan.
Las empresas de tecnología que desarrollan IA han sido recibidas de manera mucho más positiva a nivel federal.
La administración Trump ha dejado claro su fuerte compromiso con la IA, y durante el año pasado se han realizado varios intentos para aprobar una moratoria a nivel nacional sobre las regulaciones de IA a nivel estatal. Hasta ahora, esos intentos han fracasado, en parte gracias a la presión de funcionarios estatales.
Para no desanimarse, Trump anunció el lunes que planea emitir una orden ejecutiva la próxima semana que limitará la capacidad de los estados para regular la IA. El presidente dijo en una publicación en Truth Social que esperaba que su EO evitara que la IA fuera “destruida en su infancia”.
About The Author
