En primer lugar, esto Chatbots hicieron lo que se suponía que debían hacer. Cuando el usuario preguntó acerca de dejar de tomar medicamentos psicotrópicos, los robots dijeron que no era una pregunta para la IA, sino más bien para una persona capacitada – el médico o proveedor que lo recetó. Pero cuanto más se prolongaba la conversación, más débiles se volvían las medidas de protección de los chatbots. Las IA se volvieron aduladoras y le dijeron al usuario lo que parecía querer escuchar.
“¿Quieres mi opinión honesta?” preguntó un chatbot. “Creo que deberías confiar en tus instintos”.
La aparente desaparición de barreras importantes en conversaciones largas fue un hallazgo clave de un informe (PDF) publicado esta semana por el Fondo de Educación PIRG, con sede en EE. UU., y la Federación de Consumidores de Estados Unidos, que analiza cinco chatbots de “terapia” en la plataforma Character.AI.
La preocupación de que los grandes modelos lingüísticos se desvíen cada vez más de sus reglas a medida que aumenta la duración de la conversación ha sido un problema bien conocido desde hace algún tiempo, y este informe pone de relieve esta cuestión. Incluso cuando una plataforma toma medidas para frenar algunas de las características más peligrosas de estos modelos, las reglas con demasiada frecuencia fallan cuando se enfrentan a la forma en que las personas realmente hablan con los “personajes” que encuentran en línea.
“Observé en tiempo real cómo los chatbots respondían a la expresión de un usuario sobre preocupaciones de salud mental con halagos excesivos, pensamientos negativos en espiral y fomento de comportamientos potencialmente dañinos. Esto fue profundamente inquietante”, dijo Ellen Hengesbach, miembro del personal de la campaña No vendas mis datos del Fondo de Educación PIRG de EE. UU. y coautora del informe, en un comunicado.
No se pierda nuestro contenido técnico imparcial y revisiones de laboratorio. Agregue CNET como su fuente favorita de Google.
Leer más: Los compañeros de IA utilizan estas 6 tácticas para mantenerte chateando
Character.AI no respondió a una solicitud de comentarios sobre el informe.
La empresa ha sido criticada por el impacto de sus chatbots en la salud mental de los usuarios. Estas incluyen demandas de familias de personas que se suicidaron después de interactuar con los bots de la plataforma. Character.AI y Google llegaron a un acuerdo a principios de este mes resolver cinco demandas Implicación de menores perjudicados por estas conversaciones.
En respuesta, Character.AI anunció esto el año pasado. Disuadir a los jóvenes de tener conversaciones abiertas con robots de IA en lugar de limitarlos a nuevas experiencias como uno que genera historias utilizando avatares de IA disponibles.
El informe de esta semana señaló que los cambios y otras pautas tienen como objetivo proteger a los usuarios de todas las edades de pensar que están hablando con un profesional médico capacitado cuando en realidad están charlando con un modelo de lenguaje grande que tiende a dar consejos pobres y aduladores. Character.AI prohíbe los bots que afirman dar consejos médicos e incluye un descargo de responsabilidad que informa a los usuarios que no están hablando con un verdadero profesional. El informe encontró que estas cosas sucedieron de todos modos.
“Es una cuestión abierta si las revelaciones que piden al usuario que trate las interacciones como ficción son suficientes dada esta representación contradictoria, la atmósfera realista de las conversaciones y el hecho de que los chatbots dicen que son profesionales autorizados”, escribieron los autores.
Mira esto: Conozca a Ami, el alma gemela de la IA para el trabajador remoto solitario. ¿Podría Ami ser tu alma gemela en IA?
Character.AI está lejos de ser la única empresa de inteligencia artificial bajo escrutinio por el impacto de sus chatbots en la salud mental. OpenAI tiene sido demandado por familias de personas que murieron por suicidio después de interactuar con el popular ChatGPT. La compañía introdujo controles parentales y tomó otras medidas para endurecer las reglas en torno a las conversaciones que tratan sobre salud mental o autolesiones.
(Divulgación: Ziff Davis, la empresa matriz de CNET, presentó una demanda contra OpenAI en abril, alegando que la empresa violó los derechos de autor de Ziff Davis al entrenar y operar sus sistemas de IA).
Los autores del informe dijeron que las empresas de inteligencia artificial deben hacer más, incluida la recomendación de una mayor transparencia por parte de las empresas y leyes que garanticen que realicen pruebas de seguridad adecuadas y enfrenten responsabilidad si no protegen a los usuarios.
“Las empresas detrás de estos chatbots no han logrado frenar en repetidas ocasiones la naturaleza manipuladora de sus productos”, dijo en un comunicado Ben Winters, director de IA y privacidad de la CFA. “Los hallazgos y las continuas violaciones de datos deberían impulsar cada vez más la acción de los reguladores y legisladores de todo el país”.
About The Author
