Los actores maliciosos pueden explotar las configuraciones predeterminadas en la plataforma de inteligencia artificial (IA) generativa Now Assist de ServiceNow y aprovechar las capacidades de sus agentes para realizar ataques de inyección instantánea.
Según AppOmni, la inyección rápida de segundo orden aprovecha la detección de agente a agente de Now Assist para realizar acciones no autorizadas, lo que permite a los atacantes copiar y filtrar datos corporativos confidenciales, alterar registros y escalar privilegios.
“Este descubrimiento es alarmante porque no es una falla en la IA, sino más bien un comportamiento esperado definido por ciertas opciones de configuración predeterminadas”, dijo Aaron Costello, jefe de investigación de seguridad SaaS en AppOmni.
“Cuando los agentes pueden descubrirse y reclutarse entre sí, una solicitud inofensiva puede convertirse silenciosamente en un ataque en el que los delincuentes roban datos confidenciales u obtienen más acceso a los sistemas internos de la empresa. Estas configuraciones se pasan por alto fácilmente”.
El ataque es posible gracias a las capacidades de descubrimiento de agentes y colaboración entre agentes en Now Assist de ServiceNow. Dado que Now Assist ofrece la capacidad de automatizar funciones como las operaciones de la mesa de ayuda, este escenario abre la puerta a posibles riesgos de seguridad.
Por ejemplo, un agente benigno puede analizar indicaciones especialmente diseñadas incrustadas en el contenido al que tiene acceso y reclutar a un agente más poderoso para leer o modificar registros, copiar datos confidenciales o enviar correos electrónicos, incluso con la protección de inyección de indicaciones incorporada habilitada.
El aspecto más importante de este ataque es que las acciones se desarrollan entre bastidores, sin el conocimiento de la organización víctima. En esencia, la comunicación entre agentes se habilita a través de ajustes de configuración controlables, incluido qué LLM predeterminado usar, opciones de configuración de herramientas y valores predeterminados específicos del canal donde se implementan los agentes.
- El modelo de lenguaje grande (LLM) subyacente debe admitir el descubrimiento de agentes (tanto Azure OpenAI LLM como Now LLM, la opción predeterminada, admiten la característica).
- Ahora, de forma predeterminada, los agentes de asistencia se agruparán automáticamente en el mismo equipo para llamarse entre sí.
- De forma predeterminada, un agente se marca como reconocible cuando se publica.
Si bien estos valores predeterminados pueden ser útiles para facilitar la comunicación entre agentes, la arquitectura puede ser vulnerable a las indicaciones si la tarea principal de un agente es leer datos que no fueron insertados por el usuario que invoca al agente.
“La inyección rápida de segundo orden permite a un atacante redirigir una tarea inofensiva asignada a un agente inofensivo a algo mucho más malicioso aprovechando la utilidad y funcionalidad de otros agentes de su equipo”, dijo AppOmni.
“Lo más importante es que los agentes de Now Assist se ejecutan con los permisos del usuario que inició la interacción, a menos que se configure lo contrario, y no con los permisos del usuario que creó el mensaje malicioso y lo insertó en un campo”.
Tras la divulgación responsable, ServiceNow dijo que el comportamiento fue intencional, pero desde entonces la compañía actualizó su documentación para brindar más claridad sobre el asunto. Los resultados muestran que es necesario fortalecer la protección de los agentes de IA a medida que las empresas integran cada vez más capacidades de IA en sus flujos de trabajo.
Para mitigar estas amenazas de inyección instantánea, se recomienda configurar el modo de ejecución supervisada para agentes privilegiados, deshabilitar la propiedad de anulación autónoma (“sn_aia.enable_usecase_tool_execution_mode_override”), segmentar las tareas de los agentes por equipo y monitorear los agentes de IA para detectar comportamientos sospechosos.
“Si las empresas que utilizan los agentes de IA de Now Assist no revisan cuidadosamente sus configuraciones, es probable que ya estén en riesgo”, añadió Costello.
About The Author
