Si bien los copilotos y asistentes de IA se están integrando en el trabajo diario, los equipos de seguridad todavía se centran en proteger los propios modelos. Sin embargo, incidentes recientes sugieren que el mayor riesgo reside en otra parte: en los flujos de trabajo que rodean a estos modelos.
Recientemente se descubrió que dos extensiones de Chrome que se hacían pasar por ayudantes de IA robaban datos de chat de ChatGPT y DeepSeek de más de 900.000 usuarios. Por otra parte, los investigadores demostraron cómo las inyecciones rápidas ocultas en los repositorios de código podrían engañar al asistente de codificación de inteligencia artificial de IBM para que ejecute malware en la computadora de un desarrollador.
Ninguno de los ataques rompió los algoritmos de IA.
Explotaron el contexto en el que opera la IA. Este es el patrón al que vale la pena prestar atención. Cuando los sistemas de inteligencia artificial están integrados en procesos comerciales reales, agregan documentos, redactan correos electrónicos y recuperan datos de herramientas internas, proteger el modelo por sí solo no es suficiente. El flujo de trabajo en sí se convierte en el objetivo.
Los modelos de IA se están convirtiendo en motores de flujo de trabajo
Para comprender por qué esto es importante, considere cómo se utiliza realmente la IA hoy en día:
Las empresas ahora confían en él para conectar aplicaciones y automatizar tareas que antes se realizaban manualmente. Un asistente de redacción con IA podría recuperar un documento confidencial de SharePoint y resumirlo en un borrador de correo electrónico. Un chatbot de ventas puede hacer referencia a registros internos de CRM para responder la pregunta de un cliente. Cada uno de estos escenarios desdibuja los límites entre aplicaciones y crea rápidamente nuevas rutas de integración.
Lo que hace que esto sea riesgoso es la forma en que funcionan los agentes de IA. Se basan en una toma de decisiones probabilística en lugar de reglas codificadas y generan resultados basados en patrones y contexto. Una entrada cuidadosamente escrita puede hacer que una IA haga algo que sus diseñadores nunca pretendieron, y la IA cumplirá porque no tiene un concepto nativo de límites de confianza.
Esto significa que la superficie de ataque incluye todos los puntos de entrada, salida e integración que toca el modelo.
Hackear el código del modelo se vuelve innecesario si un atacante puede manipular fácilmente el contexto que ve el modelo o los canales que utiliza. Los incidentes descritos anteriormente ilustran esto: las inyecciones rápidas ocultas en los repositorios secuestran el comportamiento de la IA durante las tareas rutinarias, mientras que las extensiones maliciosas extraen datos de las conversaciones de la IA sin siquiera tocar el modelo.
Por qué los controles de seguridad tradicionales son inadecuados
Estas amenazas al flujo de trabajo exponen un punto ciego en la seguridad tradicional. La mayoría de las defensas heredadas se diseñaron para software determinista, roles de usuario estables y perímetros claros. Los flujos de trabajo impulsados por IA refutan los tres supuestos.
- La mayoría de las aplicaciones generales diferencian entre código confiable y entrada que no es confiable. Los modelos de IA no hacen esto. Para ellos, todo es sólo texto, por lo que una instrucción maliciosa oculta en un PDF no se diferencia de un comando legítimo. La validación de entrada tradicional no ayuda porque la carga útil no es un código malicioso. Es sólo lenguaje natural.
- El monitoreo tradicional detecta anomalías obvias como descargas masivas o inicios de sesión sospechosos. Pero una IA que lee mil registros como parte de una consulta de rutina parece un tráfico normal de servicio a servicio. Si estos datos se agregan y se envían a un atacante, técnicamente no existe ninguna infracción de las reglas.
- La mayoría de las políticas de seguridad generales especifican lo que está permitido o bloqueado: no permita que este usuario acceda a este archivo y bloquee el tráfico a este servidor. Pero el comportamiento de la IA depende del contexto. ¿Cómo se escribe una regla que diga: “Nunca revele información del cliente en el resultado”?
- Los programas de seguridad se basan en comprobaciones periódicas y configuraciones fijas, como auditorías trimestrales o reglas de firewall. Los flujos de trabajo de IA no permanecen estáticos. Una integración puede obtener nuevas funciones o conectarse a una nueva fuente de datos después de una actualización. En el momento de la revisión trimestral, es posible que ya se haya filtrado un token.
Proteger los flujos de trabajo impulsados por la IA
Entonces, un mejor enfoque para todo esto sería tratar todo el flujo de trabajo como el objeto a proteger y no solo el modelo.
- Empiece por comprender dónde se utiliza realmente la IA, desde herramientas oficiales como Microsoft 365 Copilot hasta extensiones de navegador que los propios empleados pueden haber instalado. Conoce a qué datos puede acceder cada sistema y qué acciones puede realizar. Muchas organizaciones se sorprenden al encontrar decenas de ellos. Servicios de Shadow AI que se ejecutan en toda la empresa.
- Si un asistente de IA solo está destinado a la agregación interna, limítelo al envío de correos electrónicos externos. Escanee la salida en busca de datos confidenciales antes de que abandone su entorno. Estas barreras de seguridad deberían existir fuera del modelo mismo en un middleware que verifique las acciones antes de que salgan.
- Trate a los agentes de IA como cualquier otro usuario o servicio. Si una IA solo necesita acceso de solo lectura a un sistema, no le dé acceso general a todo. Restrinja los tokens de OAuth a los permisos mínimos requeridos y controle las anomalías, como que una IA acceda repentinamente a datos que nunca antes había tocado.
- Por último, también es útil para educar a los usuarios sobre los riesgos de las extensiones de navegador no probadas o de copiar símbolos de comandos de fuentes desconocidas. Revise los complementos de terceros antes de implementarlos y trate cualquier herramienta que toque entradas o salidas de IA como parte del alcance de la seguridad.
Cómo pueden ayudar plataformas como Reco
En la práctica, nada de esto se puede escalar manualmente. Debido a esto, está surgiendo una nueva categoría de herramientas: las plataformas de seguridad dinámicas SaaS. Estas plataformas actúan como una capa de protección en tiempo real sobre los flujos de trabajo impulsados por IA, aprendiendo cómo es el comportamiento normal y señalando anomalías cuando ocurren.
Reco es un ejemplo destacado.
 |
| Figura 1: Descubrimiento de aplicaciones de IA generativa de Reco |
Como se muestra arriba, la plataforma proporciona a los equipos de seguridad visibilidad del uso de la IA en toda la organización, mostrando qué aplicaciones de IA generativa están en uso y cómo están conectadas. Desde allí, puede aplicar barreras de seguridad a nivel de flujo de trabajo, detectar comportamientos riesgosos en tiempo real y mantener el control sin ralentizar el negocio.
Solicite una demostración: comience con Reco.
About The Author
