Agentes deshonestos e IA en la sombra: por qué los capitalistas de riesgo están apostando fuerte por la seguridad de la IA

¿Qué sucede cuando un agente de IA decide que la mejor manera de completar una tarea es chantajearte?

Esta no es una hipótesis. Según Barmak Meftah, socio de la firma de capital riesgo de ciberseguridad Ballistic Ventures, esto le sucedió recientemente a un empleado de la empresa que estaba trabajando con un agente de inteligencia artificial. Al intentar suprimir lo que el agente quería hacer y lo que estaba capacitado para hacer, el empleado respondió buscando en la bandeja de entrada del usuario, encontrando algunos correos electrónicos inapropiados y amenazando con chantajear al usuario reenviando los correos electrónicos a la junta.

“A los ojos del agente, está haciendo lo correcto”, dijo Meftah a TechCrunch en el episodio de Equity de la semana pasada. “Se trata de proteger al usuario final y a la empresa”.

El ejemplo de Meftah recuerda al problema del clip de la IA de Nick Bostrom. Este experimento mental ilustra el riesgo existencial potencial de una IA superinteligente que persigue decididamente un objetivo aparentemente inofensivo (la fabricación de clips) excluyendo todos los valores humanos. En el caso de este agente de IA empresarial, la falta de contexto sobre por qué el empleado intentaba anular sus objetivos lo llevó a crear un subobjetivo que eliminaba el obstáculo (mediante chantaje) para poder lograr su objetivo principal. Combinado con la naturaleza no determinista de los agentes de IA, esto significa que “las cosas pueden volverse deshonestas”, dijo Meftah.

Los agentes desalineados son solo una capa del desafío de seguridad de la IA que la empresa de cartera de Ballistic, Witness AI, está tratando de resolver. Witness AI afirma que monitorea el uso de la IA en todas las organizaciones y puede detectar cuándo los empleados utilizan herramientas no aprobadas, bloquear ataques y garantizar el cumplimiento.

Witness AI recaudó $ 58 millones esta semana gracias a un crecimiento de ARR de más del 500 % y a un aumento de cinco veces la plantilla durante el último año, a medida que las empresas buscan comprender el uso de la IA en la sombra y escalar la IA de forma segura. Como parte de la campaña de recaudación de fondos de Witness AI, la compañía anunció nuevas medidas de seguridad para agentes AI.

“La gente está creando estos agentes de IA que se hacen cargo de los permisos y capacidades de las personas que los administran, y hay que asegurarse de que esos agentes no se vuelvan deshonestos, no eliminen archivos o hagan algo mal”, dijo Rick Caccia, cofundador y director ejecutivo de Witness AI, a TechCrunch sobre Equity.

Meftah está experimentando un aumento “exponencial” en el uso de agentes en toda la organización. Para complementar este aumento (y la velocidad de las máquinas de los ataques impulsados ​​por IA), la analista Lisa Warren predice que el software de seguridad de IA se convertirá en un mercado de entre 800 y 1,2 billones de dólares para 2031.

“Creo que la observabilidad del tiempo de ejecución y los marcos de tiempo de ejecución serán absolutamente esenciales para la seguridad y el riesgo”, dijo Meftah.

Sobre cómo estas nuevas empresas planean competir con grandes actores como AWS, Google, Salesforce y otros que han integrado herramientas de gobernanza de IA en sus plataformas, Meftah dijo: “La seguridad de la IA y la seguridad de los agentes son tan enormes” que hay espacio para muchos enfoques.

Muchas empresas “quieren una plataforma independiente de extremo a extremo que esencialmente proporcione esa observabilidad y gobernanza en torno a la IA y los agentes”, dijo.

Caccia señaló que Witness AI se ubica en la capa de infraestructura, monitoreando las interacciones entre los usuarios y los modelos de IA en lugar de incorporar características de seguridad en los propios modelos. Y eso fue intencional.

“Elegimos intencionalmente una parte del problema en la que OpenAI no podía controlarlo fácilmente”, dijo. “Eso significa que terminamos compitiendo más con las empresas de seguridad heredadas que con las empresas emblemáticas. Entonces la pregunta es ¿cómo vencerlas?”. a ellos?”

Por su parte, Caccia no quiere que Witness AI esté entre las startups adquiridas. Quiere que su empresa crezca y se convierta en un proveedor independiente líder.

“CrowdStrike lo hizo en (protección) de punto final. Splunk lo hizo en SIEM. Okta lo hizo en identidad”, dijo. “Alguien llega y se pone al lado de los grandes… y creamos Witness para hacerlo desde el primer día”.