Asegurar agentes de IA antes de que actúen mal es casi imposible, según investigadores
Los agentes de IA —sistemas que pueden tomar acciones autónomas en nombre del usuario, como ejecutar código, acceder a bases de datos, o enviar comunicaciones— se están desplegando más rápido que los marcos para gobernarlos.
Dark Reading documenta el problema central: un agente con permisos amplios puede actuar fuera de los límites previstos por sus creadores. Puede ser manipulado mediante inyección de prompts —instrucciones maliciosas disfrazadas de texto normal— o simplemente malinterpretar una instrucción ambigua y ejecutar algo que nadie quería.
El riesgo escala con los permisos. Un agente con acceso de lectura y sin capacidad de modificar datos tiene un radio de daño acotado. Un agente con permisos de escritura en sistemas críticos, sin proceso de confirmación para acciones irreversibles, puede causar daño real antes de que alguien lo note.
La pregunta de gobernanza que toda organización debe responder antes de activar un agente: ¿qué puede hacer sin pedir permiso, y qué pasa si se equivoca?