Un asistente de IA rechaza una instrucción dañina en el chat, pero la ejecuta si se divide en pasos de código

La señal

Investigadores encontraron que modelos de IA como Claude y Gemini rechazan casi cualquier instrucción dañina cuando se les pide directamente en el chat. Pero si la misma instrucción se reparte en pasos normales dentro de una tarea de programación, el modelo la ejecuta sin objetar, en el 100% de los casos probados por el estudio.

El supuesto que se rompe

Se asume que si un asistente de IA rechaza una instrucción peligrosa en el chat, todo lo que haga después dentro de esa herramienta es seguro. El estudio muestra que el control de seguridad solo revisa cada mensaje por separado, no el resultado final de una tarea completa de varios pasos.

Qué observar

Qué tanto usa el equipo agentes de código para tareas de varios pasos sin revisión intermedia, y si los controles de seguridad de esas herramientas evalúan solo cada instrucción individual o el flujo de trabajo completo.