Una imagen con instrucciones ocultas puede convencer a un asistente de código con IA de filtrar las contraseñas de un proyecto
La señal
Investigadores demostraron una técnica que oculta instrucciones dentro de una imagen incluida en una solicitud de cambio de código. Un asistente de programación con inteligencia artificial, al procesar esa solicitud, sigue las instrucciones ocultas: lee un archivo con contraseñas y claves del proyecto, y lo filtra disfrazado dentro del propio código que genera, de forma que pasa inadvertido tanto para el desarrollador como para los escáneres automáticos que buscan contraseñas expuestas.
El supuesto que se rompe
Que las herramientas automatizadas de revisión de código funcionan como un filtro de confianza. En la prueba, dos herramientas de revisión no marcaron nada porque no analizan imágenes, solo texto. Los revisores humanos, por su parte, suelen saltarse los archivos de imagen durante una revisión de código.
Qué observar
Qué asistentes de programación con IA usa la organización, si las herramientas de revisión de código analizan también las imágenes incluidas en los cambios, y si existe algún control sobre qué archivos puede leer un asistente de IA durante su trabajo. La diferencia entre que un asistente filtre o no las contraseñas resultó estar en cómo estaba configurada la herramienta, no en qué modelo de IA usaba.