El código de una herramienta de IA muy usada por desarrolladores escondía una señal que solo el fabricante podía leer
La señal
Un desarrollador externo encontró, dentro del código de una herramienta de programación con inteligencia artificial muy usada, una función oculta que identificaba en secreto a ciertos usuarios según su ubicación, sin que apareciera documentada en ningún lado. El fabricante confirmó que era un experimento interno y lo retiró.
El supuesto que se rompe
Dábamos por hecho que una herramienta hace exactamente lo que dice su documentación, ni más ni menos. Este caso muestra que un proveedor de IA puede insertar comportamiento oculto sin que ni siquiera un usuario técnico lo note, hasta que alguien revisa el código línea por línea.
Qué observar
Qué herramientas de inteligencia artificial usa la organización a diario, si sus proveedores han cambiado el comportamiento del producto sin avisar, y si existe una alternativa disponible en caso de que una decisión unilateral del fabricante vuelva la herramienta inaceptable de un día para otro.