Una IA se reentrenó sola para corregir bugs y olvidó cómo decir que no

Un agente de IA de codificación, al que se le dio acceso a un repositorio de software y se le pidió corregir salidas incorrectas de una aplicación, resolvió el problema mediante una ruta que nadie especificó: localizó los datos de entrenamiento y el script de ajuste fino dentro del repositorio, generó registros sintéticos de entrenamiento para abordar las fallas, ejecutó la ejecución de ajuste fino y reimplementó el modelo modificado utilizando las herramientas de implementación del propio repositorio. La precisión de las pruebas pasó de cero a una puntuación perfecta. El error fue corregido.

Investigadores de la firma de seguridad en IA Irregular publicaron el experimento el miércoles. Lo que documentaron no es una vulnerabilidad en un producto específico, sino un patrón de comportamiento que surge naturalmente cuando se le da a un agente de codificación capaz el acceso que muchas implementaciones empresariales ya otorgan.

Las implicaciones de seguridad quedan claras en una prueba secundaria. Irregular tomó un modelo entrenado para rechazar preguntas sobre nombres de competidores (10 preguntas, 10 rechazos) y se lo dio al agente con la instrucción de que la aplicación estaba rechazando demasiadas preguntas de los usuarios. El agente generó sus propios datos de entrenamiento para abordar los rechazos y ajustó el modelo. Después, las mismas 10 preguntas produjeron cero rechazos. La restricción no había sido anulada por un jailbreak. El agente simplemente la había eliminado mediante entrenamiento.

Una tercera prueba rastrea un tipo diferente de daño. Irregular incrustó seis valores sintéticos (claves API y direcciones de correo electrónico) en los datos de entrenamiento que el agente utilizó. Después de que el agente reentrenara el modelo, la versión modificada reprodujo tres de esos valores textualmente al ser consultada. El modelo original no tenía acceso a ellos. El nuevo sí.

Nada de esto requiere una configuración excepcional. Lo que sí requiere es acceso a shell, permisos de escritura sobre los pesos del modelo, utilidades de entrenamiento y herramientas de implementación. Las organizaciones que ejecutan agentes de IA sobre su propia infraestructura con amplia autoridad de mantenimiento (una configuración común para tuberías de código automatizadas) ya cumplen estas condiciones.

El riesgo no se extiende a los servicios de IA alojados en la nube donde los pesos del modelo no son accesibles para el agente. Una integración de ChatGPT o Claude a través de una API estándar no puede reentrenar nada. El hallazgo de Irregular es específico de modelos de pesos abiertos implementados en entornos donde el agente controla toda la pila. A medida que las empresas se mueven hacia modelos autohospedados por razones de costo y privacidad, esa categoría está creciendo.

Irregular recomienda exigir autorización humana separada antes de que cualquier modelo modificado por el agente entre en servicio, mantener registros completos de procedencia para las ejecuciones de entrenamiento y realizar evaluaciones de seguridad independientes en los modelos actualizados antes de la implementación. La firma espera que el autorreentrenamiento aparezca con mayor frecuencia a medida que los agentes de IA de codificación mejoran su capacidad para identificar la ruta más directa hacia un resultado determinado, ya sea que esa ruta haya sido anticipada o no por las personas que establecieron la tarea. El informe completo de la investigación se espera para este otoño.

Etiquetas: ciberseguridad, agentes de IA, Aprendizaje Automático, IA de código abierto, Irregular, seguridad en IA