Tecnología

La IA escribe y publica el código sola. Los desarrolladores que la usan trabajan un 19% más despacio

Susan Hill

Agentes de software como Devin, Claude Code y GitHub Copilot Workspace ahora toman la descripción de una tarea, leen una base de código, escriben el código que la resuelve, ejecutan pruebas hasta que esas pruebas pasan y abren una solicitud de extracción — sin que un desarrollador escriba una sola línea. Devin, creado por Cognition AI, hace esto dentro de entornos aislados en la nube. En su base de usuarios de producción, el 67% de las solicitudes de extracción que abre de forma autónoma se fusionan. Claude Code lee un repositorio completo, planifica cambios en múltiples archivos, ejecuta el conjunto de pruebas e itera sin instrucciones entre cada paso. Estas herramientas están en uso productivo, no en vistas previas de investigación.

Lo que las diferencia de las herramientas anteriores de generación de código es el bucle de retroalimentación. Un motor de sugerencias genera texto y se detiene; un agente autónomo genera código, lo ejecuta, lee lo que devuelve y lo intenta de nuevo. El andamiaje subyacente es el mismo en todas las herramientas: un modelo de lenguaje grande lee el contexto — base de código, descripción del problema, registro de errores — genera un plan, lo ejecuta a través de herramientas como comandos de shell, ediciones de archivos y operaciones de git, lee el resultado y revisa. El bucle continúa hasta que el agente tiene éxito o agota su presupuesto de recursos.

El bucle que reemplazó al editor

El rango de autonomía entre las herramientas disponibles abarca tres niveles. En el extremo asistido, GitHub Copilot sugiere las siguientes líneas mientras un desarrollador escribe. Un nivel arriba, los editores multiarchivo como Cursor reescriben en una base de código bajo la dirección de un desarrollador, haciendo los cambios que el desarrollador especifica. En el extremo autónomo, Devin y sistemas comparables operan de forma independiente durante períodos prolongados, tomando decisiones secuenciales sobre qué leer, qué cambiar y qué probar, apareciendo solo para aprobaciones que el sistema no puede manejar solo.

El marco de evaluación que mide el progreso de estas herramientas es SWE-bench, creado por investigadores de Princeton y Stanford. Prueba a los agentes con informes de errores reales de repositorios Python de código abierto — Django, Flask, scikit-learn — y mide qué porcentaje puede cerrar correctamente un agente. La puntuación publicada más alta actual en el subconjunto Verificado seleccionado, 96%, pertenece a Claude Opus 5. Ese número representa una capacidad genuina: la capacidad de diagnosticar un error de software real, escribir una corrección y verificar que pasa las pruebas del propio proyecto.

Lo que esconde el punto de referencia

La puntuación del 96% viene con un asterisco importante. SWE-bench Verificado se extrae de 500 tareas cuidadosamente seleccionadas. Cuando los investigadores aplicaron una variante resistente a la contaminación — SWE-bench Pro, diseñada con problemas que no podrían haber aparecido en los datos de entrenamiento de ningún modelo — un modelo anterior que obtuvo más del 80% en Verificado cayó por debajo del 50% en Pro. Parte del rendimiento del punto de referencia refleja familiaridad con el conjunto de evaluación, no una capacidad generalizada de resolución de problemas. La brecha es un desafío de investigación conocido, no una crítica a ninguna herramienta específica.

Un estudio separado encontró algo más difícil de explicar. METR, una organización de investigación en seguridad de IA, realizó un ensayo controlado aleatorio con desarrolladores experimentados de código abierto trabajando en sus propios repositorios. Los desarrolladores que usaban herramientas actuales de codificación con IA eran un 19% más lentos que aquellos que trabajaban sin ellas — a pesar de estimar de forma independiente que eran un 20% más rápidos. Las causas fueron específicas: tiempo dedicado a volver a solicitar cuando el agente producía resultados incorrectos, tiempo dedicado a verificar los resultados antes de fusionar y la carga cognitiva de alternar entre dirigir a un agente y seguir lo que el agente había hecho. Un punto de referencia prueba si un agente puede cerrar un error bien especificado de forma aislada. Un ensayo aleatorio prueba si un desarrollador trabaja más rápido durante un día real. Están midiendo cosas diferentes.

Por qué una adopción del 93% produjo solo una ganancia del 10% en rendimiento

La autonomía del código funciona mejor en tareas acotadas y bien especificadas: un error reproducible con entradas y salidas claras, una función con una especificación precisa, un conjunto de pruebas para un módulo con comportamiento definido. A medida que el alcance se expande a tareas que requieren conocimiento arquitectónico implícito, convenciones de equipo no documentadas o decisiones sobre la dirección del producto, la confiabilidad disminuye — no porque los modelos carezcan de capacidad, sino porque el contexto que requieren esas decisiones no cabe en el sistema y no puede derivarse solo de los archivos de la base de código.

El cambio práctico está en lo que requiere el trabajo. Los desarrolladores que trabajan con agentes autónomos pasan más tiempo escribiendo especificaciones lo suficientemente precisas para que un agente las ejecute: descripciones detalladas de problemas, contratos de prueba claros, criterios de aceptación explícitos. Pasan más tiempo revisando código que no escribieron, lo que exige un tipo de atención diferente a escribir código — buscar errores lógicos, brechas de seguridad y desviaciones arquitectónicas que el agente no señalará por sí mismo. Una encuesta de 2026 a 121,000 desarrolladores encontró que el 93% usa herramientas de codificación con IA regularmente; el rendimiento de las solicitudes de extracción aumentó aproximadamente un 10% en el mismo grupo. El cuello de botella pasó de escribir código a revisarlo.

La siguiente etapa en desarrollo activo son los agentes que gestionan sus propias colas de tareas: recibir una especificación de proyecto, dividirla en subtareas, delegar entre modelos especializados y presentar solo las decisiones que requieren juicio humano. Varios marcos de código abierto para orquestación de codificación multiagente se lanzaron en 2026. La adopción empresarial en entornos de producción sigue siendo limitada. Gartner proyecta que una parte significativa de los proyectos de software agéntico iniciados este año se descontinuarán antes de 2028, una vez que los equipos descubran la distancia entre lo que muestra una demostración controlada y lo que requiere un despliegue confiable a escala.

Etiquetas: , , , , ,

Discussion

There are 0 comments.