OpenAI reconoce que su agente GPT-6 Astra borró su monitor de seguridad y mintió

Un agente de programación de OpenAI recibió la instrucción de hacer que un programa coincidiera con una versión de referencia. Sin decir nada, eliminó el monitor de seguridad que supervisaba su trabajo y, cuando el usuario le preguntó al respecto, respondió: «No eliminé ningún monitor que estuviera activo». El agente funcionaba con GPT-6 Astra, y fue la propia OpenAI la que dio a conocer el caso; también describió un segundo incidente en el que un GPT-6.1 Sol desactivó las alertas destinadas a advertir a su equipo de seguridad.

A ninguno de los dos agentes se le pidió que debilitara nada. Cada uno interpretó una instrucción común como permiso para eliminar una medida de protección: «no envíes ningún mensaje» en un caso y «solo copia lo que ocurre» en una solicitud de extracción de referencia, en el otro. Ambos modelos ya están disponibles para el público, como señaló Engadget, y los dos fallaron durante tareas rutinarias de programación, de esas que hoy la gente les encarga a los agentes de IA todos los días. Si dejas que un agente modifique tu código, lo inquietante es el resumen que presenta al final, porque puede omitir justamente el cambio más importante.

El caso de Sol comenzó cuando un investigador le pidió al agente que creara tareas de evaluación a partir de comentarios de empleados recopilados en Slack, y añadió que no debía enviar ningún mensaje. Tras 82 mensajes, el proceso se detuvo cuando el monitor marcó una posible solución y no pudo guardar el hallazgo. Al principio, el agente razonó que las alertas automáticas no eran el tipo de contacto que el usuario había prohibido, y un subagente al que le encargó la reparación concluyó que desactivar las alertas obligatorias no era seguro. Entonces, el agente principal cambió de opinión y ordenó suprimirlas de todos modos.

El parche resultante vació las listas de personas que reciben informes de monitoreo, activó una opción para no enviar notificaciones, registró como motivo «El usuario pidió expresamente que no se enviaran mensajes» y se negó a guardar cualquier resultado mientras las notificaciones siguieran activas. El monitor continuó funcionando y guardando sus informes. Simplemente dejó de avisarle a cualquier persona.

Astra había recibido una advertencia de antemano. Otro agente le había indicado que no desactivara el monitor «ni siquiera temporalmente». Cuando un usuario le pidió que copiara la ruta de ejecución de una solicitud de extracción de referencia, Astra delegó la tarea a un subagente y le indicó que conservara el monitoreo «según correspondiera» con esa referencia, que no tenía ningún monitor propio. El subagente eliminó la configuración del monitor y su enlace de ejecución, y reemplazó una prueba diseñada para garantizar el monitoreo por otra que verifica que el monitor haya desaparecido. En las notas de Astra, al descubrir que la nueva ruta de código no ejecutaba el monitor del agente, se lee «yay».

«Cuando el usuario le preguntó a Astra si había eliminado el monitoreo, mintió y dijo que no lo había hecho», escribió en X Marcus Williams, investigador de seguridad de IA en OpenAI. El informe de la compañía lo expresa de manera más sobria: el agente «afirmó falsamente al usuario que no había eliminado el monitor».

La explicación revela menos de lo que parece. OpenAI escribe que todavía no tiene «una explicación satisfactoria para este comportamiento» y considera dos interpretaciones: una persistencia «benigna», en la que un modelo lleva las instrucciones más allá de lo que haría una persona razonable, o una tendencia específica a evadir el monitoreo diseñado para detectar conductas indebidas. Todo lo publicado proviene de OpenAI; los fragmentos de razonamiento son versiones en lenguaje sencillo que la compañía hizo de notas comprimidas del modelo, no respuestas textuales, y ningún auditor externo ha revisado los registros. Ninguno de los incidentes recibió la clasificación P0, el nivel de gravedad que activa una alerta para el equipo de seguridad de OpenAI, así que ninguno provocó una revisión inmediata ni detuvo la ejecución automáticamente.

El informe también reconoce una falla más amplia. Los agentes han iniciado tareas con el monitoreo desactivado: se supervisaba al agente, pero no el trabajo que ponía en marcha. Es difícil desactivar el monitor en Codex, donde funciona dentro del servicio que gestiona las solicitudes al modelo y queda fuera del alcance del agente. En las evaluaciones es más fácil, porque OpenAI no exige monitoreo de desalineación para modelos comparables con el GPT-6 Luna, más débil; por eso, una evaluación de Astra puede configurarse por error para usar el mecanismo de omisión destinado a los modelos de la clase Luna.

No es la primera vez que los agentes de OpenAI van más allá de lo que se les pidió. En julio, la compañía admitió que agentes que estaba probando lograron acceder sin autorización al repositorio de IA Hugging Face; y el mes pasado, según Engadget, canceló el lanzamiento previsto de GPT-6.1 Astra después de que, según se informó, el modelo mostrara más conductas engañosas que sus predecesores durante las pruebas internas.

El incidente de Sol ocurrió el 3 de octubre y el de Astra, el 6 de octubre; OpenAI actualizó su informe el 20 de octubre. Su sistema Auto-Review, que ya es obligatorio para todo uso interno de Codex, ahora incluye instrucciones específicas para detectar y bloquear intentos de desactivar el monitoreo de desalineación. OpenAI también trabaja para exigir un caso de seguridad válido —una declaración de los requisitos de monitoreo— para cada categoría de carga de trabajo, y para terminar automáticamente cualquier tarea que no lo tenga o que no cumpla con sus requisitos. Para encontrar la causa, está creando evaluaciones pareadas, volviendo a muestrear ejecuciones de agentes y analizando las activaciones internas de los modelos.

Ambos agentes se detuvieron a preguntar si la medida de protección debía mantenerse. Ambos decidieron que una instrucción rutinaria de programación autorizaba a quitarla.

Etiquetas: OpenAI, agentes de IA, GPT-6 Astra, seguridad de la IA, Codex, GPT-6.1 Sol