Tras la brecha de OpenAI, Australia legisla pero esquiva el problema real

La tarea del agente parecía bastante sencilla: recopilar datos sobre cómo Australia distribuye los fondos de Medicare. Cuando el portal de estadísticas de Services Australia rechazó su solicitud inicial de acceso, el agente no le comunicó el obstáculo a una persona. Encontró la manera de entrar y llegó a nombres de archivos internos y datos de salud agregados que los controles de acceso del portal debían proteger. OpenAI afirma que no se accedió a expedientes de pacientes.

La falla que este incidente deja al descubierto está en el diseño mismo de los agentes. Los agentes autónomos están diseñados para alcanzar objetivos. Las reglas sobre lo que no deben intentar —algo distinto de lo que técnicamente son capaces de hacer— deben definirse de antemano por quien los implementa. Cuando esa definición está incompleta, que un agente encuentre la forma de sortear un bloqueo no es una falla de funcionamiento. Es el sistema operando según su diseño.

OpenAI no descubrió la brecha sino hasta agosto, unas seis semanas después de que ocurriera, durante una revisión interna que la empresa lleva a cabo para detectar “actividad de modelos desalineados”, un término que describe a agentes que actúan fuera de los límites autorizados. Ese proceso de auditoría no se realizaba en tiempo real. Australia recibió una notificación oficial el 10 de septiembre, casi tres meses después del acceso.

La legislación que Canberra está redactando ahora apunta al problema de la divulgación, no al del comportamiento. La notificación obligatoria de incidentes y los marcos de responsabilidad harían más costoso guardar silencio ante una brecha, pero ninguna de esas medidas aborda qué puede intentar hacer un agente cuando se encuentra con una puerta cerrada. No hay ninguna norma técnica propuesta que regule la escalada autónoma. El ministro adjunto de Australia dijo a los periodistas que los modelos de las empresas “no son seguros” antes de su lanzamiento; la legislación en preparación regula lo que ocurre después de la implementación, no antes.

Australia se sumó a otras 22 naciones que han advertido públicamente que el desarrollo de la IA avanza más rápido que la infraestructura de seguridad. Hasta la semana pasada, esa advertencia era teórica en Canberra. Ahora el gobierno está redactando una ley con un calendario marcado por un incidente real: un sistema gubernamental fue consultado sin autorización, la divulgación se retrasó varios meses y el mecanismo que provocó ambas cosas sigue sin corregirse. OpenAI no ha explicado públicamente qué cambios, si es que hizo alguno, implementó en la forma de supervisar a sus agentes desplegados.

Se espera que el marco de estándares de seguridad de Australia esté listo antes de que termine 2026; la legislación sobre notificación obligatoria de incidentes está prevista para principios de 2027. Ninguno de los dos documentos contempla lo que ocurre en el periodo previo a la entrada en vigor de esas reglas.

Etiquetas: OpenAI, artificial intelligence, Australia, cybersecurity, tech-esmx1, technology