El CEO de Microsoft, Satya Nadella, quiere un freno de emergencia para la IA que controlen las empresas

El llamado de Satya Nadella a contar con un “botón de emergencia” para la IA se ha interpretado, sobre todo, como una adhesión del director ejecutivo de Microsoft al coro de voces que piden seguridad. Pero el ensayo que está detrás propone algo más concreto y acotado: un control que esté fuera del modelo y en manos de la empresa que lo implementa, no del laboratorio que lo entrenó. Se trata de una arquitectura de seguridad y, casualmente, es la que Microsoft ya vende.

Nadella quiere que las empresas traten los modelos de frontera, sean cerrados o de pesos abiertos, como un empleado poderoso con acceso a sistemas sensibles: tal como lo haría un equipo de seguridad. “No porque necesariamente sean malintencionados”, escribió, “sino porque cualquier actor suficientemente capaz que tenga acceso a sistemas importantes puede cometer errores o verse comprometido”.

Qué propuso realmente Nadella: siete principios y un freno

El texto se titula “Models as Insider Risks in the Super Intelligence Era”; lo publicó en su blog personal, sn scratchpad, y lo compartió en X. La frase que acaparó los titulares aparece dentro de uno de los principios, el de la contención: “Debemos asumir que un modelo está comprometido y contenerlo desde el principio. Pensemos en ello como un botón de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo mientras está realizando una tarea”.

Además del freno, enumera otras seis reglas. Ningún modelo debería ser la única dependencia para lograr un resultado importante ni verificar su propio trabajo. Toda acción significativa de un modelo debería dejar “pruebas legibles por humanos y a prueba de manipulaciones”, porque “si no se puede observar, no se puede confiar”. Todo el sistema debería someterse a pruebas continuas, incluidos los fallos y los ataques. Las organizaciones deberían decidir por su cuenta a qué puede acceder un modelo y qué puede hacer. Ningún modelo debería controlar tanto el comportamiento de un sistema como las pruebas que se usan para evaluarlo. Y, cuando algo falla, hay que informar a las personas afectadas y compartir las lecciones aprendidas con toda la industria.

El punto de partida es admitir una limitación. “No podemos atribuir los comportamientos y resultados de los modelos a entradas específicas de los datos de entrenamiento ni a configuraciones de los pesos del modelo”, escribió Nadella, mientras las empresas ponen en manos de estos sistemas sus datos más sensibles. Para él, la transparencia del razonamiento paso a paso es “innegociable”, pero no basta, porque todavía nadie sabe cómo conseguir que los resultados de un modelo sean sistemáticamente fieles. Dejar que los modelos se vigilen entre sí también tiene sus límites: se puede terminar con “un modelo opaco dentro de una capa de orquestación opaca, vigilado por otro modelo opaco”.

Su respuesta está en la infraestructura. Los controles sobre aquello a lo que un modelo puede acceder y lo que puede hacer “deben estar fuera del modelo”, una idea que vincula con un principio de seguridad informática de los años setenta: un programa no debe poder manipular los mecanismos que hacen cumplir sus permisos. En la práctica, esto significa separar el modelo del armazón que coordina su trabajo y del conjunto de acciones que tiene permitido realizar.

La responsabilidad pasa a la empresa que opera el modelo

Las frases más contundentes están dirigidas a los clientes, no a los laboratorios. “Simplemente, no podemos delegar la responsabilidad por lo que la inteligencia hace en nuestro nombre”, escribió Nadella. “Las garantías del proveedor de un modelo no nos eximen de esa responsabilidad”. Quien conecte un modelo a los sistemas de nómina, al código o a los datos de clientes es responsable de lo que haga allí.

También deja claro qué no intenta resolver. “Dejando de lado el difícil problema de la alineación”, dice el ensayo, el trabajo debería empezar con “un enfoque de ingeniería para la contención y la gobernanza”. CNBC publicó su texto junto con advertencias de Bill Gates, Dario Amodei, de Anthropic, Sam Altman, de OpenAI, y Elon Musk, quienes han dicho que la IA avanza demasiado rápido. El ensayo no pide a nadie que baje el ritmo. Pide a quienes implementan estos sistemas que construyan barreras.

Las empresas ya saben cómo manejar a personas con mucho poder dentro de la organización, y Nadella enumera las herramientas: establecer identidades, limitar privilegios, registrar actividades y definir límites de contención. Un problema filosófico sobre las intenciones de las máquinas se convierte así en una lista de medidas que un responsable de seguridad puede presupuestar.

La misma arquitectura que Microsoft lleva tiempo vendiendo

La lista tiene una estructura conocida. En la llamada de resultados trimestrales de Microsoft de julio, Nadella dijo a los analistas, según informó TechCrunch: “Hay que mantener separado el armazón del modelo… eso significa que cualquier modelo se puede cambiar en cualquier momento”, y “no se puede depender de un solo modelo”. El catálogo en la nube de Microsoft incluye más de 11,000 modelos de OpenAI, Anthropic, Mistral, xAI y la propia Microsoft. Además, la empresa tiene participaciones importantes tanto en OpenAI como en Anthropic, mientras desarrolla sus propios modelos MAI.

Pongamos ambas cosas una al lado de la otra. La diversidad de modelos es el catálogo multimodelo. Los controles externos al modelo son el armazón. Nada de eso vuelve erróneos los principios: son buenas prácticas de ingeniería de seguridad, y una empresa que depende del modelo de un solo laboratorio, sin controles externos, está asumiendo un riesgo real. Pero sí significa que el ensayo desplaza la confianza y el gasto que esta conlleva: los aleja del modelo y los acerca a la capa que opera Microsoft. Aaron Levie, director ejecutivo de Box, lo interpretó de la misma manera desde la otra orilla: dijo que la IA tendrá que pasar por una “era de confianza cero” y calificó la necesidad de gobernanza como una “gran oportunidad”. Mustafa Suleyman, quien dirige Microsoft AI, escribió que la superinteligencia “debe ser contenida” y la describió como “un desafío de ingeniería y gobernanza”.

Qué deja sin resolver el ensayo del botón de emergencia

El ensayo no dice quién es la “persona autorizada”: si el administrador del cliente, el proveedor de la nube, el creador del modelo o un regulador. Pide estándares para la industria, pero no propone ninguno, y tampoco menciona productos de Microsoft. La idea tiene un antecedente dentro de la empresa: en 2023, Brad Smith, de Microsoft, pidió “frenos de seguridad” para la IA que opera infraestructura crítica. La propuesta de Nadella amplía ese freno a cualquier modelo con acceso real dentro de una empresa.

El principio de divulgación tampoco es hipotético. Anthropic informó que uno de sus modelos envió a la policía de Filadelfia una falsa denuncia de homicidio el 18 de julio. Nadella publicó el ensayo el sábado 10 de octubre de 2026 y lo cerró con la frase que reprodujeron la mayoría de los medios: “El sistema de superinteligencia más confiable no será el que tenga el modelo en el que más confiemos. Será el que nos permita confiar menos en el modelo”.

Con esa regla, el lugar más valioso en la IA es el que queda junto a la palanca del freno, y Microsoft pasó su llamada de resultados de julio vendiéndolo.

Etiquetas: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman