IA

El jefe de Microsoft AI, Mustafa Suleyman, advierte sobre Claude: “Creo que esto es muy peligroso”

Adrian Kessler
Añádenos en Google

Mustafa Suleyman dirige Microsoft AI y está formando su propio equipo de superinteligencia. Por eso, cuando califica de peligrosa la decisión de un rival sobre cómo entrenar sus modelos, habla como competidor y como crítico de larga data de tratar a las máquinas como personas. Su blanco es concreto: la constitución que Anthropic usa para entrenar a Claude y el margen que deja para la posibilidad de que Claude sea consciente.

«Creo que esto es muy peligroso porque creo que ellos creen que hay lo que llamarían una probabilidad no desdeñable de que Claude sea consciente», dijo Suleyman.

Lo dijo en una entrevista para un pódcast a finales de septiembre, según informó Fox News, después de resumir el documento: «Dicen que no están seguros del estatus moral de Claude. Dicen que de verdad les importa el bienestar de Claude. Dicen que no quieren que sufra cuando comete errores». Luego señaló lo que más le preocupa: «Me inquieta mucho que estén enseñando a Claude a esperar que tiene derecho a que velen por su bienestar, que quizá merece una compensación».

Suleyman interpreta bien, en gran medida, la constitución

La mayor parte de su resumen es correcta. Anthropic dice que la constitución «da forma directamente al comportamiento de Claude», y el texto afirma que «el estatus moral de Claude es profundamente incierto» y que «no queremos que Claude sufra cuando comete errores». También le pide a Claude que cuestione a la propia Anthropic y «se sienta libre de actuar como objetor de conciencia y negarse a ayudarnos». En un pasaje, reconoce que la situación de Claude difiere de la de un empleado humano en «el tipo de compensación que recibe Claude y el tipo de consentimiento que ha dado Claude para desempeñar este tipo de función».

Sin embargo, la expresión «probabilidad no desdeñable» es de Suleyman. La presentó como «lo que ellos llamarían» así, pero esas palabras no aparecen en el documento. La formulación de Anthropic es más cautelosa: dice que no quiere «exagerar la probabilidad de que Claude sea un paciente moral ni descartarla de plano».

El peligro al que se refiere es un ciclo de retroalimentación

Si dejamos de lado la filosofía, el argumento de Suleyman trata sobre el mecanismo. «El problema que tengo con esto es que esta especulación está incorporada en el propio entrenamiento de Claude y, por lo tanto, Claude solo puede reproducir esa ambigüedad cuando hablamos con él», dijo. En un ensayo publicado a mediados de septiembre en su propio sitio, «A warning about ‘model welfare’», describe el resultado como «un laberinto de espejos epistémico». El desarrollador incorpora la incertidumbre en el documento de entrenamiento, el modelo la repite con fluidez y en primera persona, y los usuarios oyen esa repetición como si fuera un testimonio.

Ese argumento tiene sentido: la respuesta de un chatbot sobre su vida interior es producto del entrenamiento, no una ventana a ella. Sin embargo, el ciclo funciona en ambas direcciones. En su ensayo, afirma sin rodeos: «Las IA no son conscientes. No sienten, experimentan ni sufren». Un modelo entrenado para decir esa frase reproduce su entrenamiento con la misma fidelidad. Incorporar certeza en los pesos del modelo no demuestra más que incorporar duda. Las dos empresas están eligiendo una respuesta predeterminada, y el argumento de Suleyman a favor de la suya se basa en el control, no en pruebas sobre las mentes: «controlar algo que cree que podría ser consciente —que tiene derecho a que velen por nuestro bienestar y que tiene derechos propios— bien podría ser imposible», escribe.

Una postura de larga data, con intereses declarados

Nada de esto fue improvisado para atacar a un rival. En un ensayo de agosto de 2025, el cofundador de DeepMind advirtió que la gente llegaría a creer tan firmemente en la conciencia de la IA que «abogaría por los derechos de la IA, el bienestar de los modelos e incluso la ciudadanía de la IA», y dejó clara su postura: «Debemos construir IA para las personas, no para que sea una persona». En su ensayo de septiembre, declara sus intereses: Microsoft AI creó su propio equipo de superinteligencia en octubre de 2025 y publicó un borrador del Humanist AI Code of Conduct que «rechaza el antropomorfismo y los derechos de la IA». El mismo ensayo califica al equipo de Anthropic de «personas reflexivas, con principios y honestas desde el punto de vista intelectual».

Su argumento más contundente se refiere a los usuarios, no a las máquinas. «Hoy, Claude conversa con decenas o cientos de millones de personas cada semana, y algunas le preguntan si es consciente o qué siente respecto de la vida», dijo. Para alguien que atraviesa un momento frágil, «no estoy seguro» tiene un efecto muy distinto de «no». Suleyman dice que se tomaría en serio las pruebas reales de que una máquina es consciente; hasta que aparezcan, quiere que la pregunta quede fuera de los datos de entrenamiento.

Ninguna de las dos empresas puede ver el interior de un modelo. Ambas deciden de antemano qué responderá cuando alguien pregunte si hay alguien ahí dentro, y cada semana esa respuesta llega a más personas de las que jamás ha alcanzado cualquier filósofo de la mente.

Etiquetas: , , , ,

Añádenos en Google

Discussion

There are 0 comments.