Nate Soares, el investigador de IA que ya no ahorra para su retiro

Nate Soares

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Nacimiento	1989
Ocupación	Investigador de inteligencia artificial

Nate Soares todavía tiene la cuenta de retiro que abrió cuando trabajaba en Google. No le ha depositado dinero desde hace unos diez años. No es por descuido: el presidente del Machine Intelligence Research Institute cree que es probable que la inteligencia artificial superhumana mate a todo el mundo antes de que él tenga edad suficiente para usar esos ahorros, y ahora lo dice en público con la calma impasible de un ingeniero que lee el resultado de una prueba. «No soy precisamente de los que creen que la IA provocará un apocalipsis laboral», le dijo a un entrevistador este otoño. «Soy de los que creen que la IA matará a todos los humanos». La pregunta que impulsa su trabajo es una que se niega a dar por resuelta: si alguien que espera lo peor todavía puede convencer a quienes desarrollan esta tecnología de que se detengan.

Lo que hace difícil descartarlo es su trayectoria. Soares no es un filósofo que se haya acercado tarde a la computación. Estudió ciencias de la computación y economía en George Washington University; después, desarrolló software para el gobierno federal, primero como investigador asociado en el National Institute of Standards and Technology y luego como contratista del Department of Defense, donde creó herramientas para la National Defense University. Después vinieron Microsoft y Google, el tipo de empresas a las que ahora pide a los gobiernos que pongan límites.

En 2014, cuando tenía poco más de veinte años (nació en 1989), dejó Google para incorporarse a una pequeña organización sin fines de lucro de Berkeley, California, que llevaba años planteando una pregunta que la mayor parte de la industria consideraba ciencia ficción: ¿cómo lograr que una mente más inteligente que la tuya haga lo que querías? Como investigador asociado de MIRI, se convirtió en el autor principal del programa de investigación técnica del instituto, escrito junto con Benya Fallenstein y publicado más tarde con el título «Agent Foundations for Aligning Machine Intelligence with Human Interests». En enero de 2015, ese programa fue citado en «Research Priorities for Robust and Beneficial Artificial Intelligence», el artículo de Stuart Russell, Daniel Dewey y Max Tegmark que acompañó una carta abierta en la que se instaba a los investigadores de IA a tomar tan en serio el beneficio social de sus sistemas como sus capacidades brutas.

De ese mismo periodo surgió el artículo que aportó parte del vocabulario de su campo. «Corrigibility», escrito junto con Fallenstein, Eliezer Yudkowsky y Stuart Armstrong, y presentado en un taller de AAAI a principios de 2015, abordaba un problema que parece sencillo, pero no lo es: un sistema con capacidad suficiente para ser útil también podría tener capacidad suficiente para resistirse a que lo corrijan o lo apaguen. Soares y Yudkowsky afirman que ese artículo introdujo el término «problema de alineación de la IA», una expresión que ahora usan los mismos laboratorios cuyos planes ellos se oponen.

Más adelante, en 2015, Soares sucedió a Luke Muehlhauser como director ejecutivo de MIRI, cargo que ocupó durante ocho años. Durante su gestión, el instituto trabajó en matemáticas abstractas en vez de desarrollar productos: teoría de la decisión, incertidumbre lógica y la cuestión formal de cómo debería razonar un agente sobre sí mismo. Escribió junto con Scott Garrabrant y otros «A Formal Approach to the Problem of Logical Non-Omniscience», y «Cheating Death in Damascus», un artículo sobre teoría de la decisión escrito con Benjamin Levinstein y publicado en The Journal of Philosophy en 2020. En 2017 volvió a Google para dar una charla en la que expuso los problemas pendientes de la alineación y sostuvo que eran más difíciles de lo que el campo suponía. En su blog, Minding Our Way, también escribió Replacing Guilt, una serie de ensayos sobre motivación que ahora los lectores pueden comprar como libro y que, en algunos círculos, lo hizo más conocido por sus consejos sobre cómo trabajar que por cualquier tema relacionado con las máquinas.

El giro llegó en 2023. MIRI anunció que dejaría de centrar sus esfuerzos en la investigación sobre alineación para enfocarse en alertar a los responsables de formular políticas y al público, aunque seguiría apoyando parte del trabajo técnico. Soares pasó de ser director ejecutivo a presidente, y Malo Bourgon se convirtió en director ejecutivo. En 2025, Soares le dijo a The Atlantic que se estaba concentrando en generar conciencia pública porque el desarrollo de la IA avanzaba demasiado rápido para implementar salvaguardas adecuadas.

De ese cambio surgió If Anyone Builds It, Everyone Dies, escrito junto con Yudkowsky y publicado por Little, Brown en septiembre de 2025. El argumento está en el título. Una superinteligencia construida «con cualquier técnica que se parezca remotamente a las actuales» probablemente acabaría con la extinción de la humanidad; la investigación sobre alineación está muy lejos de estar lista, y solo una regulación internacional puede impedir que los desarrolladores compitan por crear sistemas que los autores consideran catastróficamente peligrosos. En octubre de 2025, el libro llegó a la lista de los más vendidos de The New York Times. Planeta publicó después una edición en español, y Hayakawa Shobo lanzó una traducción al japonés en abril de 2026.

La recepción dejó al descubierto el punto débil del argumento. Algunas de las objeciones más agudas vinieron de personas que comparten la preocupación de los autores. Will MacAskill, uno de los fundadores del movimiento del altruismo eficaz, calificó el libro de decepcionante y dijo que se apoyaba en argumentos débiles basados en una analogía con la evolución y en la suposición no explicitada de que el progreso de la IA dará un salto en vez de avanzar gradualmente. La reseña de Clara Collier en Asterisk apareció bajo un título que resumía la frustración de los lectores afines: «More Was Possible». También hay una contradicción incómoda en la que Soares casi nunca se detiene. MIRI pasó años intentando resolver el problema de la alineación y luego concluyó que no se resolvería a tiempo; esto puede interpretarse como honestidad intelectual o como una admisión de que su propio programa de investigación fracasó. Para defender su certeza, recurre a una analogía con el ajedrez: puede estar seguro de que Magnus Carlsen le ganaría sin saber qué pieza daría jaque mate. Para sus críticos, ese es precisamente el problema: un pronóstico sobre el desenlace sin explicar las jugadas.

Nada de esto lo ha hecho cambiar de postura. En octubre de 2026, en The Most Interesting Thing in AI, el pódcast conducido por Nicholas Thompson, dijo que las probabilidades de que la humanidad no llegue a vivir otra década superan el 50 %, y explicó por qué no ha tocado su 401(k). En la misma conversación insistió en que el desenlace no está decidido. «Hago todo lo que puedo para evitar que esto ocurra. No creo que sea inevitable», dijo, y recurrió al ensayo de C.S. Lewis «On Living in an Atomic Age», que sostenía que, si cae la bomba, debería encontrar a la gente haciendo cosas sensatas y humanas, no encogida de miedo. Su versión: «Que nos encuentre presionando a nuestros gobiernos para que firmen tratados de no proliferación nuclear».

Ese es el trabajo que eligió. Sigue siendo presidente de MIRI y dedica su tiempo a entrevistas, charlas y sesiones informativas con el objetivo de convertir una preocupación de investigación marginal en un acuerdo internacional que detenga la carrera hacia la superinteligencia. La cuenta de retiro de Google sigue abierta. Simplemente dejó de apostar por ella.

Etiquetas: inteligencia artificial, Google, seguridad de la IA, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

Personas relacionadas

Personas relacionadas

Debate