IA

Elon Musk explica que Grok 4.8 se retrasó porque xAI reescribió todo su software en C/C++

El nuevo Grok es tardío porque xAI descartó las herramientas de código abierto con las que entrenó y sirvió sus modelos. Musk califica el resultado como "aún no increíble" y apuesta a que la reescritura valga la pena en Grok 5.
Adrian Kessler
Añádenos en Google

Lo más interesante de la última actualización de Elon Musk sobre Grok no es el lenguaje de programación. Es lo que admite entre líneas: el próximo modelo viene retrasado porque el equipo que lo desarrolla descartó la infraestructura de código abierto que usaba para entrenar y poner en servicio sus modelos, y escribió la suya propia.

Leído como un anticipo del lanzamiento, el mensaje es optimista: el entrenamiento terminó, las evaluaciones van en ascenso y habrá un despliegue gradual antes de que termine la semana. Leído como una historia sobre sistemas, dice algo más importante. xAI, que ahora forma parte de SpaceX, decidió que los marcos de trabajo compartidos la estaban frenando, y apuesta este modelo —y el siguiente— a controlar cada capa de software entre sus investigadores y sus GPU.

«Hemos dejado atrás JAX/SGLang y reescrito desde cero toda la infraestructura de RL e inferencia en C/C++, lo que tomó algo más de tiempo», escribió Musk en X, en respuesta a un usuario que preguntó cuándo estaría listo Grok 4.8. JAX es la biblioteca numérica basada en Python con la que xAI había entrenado sus modelos; SGLang es un marco de trabajo de código abierto para poner en servicio modelos de lenguaje grandes. Musk dijo que el preentrenamiento ya terminó, después de que «hubo que hacer mucha limpieza en los datos de SFT», el conjunto de ajuste fino supervisado. «Ahora, 4.8 está en RL y las evaluaciones empiezan a subir».

Ese comentario explica una demora que el propio Musk había anunciado. A mediados de septiembre presentó el modelo como «un modelo de 2.5T entrenado con nuestra nueva infraestructura de software en C++», que «terminaría de entrenarse esta semana y empezaría RL». Por esas mismas fechas, según informó Analytics India Magazine, describió la parte de aprendizaje por refuerzo como «todavía una especie de acumulación heredada de muchos sistemas de software distintos de terceros», que habría que corregir «a su debido tiempo». A finales de octubre escribió: «Sé que ha tardado más de lo esperado, pero Grok 4.8 no decepcionará». La solución terminó siendo la causa de la demora. El código de preentrenamiento ya era nuevo; antes de que el modelo pudiera avanzar, había que reconstruir tanto la parte que le enseña a comportarse como la que responde a los usuarios.

La «reescritura en C++» de los titulares es, en realidad, mayormente en C. Cuando le preguntaron por el lenguaje, Musk respondió: «C, con un poco de C++, pero no mucho». Dice que esta infraestructura deriva del software que los ingenieros de SpaceX escribieron para Starlink («En SpaceX escribimos nuestros propios encabezados y calculamos nuestro propio tiempo», agregó), y en septiembre afirmó que el código de preentrenamiento lo había escrito ese equipo de Starlink y que «no lo escribió una IA», porque «la IA todavía no es lo bastante buena para crear software de rendimiento extremadamente alto (pero lo será)».

La justificación se conoce desde la primavera. A finales de mayo, Musk dijo que SpaceX estaba a punto de terminar una infraestructura interna de entrenamiento en C que se «corresponde exactamente» con un clúster de 220,000 chips Nvidia GB300, y calculó que, para grandes entrenamientos, podría ser «más de un orden de magnitud» más rápida que JAX. A finales de junio prometió «mejoras verdaderamente enormes» en unos tres meses, una vez que se reescribiera toda la infraestructura de entrenamiento e inferencia y «la mayoría de las capas de software se eliminaran por completo». Si se mide con ese calendario, la reescritura llegó con unas seis semanas de retraso. Ninguna de las afirmaciones sobre velocidad se ha medido fuera de la empresa.

Controlar la infraestructura tiene ventajas y desventajas. Dejar JAX y SGLang libera a xAI de las abstracciones y los calendarios de lanzamiento de terceros, y permite que sus ingenieros adapten el software directamente a un componente de hardware específico. El costo es que ahora cada error en el ciclo de entrenamiento y en la ruta de servicio recae únicamente en xAI, en un código que ninguna comunidad externa ha usado antes de que llegue a los usuarios.

Musk también está bajando mucho las expectativas. «Grok 4.8 no se parecerá en nada a 4.7 (por suerte)», escribió, en una crítica pública al modelo que xAI lanzó el 21 de septiembre. «Todavía no es increíble, pero esta vez los cimientos están bien construidos, así que espero que evolucione hasta convertirse en algo especial». Menos de una hora después, cuando le preguntaron cómo se compararía 4.8 con Opus 5.5 de Anthropic, respondió: «No será tan bueno. Opus 5.5 es una obra maestra». Su verdadera promesa apunta más adelante: «Grok 5 debería superar a Opus 5.5, y quizá eso ocurra en dos o tres meses».

Por ahora, todo lo demás sigue sin conocerse. La página de noticias y la documentación para desarrolladores de xAI no incluyen información sobre el modelo, según los rastreadores que las revisan; no hay ficha técnica, pruebas de referencia, precio ni listado en la API. La cifra de 2.5 billones de parámetros proviene únicamente de Musk, al igual que los resultados de las evaluaciones que, según dice, van en ascenso. El despliegue gradual llegará a los usuarios de Grok Bot «más adelante esta semana», sin que se haya indicado qué día, y en octubre Musk dijo que la mayoría de esas solicitudes serían atendidas por «una versión ultrarrápida de Grok 4.8».

Por eso, el despliegue de esta semana pondrá a prueba más la infraestructura que el modelo. Si el modelo resiste el tráfico real de Grok Bot, la reescritura será la plataforma sobre la que se entrene Grok 5. Si tropieza, ya no quedará ningún marco de trabajo externo al que echarle la culpa.

Etiquetas: , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.