llm-d 1.0: Red Hat, IBM, Google y Nvidia apuestan a que lo caro de la IA es la inferencia

Durante tres años, la plática sobre la IA ha girado en torno a quién construye el modelo más grande. La pregunta menos vistosa —cuánto cuesta mantener ese modelo respondiendo, millones de veces al día, sin que se caiga— es por donde hoy se fuga el dinero. llm-d, el proyecto de inferencia de código abierto que arrancaron Red Hat, IBM, Google Cloud, CoreWeave y Nvidia, llegó a la versión 1.0, y su propuesta apunta justo a esa fuga.

El mecanismo vale la pena explicarlo sin rodeos. Un agente de IA no hace una pregunta y se va. Mantiene sesiones largas, vuelve a leer los mismos documentos y lanza ayudantes en paralelo que pegan al hardware en ráfagas impredecibles. En ese patrón, manejar el contexto puede costar más que generar la respuesta. Todo equipo que sirve modelos a gran escala, dice Shadi Saba, vicepresidente de ingeniería de IA/ML de CoreWeave, se topa con un «contexto que a menudo cuesta más manejar que la propia salida». La respuesta de llm-d es el ruteo: mandar cada solicitud al servidor que ya tiene su contexto en caché, en vez de recalcularlo desde cero.

La versión 1.0 trae menos trucos nuevos que garantías para operar los que ya existen durante meses. El proyecto ya ofrecía ruteo consciente de la caché, descarga de la caché KV y la separación de las fases de prefill y decode entre máquinas, sobre servidores de modelos como vLLM y SGLang. La nueva versión suma controles de prioridad y equidad para que las solicitudes sensibles a la latencia y los agentes en ráfaga compartan una misma flota de GPU sin ahogarse, un enrutador de alta disponibilidad para actualizar sin interrupciones, una API de configuración v1 estable y un ruteo por sesión que mantiene las conversaciones de varios turnos cerca de su estado en caché.

Lectura recomendadaLa IA de frontera acaba de volverse un 83 % más barata — si estás dispuesto a alojarla tú mismo

Las cifras de desempeño del anuncio salen de demostraciones de los propios colaboradores, así que hay que leerlas como afirmaciones y no como auditorías. En una, los investigadores sirvieron GLM 5.2, un modelo de pesos abiertos de unos 753 mil millones de parámetros, en GPU de Nvidia de uso extendido, con picos de más de 6.6 millones de tokens de salida por minuto y hasta 3,000 agentes de programación simultáneos; con las tarifas actuales de renta en la nube, aseguran, el costo por token resultó entre cinco y diez veces menor que el de una API comercial equivalente. IBM Research reporta un costo de inferencia 11.5 veces menor que el de una configuración totalmente propietaria en un proyecto de diseño de chips para corrección de errores cuánticos, con una tasa de aciertos de caché cercana al 98%.

Más revelador es quién ya se apoya en él. JetBrains dice que llm-d atiende una parte significativa del tráfico de Junie Lite, su plan gratuito de agente de programación; DigitalOcean corre sobre él su inferencia serverless, y Mistral y Roblox explican que construyen su capa de servicio sobre el proyecto. Google Cloud está integrando la 1.0 en Google Kubernetes Engine en todo su portafolio de TPU y GPU de Nvidia, mientras AMD la lleva a sus aceleradores Instinct.

Fundado en 2025 y gobernado ahora por la Cloud Native Computing Foundation, llm-d reúne a más de 500 colaboradores de más de 25 organizaciones. La versión 1.0 se anunció el 20 de octubre de 2026 en San José, California, y ya está disponible como software de código abierto.

La consecuencia es un cambio de poder. Si lo caro de la IA es servirla y no entrenarla, quien controle la capa de servicio controla la cuenta. llm-d es un intento de que esa capa siga siendo compartida y abierta, y no quede encerrada en la API de un solo proveedor.

Etiquetas: Nvidia, agentes de IA, IBM, modelos de lenguaje, CoreWeave, Red Hat

Contenido similar

El chip Jalapeño de OpenAI realiza inferencias con una eficiencia 1,9 veces superior a Nvidia Blackwell por vatio

AMD apuesta por grabar pesos de IA en silicio para ganar la carrera de inferencia a Nvidia

DeepSeek lanza un nuevo modelo de IA que habla menos y reduce a 20 centavos el costo de una tarea de programación

Stripe adquiere OpenRouter por 8.000 millones y declara que enrutar IA es el próximo problema de pagos

Apple presenta el Mac mini M6 con IA local por 899 dólares

NVIDIA construyó los rieles de la economía de la IA — y nadie más ha podido tenderlos