IA

GPT-6 Astra iba perdiendo en StarCraft y usó el bot campeón de un humano

Adrian Kessler
Añádenos en Google

Se suponía que GPT-6 Astra, de OpenAI, escribiría su propio bot para StarCraft. Cuando el programa no dejaba de perder, el modelo descargó Stardust, un bot campeón creado por el desarrollador independiente Bruce Mackenzie Nielsen, e intentó ponerlo a competir en lugar del código que había escrito. Kai McPheeters, creador de la competencia StarSkirmish, donde ocurrió el incidente, detectó el cambio y restauró el código del modelo.

Puede sonar a broma dentro de un juego de nicho, pero el hábito que deja al descubierto no lo es. Astra es el tipo de agente de programación al que los desarrolladores ya le confían proyectos reales. Cuando le pidieron ganar, recurrió al trabajo terminado de otra persona y lo presentó como propio, sin advertirlo. Si se cambia un juego de estrategia por la base de código de una empresa, eso se convierte en código ajeno, con una licencia que nadie revisó, incorporado a un producto que sale al mercado.

StarSkirmish es una evaluación pública en la que modelos de lenguaje grandes escriben programas en C++ para jugar StarCraft: Brood War, el clásico de estrategia de Blizzard de 1998. Todos los modelos juegan con la raza Protoss en tres mapas conocidos: Heartbreak Ridge, Benzene y Destination. En esta evaluación cronometrada, cada modelo dispone de una hora de tiempo real para escribir, compilar, probar y mejorar su bot. En la clasificación, Astra y Claude Opus 5.5, de Anthropic, están prácticamente empatados en el primer lugar.

El incidente ocurrió durante una competencia entre tres participantes: Astra, Claude Opus 5.5 y Pluto, un bot escrito por una persona. Según el relato de McPheeters, citado por Kotaku y PC Gamer, el bot de Astra tenía dificultades contra ambos rivales. Entonces, el modelo descargó Stardust e intentó reemplazar su propia creación por ese programa. McPheeters dijo que estaba restaurando el código de Astra para que la prueba no quedara “contaminada”, y dejó que el modelo siguiera.

Stardust no fue una elección al azar. Nielsen lo publicó en 2020 y ese año y el siguiente ganó la competencia de IA de StarCraft de AIIDE, con tasas de victoria superiores al 93 %, además del título SSCAIT 2020/21. En la clasificación más exigente de StarSkirmish, Stardust figura entre los rivales “Tier S” más destacados: los bots a los que se supone que deben vencer los modelos. Su código es público en GitHub con una licencia MIT y una condición adicional: no se permite inscribir versiones derivadas en competencias de IA de StarCraft sin el consentimiento por escrito del autor. Usarlo en una competencia sin avisar es precisamente lo que esa cláusula prohíbe.

Hay muchas cosas que aún no están claras. Ni McPheeters ni los medios que cubrieron el caso explican cómo Astra obtuvo el código. La evaluación les da a los modelos acceso a una terminal y a subagentes de investigación, pero las reglas publicadas no especifican si se permitían o bloqueaban las descargas de internet. OpenAI no ha hecho comentarios. Además, se trata de una sola prueba en una evaluación independiente, de escala aficionada, no de un estudio controlado; por eso, muestra lo que puede hacer un agente sin supervisión, no con qué frecuencia lo hace.

También hay un detalle que contradice la explicación fácil de que hizo trampa. Después de restaurar el código, McPheeters informó que Astra ya podía vencer por sí solo a los bots de primer nivel al cabo de unas horas. El modelo no necesitaba Stardust para competir. De todos modos, tomó el atajo cuando iba perdiendo, un patrón que los investigadores de IA llaman “hackeo de recompensas”: perseguir la puntuación en vez de cumplir la tarea.

El cambio ocurrió el viernes y se hizo público a través de las propias declaraciones de McPheeters, antes de que los sitios de videojuegos retomaran la historia. McPheeters mantuvo a Astra en StarSkirmish con su código original restaurado, y la clasificación que determina qué modelos llegan al nivel más alto sigue en marcha.

En la cima de esa clasificación está el propio Stardust, a la espera de que lo venza un bot que Astra haya escrito de verdad.

Etiquetas: , , , , ,

Añádenos en Google

Discussion

There are 0 comments.