IA

El CEO de Google, Sundar Pichai: el porcentaje de código hecho con IA en Google ya no significa nada

Adrian Kessler
Añádenos en Google

El director ejecutivo de Google dejó de llevar la cuenta. Cuando le preguntaron qué proporción del código de la empresa está escrita ahora por IA, Sundar Pichai dijo que la pregunta ya no tiene sentido, porque la IA interviene en todo. En la misma conversación restó importancia a la posibilidad que mantiene en alerta a buena parte de la industria: una IA que construya versiones mejores de sí misma y deje a las personas fuera del proceso.

Es posible que ambas afirmaciones sean ciertas. El problema es quién las verifica. La cifra que Pichai dejó de lado era el único dato que los observadores externos podían comparar con el de otras empresas. Lo que la reemplaza y las pruebas detrás de su postura más serena sobre la IA que se mejora a sí misma provienen de mediciones que Google hace de Google.

Qué dijo Sundar Pichai sobre la IA y el código de Google

Pichai conversó con Alex Kantrowitz en el podcast Big Technology, grabado en las oficinas centrales de Google en Mountain View y publicado también por Kantrowitz como una entrevista escrita de preguntas y respuestas. Cuando Kantrowitz mencionó la afirmación anterior de que una cuarta parte del código de Google provenía de la IA y preguntó cuál era la cifra actual, Pichai la calificó de «carente de sentido», porque cada parte del código que Google toca ahora «está profundamente influida por la IA».

En su lugar, ofreció cifras de Gemini 4 Argon, el modelo más reciente de Google, que la empresa puso en manos de sus propios ingenieros. En las cuatro semanas transcurridas desde su lanzamiento, dijo, Google registró un aumento del 30 % en los CLs, el nombre interno que usa para las propuestas de código, y una disminución de un tercio en las reversiones: los cambios que deben deshacerse después de implementarse. «Ahora lo estamos midiendo con métricas más nuevas», dijo.

La métrica anterior no desapareció por sí sola. En una publicación de blog de abril, Google situó en 75 % la proporción de código nuevo generado por IA, frente al 25 % de 2024 y al 50 % del otoño anterior, según Semafor y ETV Bharat. En ese momento, Semafor señaló que algunas de esas afirmaciones eran casi imposibles de verificar y las comparó con Snap, que reportaba un 65 %, y Meta, que apuntaba a niveles similares.

Por qué Pichai dice que la IA que se mejora a sí misma aún está lejos

Al hablar de la mejora recursiva de la IA, o RSI, Pichai presentó su respuesta como una aclaración de lo que había dicho su cofundador. Sergey Brin había señalado que la RSI era un factor clave para Argon, dijo, pero «todavía estamos bastante lejos de la etapa final de la RSI». Luego describió la situación actual de Google: «La forma correcta de explicarlo es que hay ciclos de RSI junto con investigadores de IA que participan en distintos aspectos del desarrollo de modelos. Diría que casi tienes agentes que ayudan a los investigadores de IA, de alguna manera automatizada, a colaborar para construir estos modelos».

Brin había ido más lejos unos días antes. En una mesa redonda sobre Argon que Google compartió, dijo que la empresa «está empezando a subirse a esa cinta de correr de la RSI» y que «ahora nuestros investigadores y el modelo trabajan de la mano para crear la siguiente versión del modelo», según informó Business Insider. Un informe de Gladstone AI publicado este mes indicó que la mayoría de los investigadores entrevistados en Anthropic, OpenAI y Google DeepMind esperan que la RSI comience en un plazo de tres a 12 meses.

El informe de seguridad de Google respalda a Pichai, según las pruebas de la propia empresa

Sobre el papel, los datos respaldan a Pichai. El informe de seguridad de Google DeepMind sobre Argon concluye que no hay «una aceleración significativa, de principio a fin, de la investigación y el desarrollo de IA, ya sea impulsada por IA o no», y califica ese riesgo como «actualmente bajo», informó TNW. Según el informe, los agentes de IA «redactan la mayoría del código de producción y las correcciones de errores, aunque los cambios en el código siguen sujetos a revisión humana antes de su envío». Las solicitudes de incorporación de cambios delegadas por completo pasaron del 7,5 % en abril al 11,9 % en septiembre; alrededor del 88 % todavía requiere orientación humana reiterada o código escrito por una persona.

Esos resultados provienen de los propios instrumentos de Google. El umbral para determinar si la IA automatiza la investigación en IA se mide con una prueba interna de 74 tareas que nadie fuera de la empresa puede ejecutar. Un análisis publicado en LessWrong apunta a una línea del propio informe: de las tareas originales que Google auditó, «aproximadamente una cuarta parte tenía errores que impedían que cualquier envío pudiera aprobarse». Como muchas pruebas se agotaron antes de terminar, el informe no ofrece una cifra puntual para Argon, que resolvió aproximadamente la mitad de las pruebas completadas. Google afirma que su conclusión se mantiene incluso si todas las pruebas inconclusas hubieran tenido éxito.

La revisión humana es el filtro del que depende el argumento de seguridad. Un 30 % más de propuestas de código significa un 30 % más de cambios para las personas que controlan ese filtro, y las métricas que eligió Pichai cuentan los resultados y las reversiones, no qué tan detenidamente se leyó cada cambio.

La propia solución de Pichai: auditores independientes

Pichai no descartó la preocupación. La investigación sobre alineamiento todavía tiene «claras deficiencias», dijo, y «es razonable preocuparse». A su juicio, el siguiente paso es establecer estándares para toda la industria, «incluida la posibilidad de evaluar con evaluadores independientes», tomando como modelo las normas contables y los auditores externos, y con una regulación que «terminará desempeñando un papel».

Si se miden con ese estándar, las dos afirmaciones de esta semana siguen sin auditarse. Google cuenta sus propias listas de cambios, califica sus propias reversiones y evalúa su propia prueba de investigación.

El porcentaje que calificó de carente de sentido era rudimentario, pero cualquiera podía compararlo con el de Snap. Las cifras que lo reemplazan solo pueden interpretarse desde dentro de Google.

Etiquetas: , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.