IA

Anthropic activó sus reglas contra la IA que se mejora a sí misma

Adrian Kessler
Añádenos en Google

Anthropic concluyó formalmente que la inteligencia artificial ya está acelerando su propia investigación lo suficiente como para cruzar un límite que la empresa se había fijado. En la versión modificada de su prospecto de oferta pública inicial, la compañía detrás de Claude afirma que alcanzó el umbral de capacidad de investigación y desarrollo de IA establecido en su Responsible Scaling Policy, el reglamento interno que determina cuánta seguridad y supervisión necesitan sus modelos. La política describe ese umbral como el inicio de la auto-mejora recursiva: el punto en que los sistemas de IA empiezan a acelerar el trabajo de crear IA más avanzada.

Lo inusual de esta determinación es aquello en lo que no se basa. Anthropic escribe que llegó a esa conclusión «a partir de lo que esperamos de los modelos futuros y de nuestro ritmo general de progreso, no de lo que hemos observado en los modelos actuales». No se ha demostrado que ningún modelo de Claude disponible al público cruce ese límite. La empresa está actuando con base en sus propias proyecciones y se lo está comunicando a los inversionistas antes de que sus acciones comiencen a cotizar.

Las pruebas que señala son internas. El prospecto afirma que Claude escribió más del 90 % de las contribuciones a la base de código de Anthropic durante un mes reciente, y que la cantidad de código que aporta cada ingeniero al día aumentó más de 45 veces. Anthropic añade que sus modelos «escriben una proporción grande y cada vez mayor de nuestro código, y se encargan cada vez más de nuestra investigación, incluida la investigación sobre seguridad».

La política establece dos formas de cruzar este umbral. La primera es que un modelo pueda reemplazar por completo a todo el personal de científicos e ingenieros de investigación de Anthropic a un costo competitivo. La segunda es una «aceleración drástica» del progreso de la IA, que la política define como concentrar aproximadamente dos años de avances en uno, algo que plausiblemente podría deberse a la investigación automatizada. Como para cumplir esta segunda condición basta con que la empresa pueda «observar o esperar» un salto de ese tipo, una proyección es suficiente para activarla.

Al cruzar el límite, Anthropic se compromete a adoptar un conjunto más exigente de medidas de seguridad. La política exige proyectos de seguridad «de gran alcance» para hacer frente a los atacantes mejor financiados del mundo, así como un régimen de «supervisión de todo», en el que cada actividad crítica de desarrollo de IA se registre y analice mediante IA para detectar amenazas, incluso las que provengan de personas internas, humanas o artificiales. Además, su equipo interno de red team debe encontrar más vulnerabilidades que todos los investigadores externos de sus programas de recompensas por errores en conjunto. El prospecto señala que la empresa ya retrasó más de un mes el preentrenamiento de un nuevo modelo de frontera para reforzar las protecciones contra el robo de los pesos de sus modelos, y que está evaluando normas que exijan la aprobación de una persona para algunas decisiones de investigación, a medida que Claude asume más de ese trabajo.

Para quienes usan Claude en el trabajo o Claude Code, el efecto práctico podría ser que los lanzamientos se vuelvan más lentos. La carta de los fundadores, publicada junto con el material de la OPI, señala que puede haber ocasiones en que Anthropic decida «avanzar más despacio de lo que podríamos para hacer que nuestros sistemas sean más seguros, aunque eso nos ponga en desventaja frente a la competencia». Por ahora, nada cambia en las aplicaciones.

La determinación es una autoevaluación realizada en el marco de una política voluntaria que Anthropic redactó y puede modificar; ningún auditor externo la ha confirmado. La propia política reconoce que el umbral «ha resultado difícil de llevar a la práctica», y el documento presentado admite que gran parte de las pruebas proviene de indicadores rezagados, por lo que quizá solo se detecte una aceleración real después de que ya haya ocurrido. Las divulgaciones de riesgos de un prospecto también se redactan para proteger a una empresa de futuras demandas y, como informó Gizmodo, una versión anterior del mismo documento decía únicamente que Anthropic «podría cumplir los criterios en breve».

Anthropic afirma que todavía está evaluando los datos subyacentes y que publicará nuevos informes sobre lo que implica alcanzar el umbral. Se espera que el precio de sus acciones se fije el 18 de noviembre y que comiencen a cotizar en Nasdaq el 19 de noviembre, con el símbolo bursátil ANT y un rango propuesto de entre 70 y 78 dólares por acción. Por ahora, la única prueba de que se cruzó el límite es la propia proyección de Anthropic.

Etiquetas: , , , , ,

Añádenos en Google

Debate

Hay 0 comentarios.