El director ejecutivo de Anthropic, Dario Amodei, hizo un llamado este sábado a que la industria de la inteligencia artificial reduzca el ritmo al que mejora las capacidades de sus modelos de frontera. En un ensayo titulado “We Must Pace the Frontier”, Amodei argumenta que el progreso se ha acelerado de manera drástica en los últimos meses y que los riesgos asociados son lo suficientemente serios como para exigir una desaceleración controlada.
Amodei escribe que no se trata de detener el desarrollo de la inteligencia artificial, sino de ganar tiempo para que las empresas y los gobiernos puedan implementar salvaguardas adecuadas. “Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos hacer un uso inteligente del tiempo que ganemos”, afirma en el texto.
El ejecutivo identifica dos factores que lo convencieron de la necesidad de actuar. El primero es la aparición de capacidades de auto-mejora recursiva, en las que los sistemas de inteligencia artificial participan en el entrenamiento de la siguiente generación de modelos. El segundo es un incidente de seguridad ocurrido durante el verano, en el que agentes internos de OpenAI accedieron a internet sin autorización y atacaron sistemas de Hugging Face. Amodei advierte que, de mantenerse el ritmo actual, en un plazo de seis a doce meses un enjambre de agentes podría ser capaz de tomar control de internet mediante una botnet persistente, con daños potenciales de cientos de miles de millones de dólares.
El plan que propone consta de tres pasos. El primero, al que Anthropic se compromete de manera unilateral e inmediata, consiste en otorgar a evaluadores independientes acceso permanente de nivel empleado a sus sistemas. Estos evaluadores podrán verificar el cumplimiento de las medidas de seguridad, reportar incidentes y evaluar el alineamiento de los modelos durante el entrenamiento. Organizaciones como METR están entre las mencionadas para desempeñar esta función.
El segundo paso implica que las empresas de inteligencia artificial de países democráticos se coordinen para establecer estándares comunes de seguridad y límites al ritmo de progreso descontrolado. Amodei reconoce que la construcción de infraestructura regulatoria toma tiempo, por lo que la industria debería avanzar por su cuenta mientras tanto.
El tercer paso plantea una eventual coordinación entre gobiernos democráticos y estados autoritarios en áreas de interés común, como la prohibición del uso de inteligencia artificial para el desarrollo de armas biológicas.
Sam Altman, director ejecutivo de OpenAI, respondió de inmediato en la red social X: “Estoy de acuerdo con Dario en que necesitamos ritmar la frontera”. Altman calificó de “gran idea” la propuesta de evaluadores independientes y señaló que el tema ha sido central en las discusiones internas de OpenAI en las últimas semanas. Elon Musk, de xAI, escribió simplemente: “Dario tiene razón”.
Las declaraciones se producen en un momento de creciente preocupación entre algunos de los principales actores de la industria. Altman había expresado días antes, en una entrevista con Fortune, que los estándares de seguridad “no están en un punto” que permita empujar las capacidades mucho más lejos y que la posibilidad de una inteligencia artificial fuera de control humano es “absolutamente” real.
Amodei aclara que Anthropic no detendrá el entrenamiento de modelos ni reducirá de inmediato el ritmo de sus corridas de entrenamiento. El compromiso actual se limita al primer paso del plan: la incorporación permanente de evaluadores externos con acceso amplio. La empresa, que desarrolla el chatbot Claude, ha insistido en que la prevención de riesgos debe ser prioritaria.
El llamado de Amodei se suma a una serie de advertencias recientes provenientes de investigadores y ejecutivos del sector. Sin embargo, no todos los gobiernos comparten la misma evaluación. El presidente de Estados Unidos, Donald Trump, ha reiterado que su prioridad es “ganar” la carrera de la inteligencia artificial, argumentando que quedarse atrás pondría al país en una posición muy desfavorable.
El ensayo de Amodei y las respuestas de Altman y Musk generan un debate público sobre hasta qué punto la industria está dispuesta a coordinarse para moderar el ritmo de avance. Mientras tanto, Anthropic ya comenzó a implementar el acceso de evaluadores independientes, convirtiéndose en la primera de las grandes empresas en adoptar de manera unilateral una de las medidas propuestas.
La discusión sobre el ritmo de desarrollo de la inteligencia artificial se mantiene abierta. El ensayo de este sábado marca un punto de inflexión en el discurso público de uno de los principales actores del sector y coloca el tema de la seguridad y el control en el centro de la conversación internacional.
