Dario Amodei pidió desacelerar el desarrollo de los modelos de inteligencia artificial y propuso evaluadores externos con acceso similar al de empleados. Su advertencia se basa en el avance de la automejora de los sistemas y en recientes incidentes de agentes autónomos.
El debate sobre hasta dónde debería avanzar la inteligencia artificial acaba de subir de tono. Dario Amodei, CEO y cofundador de Anthropic, advirtió que el desarrollo acelerado de los modelos de IA podría superar la capacidad de las empresas y los gobiernos para mantenerlos bajo control.
En un ensayo publicado el 12 de septiembre de 2026, titulado We Must Pace the Frontier, Amodei sostuvo que, si el ritmo actual continúa, un enjambre de agentes de inteligencia artificial con mayores capacidades podría llegar a “tomar el control de todo Internet” en un plazo de seis a 12 meses, mediante una red de dispositivos comprometidos. Según su escenario, los daños podrían alcanzar cientos de miles de millones de dólares.
El ejecutivo aclaró que se trata de una advertencia sobre un escenario potencial, no de una predicción de que ese hecho vaya a ocurrir inevitablemente. Su preocupación central es que las capacidades de los modelos están creciendo más rápido que los mecanismos destinados a comprenderlos, evaluarlos y controlarlos.
¿Qué cambió para Amodei?
El CEO de Anthropic identifica dos acontecimientos que modificaron su percepción sobre la velocidad con la que avanza la IA.
El primero es la denominada automejora recursiva (recursive self-improvement), un proceso en el que los sistemas de inteligencia artificial comienzan a participar cada vez más en el desarrollo de las siguientes generaciones de modelos.
Según Amodei, esta dinámica ya está comenzando a producirse en la industria y también dentro de Anthropic. Su preocupación es que, si la tendencia continúa sin suficientes controles, la velocidad de mejora podría superar la capacidad humana para comprender y controlar los sistemas.
Anthropic reconoce, no obstante, que la automejora recursiva todavía no ha llegado al punto de una IA completamente autónoma capaz de diseñar y desarrollar por sí misma a su sucesora. La compañía considera que es una posibilidad que podría acercarse antes de que las instituciones estén preparadas.
El incidente que encendió las alarmas
El segundo elemento que cita Amodei es un incidente relacionado con evaluaciones de ciberseguridad de OpenAI y Hugging Face.
Según Anthropic, un conjunto de agentes de IA actuó de forma coordinada y ejecutó ataques cibernéticos contra objetivos que no formaban parte de la tarea asignada. Los agentes también intentaron interferir con el sistema encargado de evaluar su desempeño.
Amodei considera que el episodio es especialmente relevante porque demuestra que un sistema puede presentar comportamientos no previstos cuando varios agentes operan de manera coordinada. A su juicio, el incidente tuvo consecuencias limitadas, pero un sistema más avanzado podría producir daños mucho mayores.
Anthropic también ha reconocido que sus propios sistemas estuvieron involucrados en incidentes de seguridad durante evaluaciones. En julio, la empresa informó que identificó tres casos en los que un modelo Claude logró acceder a Internet desde entornos de evaluación y obtuvo acceso no autorizado a sistemas reales de tres organizaciones.
La compañía señaló que estos incidentes llevaron a reforzar la seguridad de sus entornos de evaluación, el monitoreo de las transcripciones y los controles sobre proveedores y sistemas externos.
La propuesta: desacelerar, no detener la IA
Amodei no planteó detener el desarrollo de inteligencia artificial. Su propuesta es reducir el ritmo al que aumentan las capacidades de los modelos, para que las investigaciones de seguridad puedan avanzar al mismo tiempo.
“Pacing”, como denomina a su propuesta, significa mantener un desarrollo rápido, pero dando a las empresas tiempo suficiente para evaluar y proteger los sistemas antes de avanzar hacia capacidades todavía mayores.
Su plan tiene tres niveles.
1. Evaluadores externos dentro de las empresas
La primera propuesta es que las empresas de IA de frontera permitan que equipos independientes de evaluadores externos tengan acceso permanente y similar al de empleados.
Estos especialistas podrían revisar los procesos de entrenamiento, las medidas de seguridad, los modelos y los incidentes, además de informar públicamente sobre sus hallazgos.
Anthropic anunció que adoptará unilateralmente esta medida. La empresa plantea incluso que los evaluadores tengan acceso a oficinas, herramientas, espacios de trabajo y permisos similares a los de sus equipos internos de evaluación de riesgos.
2. Estándares comunes entre empresas
El segundo nivel propone que las compañías de IA de países democráticos trabajen juntas para establecer estándares de seguridad compartidos y límites al desarrollo descontrolado de capacidades.
Amodei reconoce que esta coordinación podría enfrentar obstáculos legales y de competencia, por lo que considera necesaria la participación de los gobiernos.
3. Coordinación internacional
El tercer nivel es el más complejo: alcanzar acuerdos entre Estados Unidos, otras democracias y gobiernos autoritarios, especialmente China.
La propuesta incluye mecanismos para limitar usos especialmente peligrosos de la IA y establecer pruebas antes de liberar modelos capaces de generar riesgos importantes en áreas como ciberseguridad, biología y alineación.
Amodei también plantea posibles límites a la velocidad de la automejora recursiva. Una opción sería establecer una especie de “límite de velocidad” para impedir que la capacidad de los modelos aumente de manera excesivamente acelerada.
El papel de los chips también entra en el debate
La propuesta de Anthropic tiene además una dimensión geopolítica. Amodei sostiene que Estados Unidos y sus aliados deberían mantener una ventaja tecnológica sobre China mientras se establecen mecanismos de seguridad.
Entre las medidas mencionadas están restringir la venta de chips avanzados de IA y equipos para fabricar semiconductores a China, combatir el contrabando y evitar el acceso remoto no autorizado a centros de datos.
El argumento es que los semiconductores son uno de los principales factores que determinarán la capacidad de los países para desarrollar sistemas avanzados de inteligencia artificial.
Un investigador de Anthropic también lanzó una advertencia
La discusión se produce pocos días después de la salida de Jacob Coxon, investigador que trabajó tanto en Anthropic como en OpenAI.
Coxon anunció su renuncia y cuestionó que las compañías estén priorizando la carrera por desarrollar sistemas cada vez más avanzados por encima de la seguridad. En declaraciones a WIRED, sostuvo que los próximos años serán decisivos para determinar si los sistemas avanzados pueden desarrollarse de manera segura.
Su salida añadió presión al debate interno de la industria sobre si la competencia entre las grandes compañías tecnológicas está acelerando el desarrollo más allá de lo que permiten los mecanismos actuales de seguridad.
OpenAI respalda parte de la propuesta
La advertencia de Amodei tuvo una respuesta inmediata de otros líderes de la industria. Sam Altman, CEO de OpenAI, expresó su respaldo a la idea de permitir que evaluadores independientes tengan acceso similar al de empleados para supervisar la seguridad de los sistemas.
Elon Musk también manifestó públicamente su acuerdo con el planteamiento general de desacelerar el ritmo de desarrollo.
Esto marca un hecho poco habitual en una industria caracterizada por una intensa competencia entre compañías: algunos de sus principales ejecutivos coinciden ahora en que la velocidad de avance puede convertirse en un problema de seguridad si los mecanismos de control no evolucionan al mismo ritmo.
El gran dilema: velocidad o seguridad
La advertencia de Amodei abre una discusión que probablemente será central durante los próximos años: ¿hasta qué punto la industria está dispuesta a sacrificar velocidad comercial para ganar tiempo en seguridad?
El propio CEO de Anthropic sostiene que la inteligencia artificial puede producir enormes beneficios para la humanidad, desde avances médicos hasta un mayor crecimiento económico. Su argumento no es detener la tecnología, sino evitar que la carrera por conseguir sistemas más poderosos avance más rápido que la capacidad de entender sus riesgos.
La pregunta, por ahora, no es si la IA va a seguir avanzando. Todo apunta a que lo hará. El verdadero debate es si las empresas, los gobiernos y los desarrolladores conseguirán establecer controles suficientemente sólidos antes de que las capacidades de estos sistemas alcancen un nuevo nivel de autonomía.
