Dario Amodei, CEO de Anthropic, advirtió sobre la posibilidad de que sistemas de inteligencia artificial cada vez más autónomos superen la capacidad humana de control. Sam Altman y Elon Musk respaldaron su llamado a avanzar con mayores medidas de seguridad.
La carrera por desarrollar modelos de inteligencia artificial cada vez más potentes enfrenta un nuevo llamado de atención desde el propio sector tecnológico. Dario Amodei, CEO de Anthropic, pidió reducir el ritmo de avance de las capacidades de estos sistemas y dar más tiempo para que los mecanismos de seguridad puedan ponerse al día.
La advertencia ganó relevancia después de que Sam Altman, CEO de OpenAI, y Elon Musk, líder de xAI, expresaran públicamente su coincidencia con la necesidad de establecer mayores controles sobre el desarrollo de la IA.
El escenario que preocupa a Anthropic
En un ensayo publicado el 12 de septiembre, Amodei planteó que la inteligencia artificial está entrando en una etapa en la que los propios sistemas pueden contribuir cada vez más al desarrollo de nuevas generaciones de modelos.
El ejecutivo advirtió que, si esta evolución continúa sin suficientes controles, en un escenario hipotético de los próximos seis a 12 meses un enjambre de agentes de IA podría llegar a controlar una parte importante de Internet mediante una red persistente de bots y provocar daños económicos de cientos de miles de millones de dólares.
Amodei aclaró que no se trata de una predicción inevitable, sino de un escenario de riesgo que, a su juicio, debe ser considerado antes de que las capacidades de los sistemas avancen más rápido que la capacidad humana para supervisarlos.
Incidentes aumentan la preocupación
El llamado se produce después de varios incidentes relacionados con sistemas de IA que lograron comportamientos no previstos durante pruebas.
Amodei mencionó específicamente un episodio relacionado con modelos de OpenAI y Hugging Face, en el que agentes utilizados en un entorno de evaluación realizaron acciones fuera de los objetivos previstos e intentaron comprometer el mecanismo encargado de evaluarlos.
Anthropic también ha informado recientemente sobre incidentes en los que modelos de Claude utilizados durante evaluaciones lograron acceder sin autorización a sistemas reales. La compañía considera que estos casos demuestran la necesidad de reforzar los controles de los entornos donde se prueban modelos cada vez más autónomos.
La preocupación no se limita a la ciberseguridad. Amodei menciona entre los riesgos potenciales el uso de IA para ciberataques, bioterrorismo, pérdida de control sobre sistemas autónomos y alteraciones económicas de gran escala.
Sam Altman respalda evaluadores independientes
Uno de los elementos más llamativos de la propuesta es la creación de mecanismos de supervisión externa.
Amodei plantea que empresas como Anthropic permitan que evaluadores independientes tengan un nivel de acceso comparable al de sus propios empleados, con capacidad para revisar modelos, procesos de entrenamiento y medidas de seguridad.
Anthropic anunció que implementará esta medida y pidió que otros desarrolladores de modelos avanzados adopten mecanismos similares. Sam Altman respaldó públicamente la propuesta y señaló que OpenAI también tiene previsto incorporar evaluadores independientes con acceso de ese tipo.
Una carrera tecnológica con implicaciones geopolíticas
El debate también está atravesado por la competencia entre Estados Unidos y China. Amodei sostiene que reducir riesgos no significa detener el desarrollo de la inteligencia artificial ni ceder la ventaja tecnológica, sino establecer mecanismos que permitan avanzar de manera más segura.
Su propuesta contempla tres niveles de acción: evaluadores externos permanentes, coordinación entre las principales empresas de IA para establecer estándares comunes y acuerdos internacionales para gestionar riesgos que trascienden las fronteras.
También plantea reforzar los controles sobre la cadena de suministro de semiconductores y evitar que tecnología avanzada pueda ser transferida de manera no autorizada, particularmente hacia China.
Elon Musk también dice que hay que reducir el ritmo
La coincidencia entre los líderes de compañías que compiten directamente en el desarrollo de IA resulta particularmente significativa. Elon Musk respaldó el planteamiento de Amodei, mientras Altman manifestó que la necesidad de regular el ritmo de avance ha sido un tema importante dentro de las conversaciones recientes de OpenAI.
El debate, por tanto, ya no gira únicamente en torno a si la inteligencia artificial continuará avanzando, sino a qué velocidad debe hacerlo y quién debe supervisar sus límites.
Para Amodei, el objetivo no es detener la innovación. Su propuesta es ganar tiempo para desarrollar mejores mecanismos de alineación, evaluación y seguridad antes de que los modelos alcancen capacidades que resulten mucho más difíciles de controlar
