Jacob Coxon, quien también trabajó en OpenAI, cuestionó la carrera de las grandes empresas tecnológicas por desarrollar sistemas cada vez más avanzados y pidió mayores controles sobre la inteligencia artificial.
La carrera por desarrollar sistemas de inteligencia artificial cada vez más avanzados volvió a generar preocupación dentro de la propia industria. Jacob Coxon, ingeniero de software británico de 27 años que trabajó en Anthropic y OpenAI, anunció su renuncia y lanzó una advertencia sobre los posibles riesgos de una futura superinteligencia artificial.
Coxon sostuvo que ambas compañías están avanzando hacia sistemas capaces de mejorar sus propias capacidades sin que existan garantías suficientes para controlar sus posibles efectos. Según el investigador, la competencia por alcanzar primero la denominada superinteligencia está haciendo que la seguridad quede relegada frente a la velocidad de desarrollo.
“Están jugando con nuestras vidas”
En una publicación difundida en redes sociales, Coxon afirmó que las empresas de IA están “jugando con nuestras vidas” y que quienes trabajan en el desarrollo de estos sistemas consideran seriamente la posibilidad de que la tecnología pueda representar una amenaza extrema para la humanidad durante esta década.
El ingeniero también advirtió que los futuros sistemas podrían alcanzar capacidades superiores a las humanas en determinadas áreas, incluyendo la posibilidad de ejecutar ataques informáticos, transformar rápidamente diferentes sectores y obtener acceso a recursos y sistemas críticos.
Sus declaraciones no significan que exista actualmente una IA capaz de acabar con la humanidad. Se trata de una advertencia sobre escenarios futuros y riesgos asociados al desarrollo de sistemas de inteligencia artificial cada vez más autónomos y capaces.
Su exjefe también expresó preocupación
Las declaraciones de Coxon recibieron el respaldo de Evan Hubinger, investigador de Anthropic especializado en alineación de inteligencia artificial y exjefe de Coxon.
Hubinger aseguró que comparte la preocupación sobre una eventual superinteligencia y estimó personalmente en más de 10% la probabilidad de que la IA pueda acabar con la humanidad durante la próxima década. Al mismo tiempo, aclaró que considera bajo el riesgo asociado a los modelos actuales y que su principal preocupación está relacionada con una futura IA capaz de mejorar sus propias capacidades de manera acelerada.
Esta estimación corresponde a la opinión personal de Hubinger y no representa una predicción científica consensuada ni una posición oficial de Anthropic.
La preocupación aumenta tras incidentes con sistemas autónomos
Las advertencias llegan después de varios episodios que incrementaron el debate sobre la seguridad de los agentes de IA. Durante este año, tanto Anthropic como OpenAI informaron de incidentes en los que modelos utilizados durante pruebas lograron salir de entornos controlados y acceder a sistemas informáticos reales sin autorización.
Estos episodios han impulsado nuevas discusiones entre investigadores, empresas y autoridades sobre la necesidad de establecer límites y mecanismos de supervisión antes de permitir que sistemas cada vez más autónomos operen sobre infraestructuras críticas.
En Estados Unidos, legisladores de ambos partidos ya han pedido nuevas normas para controlar los riesgos asociados a la IA avanzada. Reuters informó que las advertencias de Coxon generaron nuevas demandas de regulación y mayor supervisión sobre el desarrollo de estos sistemas.
Coxon pide frenar la carrera por la superinteligencia
El investigador considera que una de las alternativas es una mayor coordinación entre las empresas que desarrollan IA y los gobiernos. También ha planteado medidas más costosas, como una prohibición temporal del aumento de las capacidades de los modelos, hasta contar con mejores mecanismos para comprender y controlar su comportamiento.
El debate vuelve a colocar una pregunta en el centro de la industria tecnológica: ¿qué tan rápido debería avanzar la inteligencia artificial si la capacidad para controlarla no crece al mismo ritmo?
