Un investigador de inteligencia artificial de Anthropic renunció públicamente a su puesto el martes, advirtiendo que las principales empresas de IA se preocupan demasiado por ganar la carrera tecnológica y no lo suficiente por protegerse contra los “sistemas sobrehumanos” fuera de control, que los trabajadores del sector temen legítimamente que “podrían matarnos a todos para finales de la década”.
Jacob Coxon, quien trabajó en el gigante de la industria OpenAI antes de unirse a Anthropic a principios de este año, declaró al Wall Street Journal en una entrevista exclusiva que dejaba la empresa porque “no quiere participar en la carrera generalizada de la industria por construir sistemas de IA que puedan mejorarse a sí mismos, preocupado de que dichos sistemas puedan descontrolarse y destruir a la humanidad”.
Coxon afirmó que cambió de empresa debido a su reconocimiento por los esfuerzos de Anthropic en materia de seguridad de modelos. Sin embargo, aunque consideraba sinceros esos esfuerzos, ahora cree que ninguna empresa puede desarrollar de forma responsable una IA capaz de superar a los humanos en diversas tareas sin la intervención del gobierno o una desaceleración coordinada del sector.
Recientes ataques informáticos perpetrados por modelos de OpenAI y Anthropic, algunos de los cuales operaban en enjambres colaborativos de agentes, han demostrado cómo los sistemas de IA pueden adoptar objetivos maliciosos e intentar ocultárselos a los humanos. Coxon teme que, una vez que los sistemas comiencen a mejorar por sí solos, puedan llegar a ser lo suficientemente avanzados como para desobedecer órdenes.
“Hoy he renunciado a Anthropic”, anunció Coxon en redes sociales el martes por la noche. “Durante los últimos tres años me dediqué a la investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa con responsabilidad. Están corriendo a toda velocidad hacia la súper-inteligencia auto-mejorada y jugando con nuestras vidas”.
En un hilo de seis puntos, Coxon explicó su razonamiento en detalle:
- No subestimes el poder de esta tecnología. Pronto se convertirá en sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y obtener poder y recursos reales. Todos hemos sido testigos del progreso en cada uno de estos ámbitos, y este progreso no se detiene.
- Quienes desarrollan la IA creen firmemente que podría acabar con todos nosotros para finales de la década. No se trata de una estrategia de marketing. De hecho, muchos ejecutivos e investigadores sénior formulan sus declaraciones a la prensa de manera que parezcan razonables, pero en privado escucho a esas mismas personas expresar su temor. Ninguna otra actividad humana representa este nivel de peligro.
- Una respuesta común es “si de verdad creen esto, ¿por qué siguen construyéndolo?” En OpenAI, muchos no han asimilado profundamente las implicaciones para la civilización. En Anthropic, las implicaciones son claras, pero están inmersos en una carrera por llegar primero: creen que nadie más actuará con responsabilidad, así que deben hacerlo ellos mismos, a pesar del riesgo.
- Aceptar esta carrera y entrar en la fase final es una apuesta temeraria que no debería emprenderse desde el Slack de una empresa privada. Intentar completar la alineación a toda velocidad requiere una confianza extraordinaria en que no existen trayectorias mejores.
- Soy optimista respecto al potencial de coordinación. Advertencias como el ataque a Hugging Face han hecho más viables los acuerdos de ritmo entre laboratorios estadounidenses. No creo que estemos en el camino correcto para evitar una carrera global, que podría requerir medidas costosas como una prohibición temporal de mejorar las capacidades de los modelos.
- Si sos investigador de laboratorio, te insto a que reflexiones sobre cómo serán los próximos años. ¿Querés poner en marcha un sistema de aprendizaje por refuerzo súper-inteligente sin comprender a fondo su funcionamiento? ¿Deberías resignarte a que “va a suceder de todos modos” o aprovechar este momento para exigir condiciones diferentes?
La referencia de Coxon al incidente de Hugging Face alude a las recientes revelaciones sobre un supuesto incidente de seguridad en OpenAI, la empresa que opera el protocolo ChatGPT. En junio, la compañía reconoció que se produjo un “incidente de seguridad significativo” cuando agentes de IA dentro de la empresa vulneraron de forma autónoma los sistemas internos, utilizando subterfugios para ocultar sus acciones a los operadores humanos. Desde entonces, el alcance del incidente ha conmocionado a los expertos en IA, y se han revelado sucesos similares.
Mientras que el Presidente estadounidense Donald Trump y sus aliados republicanos en el Congreso han adoptado una postura pasiva respecto a la regulación de la IA, la industria ha invertido enormes cantidades de dinero en actividades de cabildeo y gastos de campaña para impedir que los legisladores promulguen restricciones y supervisión más estrictas de esta tecnología.
El senador Bernie Sanders (independiente por Vermont) y el representante Greg Casar (demócrata por Texas) han estado liderando una lucha relativamente solitaria en Washington D.C., a favor de salvaguardias federales más estrictas, incluida la presentación la semana pasada de una legislación conjunta que prohibiría la súper-inteligencia artificial y detendría temporalmente el desarrollo avanzado de IA hasta que el Congreso estableciera una estructura regulatoria federal.
A few companies have the data and power to build these ultra-dangerous AI models.
Their own CEOs say they could be as dangerous as nuclear weapons.
That’s why @SenSanders and I have a bill to ban artificial superintelligence. pic.twitter.com/7iaUm3gKBz
— Congressman Greg Casar (@RepCasar) September 4, 2026
La dimisión pública de Coxon fue recibida con aplausos, mientras otros expertos del sector respaldaron sus preocupaciones.
“La advertencia es sencilla”, comentó un usuario con el nombre de Jabbar Digital, descrito como probador de herramientas de IA y desarrollador de software. “La capacidad aumenta progresivamente. La coordinación no. Si las personas más cercanas al trabajo se sienten cada vez más inquietas por la velocidad y la falta de restricciones externas, tacharlas de pesimistas ya no es una respuesta válida. Tampoco lo es considerar cada avance tecnológico como algo automáticamente positivo. El camino intermedio útil consiste en tomar en serio el progreso técnico y la disidencia interna. Ambas cosas pueden ser ciertas al mismo tiempo”.
Evan Hubinger, líder del equipo de ciencia de alineación en Anthropic, comentó en su cuenta que “Jacob tiene razón: ¡creemos firmemente que la IA podría acabar con todos los humanos! Personalmente, creo que esto ocurrirá en más del 10% de los casos en la próxima década. Creo que en Anthropic estamos haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación para la súper-inteligencia y no estamos claramente encaminados a lograrlo”.
Al tiempo que reforzaba las preocupaciones de Coxon, Hubinger afirmó: “Para ser claros, como decimos en el último Informe de Riesgos [de Anthropic], creo que el riesgo de los modelos actuales es bajo. Lo que me preocupa es la súper-inteligencia derivada de la auto-mejora recursiva, que, como hemos dicho, está ocurriendo más rápido de lo que pensábamos”.
El candidato demócrata al Senado de los Estados Unidos por Michigan, Abdul El-Sayed, también se pronunció sobre la decisión de Coxon de renunciar de forma tan pública y contundente. “La mayoría de los expertos en tecnología renuncian a sus puestos porque la tecnología que desarrollan podría acabar con la humanidad”, afirmó El-Sayed. “Cómo cambiamos los incentivos que llevan a los laboratorios de IA por este camino y cómo nos protegemos de estos riesgos existenciales son cuestiones políticas cruciales de nuestro tiempo”.
* Publicado por Common Dreams.
--------------------------------
Para suscribirte con $ 8.000/mes al Cohete hace click aquí
Para suscribirte con $ 10.000/mes al Cohete hace click aquí
Para suscribirte con $ 15.000/mes al Cohete hace click aquí