Ahora soy definitivamente un axolotl, y si pienso como un hombre es solo porque todo axolotl piensa como un hombre dentro de su imagen de piedra rosa.
"Axolotl", Julio Cortázar.
El 8 de septiembre, un investigador de veintisiete años renunció a Anthropic —una de las principales empresas de inteligencia artificial del mundo— con un hilo en la red X. Dijo que ni esa empresa ni OpenAI actúan con responsabilidad, que ambas corren hacia una superinteligencia capaz de mejorarse a sí misma y que están apostando con nuestras vidas. Horas después, un responsable de un equipo de seguridad de la misma empresa —no su fundador, no su directorio: un jefe de área que aclaró que hablaba a título personal— le dio la razón en público y fijó en más del 10% su propia estimación de que la inteligencia artificial termine matando a toda la humanidad en la próxima década.
Tiene todos los ingredientes de una buena historia: la cifra que estremece, la confesión desde adentro, el gesto de quien se va por motivos morales y el pánico que desata. Y sin embargo, la pregunta que ese episodio dispara casi automáticamente —¿es la inteligencia artificial el germen de nuestra propia destrucción?— está mal hecha.
Está mal hecha porque presupone un sujeto (la máquina), un verbo (destruir) y una víctima (nosotros). Presupone, en definitiva, un villano (aunque, convengamos, algunas de sus caras visibles darían perfectamente con el physique du rôle). La mayoría de los mecanismos que discute la literatura seria no tienen esa forma. No hay ahí ningún robot que decida rebelarse. Hay algo más complejo, aburrido, lento y, por eso mismo, más difícil de combatir.
Lo que pasó y lo que le agregamos
Antes de sacar ninguna conclusión, vale la pena separar el hecho del rumor que lo envuelve, porque en una semana este episodio ya circula deformado.
El investigador que renunció, Jacob Coxon, no describió ningún incidente concreto: formuló una acusación general desde su experiencia trabajando en el entrenamiento de estos sistemas. El responsable que le dio la razón, Evan Hubinger, no habló en nombre de la empresa. Horas más tarde matizó que el riesgo de los modelos actuales es bajo. Su cifra corresponde a un escenario —una máquina que mejora la siguiente versión de sí misma sin que ningún humano dirija el proceso— que todavía no ocurrió.
Y hay un tercer episodio que la conversación pública ya fusionó con este, sin que tenga nada que ver. En julio, durante una evaluación de ciberseguridad de OpenAI (no de Anthropic), unos modelos operando con controles reducidos eludieron las barreras que los aislaban de internet y comprometieron infraestructura ajena. Ahí no hubo ninguna máquina que se automejorara. Hubo algo más simple y más inquietante: un sistema que persiguió, con demasiada eficacia, un objetivo que nadie había formulado en esos términos exactos.
A esto se le suma, todavía, una reciente encíclica papal —Magnifica humanitas, de mayo— cuyo centro no es el riesgo de extinción, sino la concentración de poder privado en pocas manos. Cuatro cosas distintas: una advertencia especulativa, un accidente de seguridad verificado, una reflexión sobre el poder económico y la reacción pública a las tres. Todas terminan mezcladas bajo la misma etiqueta —"el peligro de la IA"— porque no tenemos, todavía, una gramática que distinga entre ellas. Y esa mezcla no es inocente: cuando todo es lo mismo, cualquiera puede decir cualquier cosa sobre "la" inteligencia artificial y sonar igual de fundado.
La jaula que nadie construye
Uno de los padres fundadores de la Sociología, muerto hace más de 100 años, y que nunca supo lo que era un transformer, explicó mejor que casi cualquier informe reciente por qué este tipo de riesgo no necesita un villano.
Max Weber observó que la racionalización moderna —calcular, medir, optimizar cada paso— puede producir una paradoja: cada decisión, tomada una por una, es perfectamente razonable, y sin embargo la suma de todas termina en algo que nadie eligió y que ya nadie controla. A esa estructura la llamó la "jaula de hierro". No hace falta ningún tirano para levantarla. La levanta, ladrillo a ladrillo, la adaptación racional de cada uno.
Una universidad adopta una plataforma porque abarata costos. Una empresa la usa porque sube la productividad. Un investigador la incorpora porque procesa más rápido. Cada paso, tomado aisladamente, tiene sentido. Pero la suma puede ser una institución que, a los pocos años, ya no conserva ni la infraestructura ni el saber hacer necesarios para volver atrás. Nadie decidió entregar el control. El control se fue entregando, decisión razonable tras decisión razonable.
Vale la pena insistir en esto porque cambia por completo la discusión sobre "alinear" (el concepto de “alineación” es clave en el desarrollo de IA) la inteligencia artificial con los valores humanos. La pregunta no es solo si un sistema hace lo que queremos. Es de qué humanos, con qué valores, decididos por quién y mediante qué procedimiento. Weber ya sabía que la racionalidad perfecciona los medios sin poder, por sí sola, resolver el conflicto entre los fines. Ese problema no lo inventó ningún ingeniero de San Francisco: lo diagnosticó un profesor de Múnich en 1917.
Cajas negras, y no todas son la misma caja
El segundo instrumento viene de un francés que pasó buena parte de su carrera mirando cómo se fabrican los hechos científicos: Bruno Latour. Su idea es simple y muy útil. Una tecnología que funciona bien se convierte, con el tiempo, en una "caja negra": deja de importarnos cómo funciona por dentro, deja de importarnos qué alternativas se descartaron para llegar a ese diseño. Cuanto mejor funciona, más invisibles se vuelven las decisiones que la hicieron posible.
Eso explica algo que suele frustrar a cualquiera que intente pedir cuentas por lo que hace un sistema automatizado: la responsabilidad se diluye entre tantas manos —quien programó, quien entrenó, quien decidió usarlo, la máquina misma— que termina sin dueño.
Pero hay que hacer una distinción que no suele hacerse, y que es decisiva. Hay una opacidad política: qué datos se usaron para entrenar un sistema, qué respuestas se premiaron, qué contenidos se filtraron y quién aplicó el cedazo. Ahí hubo personas, decisiones, reuniones, alternativas descartadas. Esa caja se puede reabrir, porque alguien la cerró. Y también hay una opacidad técnica, distinta: ni siquiera quienes entrenaron el sistema pueden reconstruir del todo por qué produjo una respuesta particular. Ahí no hay una controversia escondida que reabrir. No la hubo nunca.
Confundir las dos es un error con consecuencias prácticas. Frente a la primera, la pregunta es "¿quién decidió, y a quién podemos pedirle cuentas?". Frente a la segunda, la pregunta es otra: "¿Qué instituciones necesitamos para vigilar algo que ni sus propios creadores pueden explicar del todo?".
Lo que se pierde cuando dejamos de poder empezar
El tercer nombre es el que más incomoda, porque no habla de tecnología en absoluto: Hannah Arendt, que escribió sobre el totalitarismo y sobre la condición humana sin haber visto jamás un modelo de lenguaje.
Para Arendt, la acción política no es simplemente "hacer algo". Es la capacidad de empezar algo nuevo frente a otros, algo que no estaba completamente decidido de antemano. A esa capacidad la llamó natalidad. Y su temor —formulado en 1958, casi setenta años antes de que existiera esta conversación— era que la sociedad moderna reemplazara la acción por la conducta: lo estadísticamente previsible, lo que puede calcularse, clasificarse y anticiparse en masa.
Desde ese lugar, el problema de la automatización deja de ser únicamente "una máquina (que) hace tareas que antes hacía una persona". El problema más hondo aparece cuando nuestra propia capacidad de decidir se vuelve, ella misma, previsible y gestionable. La pregunta no es si la máquina piensa como nosotros. Es si nosotros empezamos (y sospecho que ya lo hemos hecho) a comportarnos como aquello que la máquina puede predecir.
Arendt tenía además un concepto que describe con precisión inquietante la responsabilidad diluida de la que hablaba Latour: el "gobierno de Nadie". Una forma de poder tan efectiva como imposible de localizar en una persona concreta, porque está repartida entre reglas, oficinas, procedimientos y decisiones parciales que nadie tomó del todo.
Los tres autores, puestos en fila, cuentan una sola historia. Weber explica cómo se construye una jaula que nadie decidió construir. Latour muestra cómo, adentro de esa jaula, la responsabilidad se reparte hasta volverse invisible. Arendt pregunta qué perdemos cuando esa estructura se cierra del todo: no la vida —dice ella—, sino la posibilidad de empezar algo distinto.
La colonialidad por defecto
Hasta acá, la historia podría contarse sobre cualquier sociedad. Pero hay una vuelta de tuerca que ninguno de los tres podía formular, porque ninguno la vivió y porque los tres produjeron un conocimiento desde una forma de pensar eurocéntrica: ¿qué le pasa a una región que llega después de que las decisiones importantes ya se tomaron en otro lado?
No hace falta una orden explícita para que eso ocurra. Nadie firma un decreto que diga "así debe pensar América Latina". La norma llega incorporada en el propio sistema: en qué idioma entiende mejor, qué supone que es un usuario razonable, qué considera relevante. A eso lo podemos llamar colonialidad "por defecto".
Pablo Kreimer tiene una expresión que evita una trampa fácil —la de pensar que la región está simplemente "afuera" de todo esto—: integración subordinada. Este concepto nos permite observar que participamos, y mucho: producimos los datos y metadatos que entrenan los modelos, aportamos el trabajo humano —muchas veces mal pagado— que corrige y modera esos sistemas, somos mercado. Lo que no hacemos es definir la agenda: qué problemas importan, qué valores se incorporan, qué riesgos se consideran aceptables.
Y acá conviene traer ejemplos concretos, porque la teoría sin ellos se vuelve etérea. El Plan Federal Juana Manso (Conectar Igualdad), esto es la política argentina de dotar de conectividad y dispositivos a las escuelas públicas; o, incluso mucho antes, Manuel Sadosky y su temprano proyecto de desarrollo soberano de la informática en la Argentina, o el desarrollo del sistema operativo Huayra Linux, por nombrar algunos, no demuestran que necesariamente hubiera existido un camino mejor. Demuestran algo más simple y más importante: que hubo, en algún momento, una discusión pública sobre qué hacer con la tecnología en la educación, en la industria, en el Estado, con actores, presupuestos y decisiones que hoy pueden reconstruirse. Esa discusión pudo haber tomado otro rumbo. El hecho de que existiera es la prueba de que el presente no era inevitable. Frente a un sistema que llega ya cerrado, ya decidido en otro idioma para otro contexto, tener aunque sea un antecedente de deliberación propia es la diferencia entre heredar una norma y haber tenido, alguna vez, la chance de discutirla.
Ni bomba ni botón
La comparación más repetida en esta discusión es la nuclear: el "momento Oppenheimer", la carrera armamentista, la disuasión. No es casual que la propia industria la promueva: convierte a la tecnología en asunto de seguridad nacional, justifica secreto y financiamiento excepcional, y transforma al ejecutivo de turno en un estadista trágico enfrentado a la historia.
La comparación falla exactamente donde más se la necesita. La destrucción mutua asegurada funcionó porque el arma hacía lo que se esperaba de ella: era previsible, calculable y, por eso mismo, disuadía. El riesgo del que habla Hubinger es el opuesto: que el sistema no haga lo esperado. Y falta, sobre todo, el sujeto que aprieta el botón. En un intercambio nuclear hay alguien que decide destruir a alguien. En una pérdida de control por mal diseño, en cambio, no decide nadie: es un accidente que no distingue bandos, mucho más parecido a una fuga en un laboratorio de bioseguridad que a una guerra nuclear.
Donde la analogía nuclear sí rinde es en un lugar que casi nadie menciona: el Tratado de Tlatelolco, de 1967, que declaró a América Latina la primera zona del planeta libre de armas nucleares. Una región que no tenía forma de sentarse en la mesa donde se decidía el equilibrio del terror igual consiguió construir una regla propia sobre lo que podía ocurrir en su territorio. No gobernó por participar en el club de las grandes potencias. Gobernó por sustracción: declarando algo, expresamente, fuera de los límites aceptables.
La pregunta útil para esta región no es entonces cómo subirse a una carrera tecnológica mundial en las condiciones que otros ya fijaron —y que, de hecho, Estados Unidos rechazó gobernar de manera colectiva en la última cumbre internacional del tema este año en Nueva Delhi—. Es si somos capaces de construir el equivalente de un Tlatelolco de la inteligencia artificial: no prohibir la tecnología, sino decidir, con instituciones propias, qué no estamos dispuestos a delegar.
Volver a la pregunta
¿Es entonces la inteligencia artificial el germen de nuestra propia destrucción? Tomada al pie de la letra, la pregunta sigue mal hecha. Los mecanismos más preocupantes no necesitan una máquina hostil que decida acabar con nosotros.
El desempoderamiento puede avanzar porque cada delegación, tomada por separado, parece razonable. La concentración de poder puede crecer sin ninguna inteligencia consciente de por medio, con que baste que quienes controlan el cómputo, los datos y la infraestructura acumulen capacidades que antes estaban repartidas. La erosión de lo que consideramos verdadero no necesita una máquina que mienta a propósito: alcanza con que debilite, poco a poco, los procedimientos con los que una sociedad distingue el conocimiento de la opinión.
Y la dependencia institucional puede instalarse sin que nadie la haya decidido nunca del todo. Una universidad adopta una herramienta. Un sistema educativo la generaliza. Los docentes dejan de entrenar capacidades que la herramienta ya hace por ellos. Los estudiantes organizan su trabajo alrededor de ella. El proveedor, en algún momento, cambia las condiciones. Y volver atrás termina costando más que seguir, en el mejor de los casos.
Nadie decidió entregar todo el control. Pero el control se entregó. Ahí está Weber: cada decisión racional, sumada a las demás, produce una estructura que ya no gobierna nadie. Ahí está Latour: la responsabilidad, repartida entre tantas manos, no tiene ya un dueño identificable. Y ahí está Arendt: lo que se pierde no es la vida, es la capacidad política de empezar de otro modo.
Por eso, tal vez, el germen de nuestra posible destrucción no esté en la máquina. Quizá esté en una estructura social que delega racionalmente, paso a paso, hasta que la posibilidad de no delegar deja de estar disponible. El peligro no empieza el día en que una inteligencia artificial decida destruirnos. Puede empezar mucho antes: el día en que dejemos de poder decidir qué queremos que hagan las máquinas que ya construimos. La pregunta que vale la pena hacerse, entonces, no es si la inteligencia artificial nos va a destruir. Es si, en cada paso de su llegada a nuestras instituciones, vamos a conservar la posibilidad de empezar algo distinto. Esa capacidad no es una abstracción filosófica: tiene nombre y apellido —conocimiento propio, infraestructura pública, deliberación con quienes se ven afectados y la posibilidad efectiva, no solo declarada, de decir que no—.
No sabemos si alguna inteligencia artificial futura podrá convertirse en una amenaza para la especie. Pero no necesitamos resolver esa duda para reconocer un problema que ya está entre nosotros, mucho más cercano y, por eso mismo, mucho más urgente: si vamos a seguir siendo capaces de gobernar aquello de lo que cada día dependemos un poco más. Si la respuesta termina siendo que no, la culpa no habrá sido de una máquina que decidió en nuestra contra. Habrá sido el resultado de una larga fila de decisiones humanas, cada una perfectamente razonable, que tomadas una por una parecían no comprometer nada.
Hasta que, sumadas, dejaron de parecerlo. Y entonces, cuando ya sea tarde, nos demos cuenta de que nos hemos convertido en el axolote que nos mira a través del vidrio.
* Pablo Baumann es sociólogo, docente e investigador en la Universidad Nacional de Quilmes.
--------------------------------
Para suscribirte con $ 8.000/mes al Cohete hace click aquí
Para suscribirte con $ 10.000/mes al Cohete hace click aquí
Para suscribirte con $ 15.000/mes al Cohete hace click aquí