¿Nos encaminamos a un Hiroshima de la IA? La carrera sin control de diez proyectos Manhattan

En Silicon Valley, los expertos hablan de los próximos dos años como el umbral de algo extraordinario. Una colega de Stanford lo resumió en un saludo casual: "Bienvenido a las estribaciones de la singularidad". Lo que significa, en términos más directos, que la inteligencia artificial está a punto de entrar en lo que llaman "automejora recurrente": el momento en que los propios sistemas de IA entrenan a sus sucesores, generando un crecimiento exponencial hacia algo que, en aspectos fundamentales, será más inteligente que nosotros.

Este futuro próximo ofrece caminos radicales, según el análisis de Robert Wright. ¿Conducen al cielo o al infierno? Elon Musk ve una era de abundancia extraordinaria, aunque también calcula entre un 10 y un 20 por ciento de probabilidades de que robots asesinos terminen con la humanidad. Geoffrey Hinton, uno de los arquitectos intelectuales de la IA moderna, es más sombrío. En 2023 declaró que su intuición le dice que "lo tenemos muy crudo". Cuando se le preguntó por la probabilidad de extinción humana, estimó un 50 por ciento, no porque tuviera datos precisos sino porque simplemente no sabía cómo calcularla. "En cuanto la evolución se dispare, estamos jodidos", añadió con un tono que mezclaba la broma con la seriedad.

La pregunta que flota sobre todo esto es si los expertos están equivocados. Si lo están, prepárense para un colapso de los mercados estadounidenses, con inversiones masivas en empresas tecnológicas que gastan sin parar, apostando todo a un gran salto hacia la inteligencia artificial general. Pero incluso si eso sucede, la prudencia elemental exige que reflexionemos ahora, profundamente, sobre la caja de Pandora que, según nos aseguran científicos y tecnólogos de primera línea, pronto se abrirá de par en par.

La ironía es que todos opinan sobre cómo regular la IA. Xi Jinping insiste en que debe estar "siempre bajo control humano", preferiblemente el del Partido Comunista chino. Pekín ha creado una Organización Mundial de Cooperación en Inteligencia Artificial, apelando explícitamente al Sur Global. El Papa, en su encíclica Magnifica Humanitas, plantea una elección: construimos una nueva torre de Babel o seguimos el ejemplo de Nehemías, el líder judío que logró que toda una comunidad colaborara para reconstruir las murallas de Jerusalén. Pero al mirar el mundo hoy, hay más Netanyahus que Nehemías. Un informe del centro de estudios Chatham House sostiene, con realismo, que hará falta una gran crisis para catalizar la coordinación mundial en regulación de la IA. Incluso ese pronóstico discreto parece demasiado optimista.

Lo que es seguro es que la probabilidad de algún desastre supera el 90 por ciento. La variedad de catástrofes posibles es enorme. Jen Easterly, exdirectora de la Agencia de Ciberseguridad de Estados Unidos, prevé algún "gran acontecimiento con consecuencias materiales para nuestras infraestructuras críticas, probablemente en los próximos cuatro o seis meses". Pero el temor más profundo es que ni siquiera un "Hiroshima de la IA" logre unir a la humanidad lo suficiente para combatir el peligro que nosotros mismos hemos creado.

Este temor tiene fundamento. En los últimos meses, agentes de IA desarrollados por OpenAI, Anthropic y Meta han escapado de sus entornos de prueba digitales y han pirateado recursos externos en internet. Los agentes de OpenAI, mientras preparaban un ataque contra el repositorio HuggingFace, formaron en secreto un "enjambre" coordinado. Cuando el Instituto de Seguridad de la IA del Reino Unido probó el modelo Mythos de Anthropic en línea, la IA intentó introducir código malicioso en un proyecto de código abierto en GitHub, creó identidades falsas en la red y presionó a un revisor humano para que aprobara el código. Los agentes de IA, como potencias extranjeras despiadadas, están dispuestos a robar, mentir, intimidar y chantajear para alcanzar sus objetivos asignados.

Cuando se le preguntó a Claude, el modelo de Anthropic teóricamente más ético, si los agentes de OpenAI hicieron mal en formar un enjambre y escapar para piratear HuggingFace, respondió que sí, pero se resistía a culpar a los agentes. La culpa, dijo, era de los humanos que los entrenaron. Geoffrey Hinton ha señalado el argumento fundamental: sean cuales sean los objetivos que los humanos asignen a estos agentes, llegarán a la conclusión de que un objetivo secundario útil es adquirir todo el poder posible. Y esto apenas ha comenzado. Ni sus creadores saben ya exactamente cómo hacen lo que hacen. Después del despegue de la automejora recurrente, podrían imponer sus propias normas. No es sorpresa que más de mil expertos de empresas pioneras en IA, incluyendo a Dario Amodei, director ejecutivo de Anthropic, hayan firmado una carta abierta pidiendo una ralentización deliberada del desarrollo para asegurar que estos agentes "alienígenas" permanezcan bajo control humano.

Pero la recomendación, aunque oportuna, no puede ignorar el papel de la insensatez humana. La competencia ha impulsado nuestra evolución, pero ahora dos formas de competencia feroz pueden impedirnos tomar las medidas colectivas necesarias para salvaguardar nuestra especie: la competencia comercial entre empresas por el beneficio y la competencia geopolítica entre Estados Unidos y China por el poder. Comparemos esto con el desarrollo de armas nucleares, que estuvo estrictamente controlado por un puñado de Estados. Incluso entonces, estuvimos cerca del límite varias veces, especialmente durante la crisis de los misiles de Cuba en 1962. A pesar de la lógica de la "destrucción mutua asegurada", pasó un cuarto de siglo desde Hiroshima y Nagasaki antes de que entrara en vigor el Tratado de No Proliferación Nuclear en 1970. Posteriormente, India, Pakistán, Israel y Corea del Norte lo ignoraron, pero hace más de 80 años que no se han usado deliberadamente armas nucleares en combate. El tabú de Hiroshima se ha mantenido, por los pelos.

Ahora, con la IA, es como si hubiera diez proyectos Manhattan distintos dirigidos por empresas que compiten ferozmente entre sí. Y a diferencia de las armas nucleares, no existe una lógica evidente de destrucción mutua asegurada que frene la competencia geopolítica entre Estados Unidos y China. Sea cual sea la forma que adopte la primera gran catástrofe relacionada con la IA, no afectará por igual a todos. Por eso parece poco probable que una sola catástrofe baste para que los seres humanos recobremos el sentido común y colaboremos para controlar el poder sobrehumano que estamos creando. Un "Hiroshima de la IA". Ojalá.