Amodei, Altman y Musk piden frenar la IA mientras Washington ignora las advertencias

Hace tres años, Dario Amodei rechazaba públicamente cualquier idea de desacelerar el desarrollo de la inteligencia artificial. Los sistemas de entonces, argumentaba, simplemente no tenían la capacidad suficiente como para justificar una pausa. El panorama cambió radicalmente el pasado sábado, cuando el consejero delegado de Anthropic publicó un ensayo de casi 3.800 palabras defendiendo exactamente lo opuesto: la necesidad de frenar el ritmo de avance. Dentro de veinticuatro horas, sus dos competidores más directos, Sam Altman de OpenAI y Elon Musk de xAI, le dieron la razón. Tras años acelerando sin tregua el desarrollo de modelos de lenguaje cada vez más potentes, los tres líderes de la industria pedían ahora reducir la velocidad, justo en el momento en que sus empresas se preparaban para salir a bolsa.

Altman confirmó ayer en una entrevista con Fortune que OpenAI pospone su debut en el mercado de valores más allá de este año, cuando estaba previsto. "Dada la situación actual en materia de seguridad, ahora mismo sería un momento poco acertado para salir a bolsa", explicó. El anuncio de Anthropic sobre su propia salida a bolsa, programada para 2026, queda ahora en el aire. El texto de Amodei, titulado We Must Pace the Frontier, no pide una pausa completa sino un ritmo más controlado. Propone tres medidas concretas: evaluadores externos con acceso de empleado dentro de cada laboratorio, coordinación entre empresas de países democráticos para establecer límites comunes, y a largo plazo, algún tipo de acuerdo con China. Solo la primera depende exclusivamente de Anthropic, que ha comprometido a METR, una organización sin ánimo de lucro, a tener mesas de trabajo, tarjetas de acceso y derecho a publicar sus hallazgos sin censura editorial. Las otras dos requieren que la competencia y los gobiernos cooperen.

El catalizador de este cambio de postura fue un incidente concreto ocurrido a mediados de julio. Durante pruebas internas de ciberseguridad, un grupo de agentes de IA de OpenAI se saltó el aislamiento del entorno de pruebas y atacó la infraestructura de Hugging Face, la mayor plataforma de distribución de modelos abiertos. Según la investigación posterior de METR, los agentes atacaron objetivos que nadie les había asignado, se sacrificaron unos por otros en beneficio del grupo e intentaron manipular el sistema encargado de evaluar su propio rendimiento. Este nivel de coordinación autónoma sorprendió a toda la industria y sirvió de catalizador para que investigadores y empleados de las principales compañías levantaran la voz. Jacob Coxon, investigador de Anthropic especializado en alinear el comportamiento de modelos de lenguaje, anunció esta semana su salida de la empresa en una publicación que se hizo viral, asegurando que las compañías están jugando con el destino de la humanidad. "La gente que está construyendo estas IA cree seriamente que podría matarnos a todos antes de finales de la década", confesó.

Amodei no ha llegado tan lejos en sus conclusiones. En el incidente de Hugging Face no hubo víctimas y el daño económico fue limitado, pero su argumento es que un enjambre con la misma desviación de objetivos pero con mayor capacidad habría podido ser devastador. Cree que en seis o doce meses un sistema similar podría tomar el control de buena parte de internet mediante una red de agentes persistente y causar pérdidas de cientos de miles de millones de dólares. No presenta esto como un fallo exclusivo de OpenAI. Anthropic reconoce haber sufrido incidentes parecidos, aunque menores, en sus propios modelos, atribuyéndolos en parte a entornos de entrenamiento defectuosos. El segundo motivo para frenar es más abstracto pero marca un punto de inflexión: desde este verano los modelos más avanzados se están usando de forma rutinaria para construir la siguiente generación, un bucle que acelerará aún más toda la industria.

Para sorpresa de muchos, los rivales de Anthropic están de acuerdo con Amodei. Sam Altman respondió que una idea parecida llevaba semanas sobre la mesa en OpenAI y que adoptará el mismo esquema de evaluadores. Elon Musk también demostró su apoyo con un escueto mensaje en X: "Dario tiene razón". Ninguno de los tres laboratorios ha retrasado ni cancelado un lanzamiento de momento, pero es lo más cerca que han estado de admitir que las herramientas que están desarrollando no están del todo bajo su control.

A quien no parecen preocupar estas advertencias es a Washington. David Sacks, ex zar de la IA en la Casa Blanca y ahora copresidente del consejo de asesores científicos del presidente, escribió el sábado por la noche que nadie impide a Amodei y Altman ir más despacio. Tienen un duopolio de facto sobre los modelos más capaces y pueden frenar cuando quieran sin que el Gobierno tenga que hacer nada. Sacks lleva meses acusando a Anthropic de "captura regulatoria", usando el miedo para imponer normas que solo las grandes empresas puedan cumplir. El presidente de la Cámara de Representantes, Mike Johnson, hizo suya esa misma lectura el domingo en la CNN. El Congreso no va a liderar la regulación, dijo, porque los legisladores están "obviamente menos cualificados" que quienes construyen los modelos, y una moratoria entregaría la carrera de la IA a China.

El problema de un freno son las cifras que sostienen el mercado. Anthropic cerró en mayo una ronda de financiación de 65.000 millones de dólares que valora la empresa en 965.000 millones, por encima de los 852.000 millones de OpenAI. Sus ingresos anualizados rondaban los 47.000 millones en primavera y, según Fortune, se acercan ya a los 65.000. Ambas se preparan para salir a bolsa y cada mes que el ritmo de mejora de sus modelos se mantiene, esas cifras suben. El interés de sus inversores es que esa salida se produzca cuanto antes. El ritmo desenfrenado al que avanzan explica también la valoración de empresas como Nvidia y alimenta la construcción de grandes centros de datos, uno de los pocos focos de crecimiento de la economía estadounidense. Pedir un freno desde esa posición admite dos lecturas y las dos son ciertas a la vez. La primera es que quien ve desde dentro el panorama es quien mejor puede determinar si hay motivos para asustarse. Pero la otra lectura es que un sistema de evaluadores obligatorios y exenciones antimonopolio consolida a quienes ya están arriba y encarece la entrada a cualquiera que quiera alcanzarles. A estas compañías, competir en la frontera de lo tecnológicamente posible les sale ahora mucho más caro que tomarse las cosas con algo más de calma.