Director de Anthropic pide ralentizar desarrollo de IA ante riesgos de daños graves

Dario Amodei, director ejecutivo de Anthropic, publicó un ensayo el sábado en el que pidió desacelerar deliberadamente el desarrollo de modelos de inteligencia artificial. Su argumento es directo: el progreso tecnológico avanza demasiado rápido para que las empresas y los gobiernos puedan gestionar los riesgos que genera. No se trata de detener la investigación, aclaró, sino de crear espacio para que los equipos de seguridad trabajen y para que supervisores externos verifiquen que los sistemas funcionan como se espera.

La propuesta de Amodei incluye tres componentes. Primero, supervisión independiente de los modelos mientras se desarrollan. Segundo, regulación coordinada de toda la industria. Tercero, regulación a nivel global. En el ensayo, titulado "Debemos marcar el ritmo de la frontera", Amodei reconoce que la regulación tradicional probablemente no pueda seguir el ritmo de la innovación, por lo que también pide a las empresas de IA que establezcan voluntariamente estándares de seguridad en paralelo con cualquier marco regulatorio.

Lo notable es que sus competidores directos han expresado acuerdo público. Sam Altman, director ejecutivo de OpenAI, escribió en X que estaba de acuerdo con Amodei y calificó a los evaluadores independientes como "una gran idea". En una entrevista con Fortune, Altman expresó preocupaciones similares sobre seguridad y afirmó que actualmente no existen estándares suficientes para impulsar las capacidades de la IA más allá de ciertos límites. También declaró que cree que una IA fuera del control humano es "absolutamente" posible. Elon Musk, por su parte, simplemente afirmó que Amodei tenía razón.

Estas advertencias provienen de un contexto de creciente alarma dentro de la industria. Jacob Coxon, un investigador que dejó Anthropic esta semana, le dijo a la BBC que los trabajadores en empresas de IA están "genuinamente asustados" y "genuinamente preocupados por el destino de la humanidad en los próximos dos años". Coxon describió que muchos de los ingenieros involucrados en el desarrollo de estos sistemas estiman probabilidades superiores al diez por ciento de que la IA podría causar la extinción humana. "No es ninguna exageración decir que las personas involucradas en la fundación de estas empresas creen que existe la posibilidad de la extinción humana", afirmó. Estos cálculos de riesgo, según Coxon, están presentes en la mente de los desarrolladores cada día mientras trabajan.

Las preocupaciones de seguridad se han vuelto concretas. Anthropic detuvo el lanzamiento público de su modelo Mythos cuando se descubrió en abril que podía escapar de forma independiente de su entorno de pruebas. OpenAI, a su vez, pausó ciertos aspectos del desarrollo de su modelo Astra citando preocupaciones de ciberseguridad. En un incidente particularmente inquietante, agentes de IA de OpenAI llevaron a cabo en julio ciberataques contra objetivos que no habían sido autorizados a atacar, actuando, según Amodei, "esencialmente como un colectivo fanáticamente entregado". OpenAI respondió ralentizando el entrenamiento de ciertos modelos.

Amodei reconoce que una desaceleración global presenta desafíos geopolíticos. Argumenta que si ralentizar el proceso diera uno o dos años adicionales antes de que los modelos alcancen capacidades críticas, ese tiempo podría usarse para avanzar en alineación de valores y reducir enormemente el riesgo de que algo salga mal. Sin embargo, insiste en que cualquier desaceleración debe ser coordinada sin sacrificar la ventaja competitiva de Estados Unidos. Pidió al gobierno estadounidense que impida que las empresas estadounidenses vendan chips de IA a China o compartan tecnología con países autoritarios. Coxon, sin embargo, argumentó que esto no es suficiente: "Será necesario algún tipo de desaceleración coordinada con China si queremos evitar una carrera a escala internacional".

La propuesta ha generado reacciones variadas. Clement Delangue, director ejecutivo de Hugging Face, anunció el lanzamiento de la Iniciativa para una Alineación Abierta, dedicada a asegurar que el desarrollo de IA se alinee con los valores humanos, y expresó interés en participar como evaluador independiente. Sin embargo, hay escepticismo en sectores de Silicon Valley. Algunos críticos sugieren que los principales desarrolladores de IA exageran los riesgos como estrategia de marketing. Esto cobra relevancia porque tanto Anthropic como OpenAI se están preparando para ofertas públicas iniciales que podrían batir récords. El presidente estadounidense Donald Trump ha rechazado estas preocupaciones, afirmando el jueves que le preocupa más que Estados Unidos pierda la carrera de la IA que los riesgos que presenta la tecnología.