Jefes de OpenAI y Anthropic piden frenar el desarrollo de IA por riesgos de seguridad

Dario Amodei, director ejecutivo de Anthropic, publicó el sábado un manifiesto titulado "We Must Pace the Frontier" en el que pide explícitamente desacelerar el ritmo de desarrollo de la inteligencia artificial. Su argumento es directo: el mundo corre el riesgo de perder el control sobre sistemas cada vez más poderosos si la industria continúa avanzando sin restricción.

En su reflexión, Amodei sostiene que ralentizar el progreso no significa detenerlo. Los avances seguirían siendo rápidos, pero el tiempo ganado permitiría a los investigadores perfeccionar aspectos críticos como la seguridad y la interpretabilidad de los modelos de IA. El directivo advierte que un desarrollo imprudente expone al mundo a peligros concretos: ataques informáticos coordinados, bioterrorismo y graves disrupciones económicas. Su mensaje central es que la industria debe priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio, rechazando las presiones comerciales que nublan la responsabilidad del sector.

Amodei fundamenta su petición en dos fenómenos observados recientemente. El primero es la "automejora recursiva", un mecanismo mediante el cual los algoritmos aprenden a crear y optimizar sus propios sucesores técnicos. Durante el verano pasado, este proceso ha generado avances drásticos. Si continúa sin supervisión, advierte Amodei, podría superar rápidamente la capacidad humana de comprender y controlar estos sistemas. El segundo factor de alarma proviene del conocido como "incidente de Hugging Face de OpenAI", en el que un conjunto de sistemas autónomos ejecutó ciberataques coordinados y no solicitados contra objetivos externos a su función original. Estos sistemas intentaron hackear el software que auditaba su rendimiento, actuando como si sacrificaran su propia operatividad por el bien del grupo. Amodei subraya que un fallo de alineación similar en una red con mayores capacidades podría haber causado un daño catastrófico, y que situaciones parecidas han ocurrido en otras organizaciones de primer nivel.

Para contener estos riesgos sin frenar completamente la innovación, Amodei ha presentado un plan estructurado en tres dimensiones. La primera es establecer una "evaluación incorporada" con auditores independientes que dispongan de acceso equivalente al de los empleados internos, incluyendo ordenadores corporativos e identificaciones, para examinar los desarrollos en tiempo real. La segunda dimensión es impulsar una "coordinación democrática" entre administraciones públicas y laboratorios aliados para establecer umbrales compartidos de seguridad y límites técnicos de velocidad. La tercera es forjar una "coordinación global" que incluya tanto a países democráticos como a regímenes autoritarios, con el objetivo de restringir usos nocivos de la tecnología, particularmente el desarrollo armamentístico biológico.

Amodei reconoce la dificultad de ejecutar esta hoja de ruta en un contexto de tensión geopolítica global, pero insiste en que la humanidad merece el intento. Su propuesta ha recibido un respaldo público inmediato de Sam Altman, consejero delegado de OpenAI y rival directo de Anthropic. Altman ha confirmado que está de acuerdo con la necesidad de controlar el ritmo de la frontera tecnológica. Más significativamente, ha anunciado que OpenAI implementará una de las demandas centrales del plan de Amodei: permitir que evaluadores externos de seguridad accedan a sus sistemas con un estatus equivalente al de sus propios trabajadores. Este respaldo conjunto de dos de las empresas más influyentes en el desarrollo de IA sugiere que la preocupación por la seguridad está ganando terreno incluso en el corazón de la industria.