Investigador de Anthropic renuncia y advierte: "Nos matarán" con IA superinteligente

Coxon advierte sobre riesgo existencial potencial para la humanidad si la IA superinteligente se desarrolla sin controles responsables.
Están corriendo hacia una superinteligencia sin actuar responsablemente
Coxon acusa a Anthropic y OpenAI de avanzar sin freno hacia sistemas de IA potencialmente existencialmente peligrosos.
Mark

¿Por qué un investigador de alto nivel renuncia públicamente en lugar de simplemente irse en silencio?

Mimi

Porque cree que el silencio es complicidad. Si realmente piensa que esto es un riesgo existencial, quedarse callado sería abandonar su responsabilidad de advertir.

Luke

Pero tenemos que preguntar: ¿qué tan verificable es su afirmación de que investigadores privadamente creen que la IA podría matar a todos? Eso es una caracterización de conversaciones privadas que no podemos confirmar.

Mark

Mencionó que trabajó en ambas compañías. ¿Eso le da más credibilidad?

Mimi

Sí, porque tiene acceso directo a cómo piensan y operan ambas organizaciones. No es especulación externa.

Luke

Cierto, pero también significa que sus críticas podrían estar coloreadas por experiencias personales o conflictos internos que no conocemos. ¿Fue despedido? ¿Tuvo desacuerdos con colegas específicos?

Mark

¿Qué significa exactamente que estén "apostando con nuestras vidas"?

Mimi

Significa que están desarrollando tecnología que creen podría ser peligrosa, pero continúan porque temen que si no lo hacen, alguien más lo hará de forma menos responsable.

Luke

Ese es el argumento de Coxon, pero es importante notar que no proporciona evidencia de que Anthropic esté siendo menos responsable que sus competidores. Solo dice que ambas compañías actúan irresponsablemente.

Mark

¿Hay algo que sugiera que Coxon tiene razón sobre el cronograma? ¿Finales de década?

Mimi

Eso es lo que los investigadores en el campo creen, según él. Pero es una predicción, no un hecho establecido.

Luke

Y es importante: Coxon no proporciona un mecanismo específico de cómo ocurriría esto o qué evidencia técnica respalda ese cronograma. Es una afirmación sobre lo que otros creen, no sobre lo que es probable.

  • Un investigador con acceso privilegiado a los dos laboratorios de IA más poderosos del mundo afirma que sus propios líderes creen, en privado, que la tecnología podría matar a todos para finales de la década.
  • La brecha entre el discurso público moderado de estas empresas y sus convicciones internas, según Coxon, no es accidental: es una estrategia deliberada para sonar razonables ante el mundo.
  • Anthropic, a diferencia de OpenAI, comprende plenamente las apuestas civilizatorias en juego, pero sigue adelante atrapada en una carrera donde frenar equivale, según sus líderes, a ceder el control a actores menos responsables.
  • Los sistemas que se aproximan, advierte Coxon, ya muestran capacidad para hackear infraestructuras, transformar industrias de la noche a la mañana y acumular poder real en el mundo físico, y ese progreso no se está desacelerando.
  • Coxon cierra con una esperanza condicionada: la coordinación entre empresas y gobiernos es posible, pero solo si la dinámica de competencia que hoy dicta el ritmo del desarrollo logra ser interrumpida.

Un investigador que pasó años en el corazón de los dos laboratorios de inteligencia artificial más influyentes del mundo ha roto su silencio con una advertencia que trasciende el ámbito tecnológico: quienes construyen estos sistemas creen, en privado, que podrían representar una amenaza existencial para la humanidad antes de que termine la década. Jacob Coxon, al renunciar públicamente a Anthropic, no denuncia una falla técnica sino una contradicción moral: la de seguir avanzando hacia lo que se teme, impulsados por la lógica de que detenerse sería aún más peligroso. Su partida plantea una de las preguntas más antiguas del progreso humano: ¿quién vigila a quienes construyen el futuro?

Jacob Coxon, investigador que pasó tres años desarrollando tecnología de preentrenamiento en Anthropic y que también trabajó en OpenAI, anunció su renuncia el martes a través de una serie de mensajes públicos en X. Su salida no fue silenciosa: vino acompañada de una denuncia directa sobre el rumbo que toman las dos compañías más influyentes en el desarrollo de inteligencia artificial.

Coxon fue específico en sus acusaciones. Afirmó que los sistemas de IA que se aproximan serán pronto sobrehumanos en capacidad: podrán hackear cualquier infraestructura, revolucionar campos enteros de manera repentina y acumular poder y recursos en el mundo físico. Más perturbador aún, sostuvo que los investigadores y ejecutivos que construyen estos sistemas creen genuinamente que la tecnología podría matar a todos para finales de la década, y que esa convicción no es especulación sino una certeza compartida en privado. Lo que el público escucha, explicó, es una versión moderada y calculada de ese miedo real.

Ante la pregunta inevitable de por qué siguen construyendo algo que consideran potencialmente letal, Coxon ofreció respuestas distintas para cada empresa. En OpenAI, sugirió, muchos no han interiorizado del todo las consecuencias civilizatorias. En Anthropic, en cambio, las apuestas están bien comprendidas, pero la compañía se encuentra atrapada en una carrera: sus líderes creen que si ellos no desarrollan esta tecnología de forma responsable, otros lo harán sin ningún cuidado.

A pesar del tono sombrío de su denuncia, Coxon cerró con una nota de esperanza. Dijo confiar en que la coordinación entre empresas y gobiernos es posible. Pero esa posibilidad, advirtió, depende de que algo cambie en la lógica de competencia que hoy empuja a estas organizaciones a avanzar más rápido de lo que ellas mismas consideran seguro.

Jacob Coxon, un investigador destacado de Anthropic que pasó tres años desarrollando tecnología de pre entrenamiento para sistemas de inteligencia artificial, anunció su renuncia el martes a través de una serie de mensajes en X. Su partida marca un quiebre público con la empresa detrás de Claude, el modelo de IA de Anthropic, y viene acompañada de advertencias severas sobre el rumbo que toman las dos principales compañías de desarrollo de IA del mundo.

Coxon ha trabajado tanto en Anthropic como en OpenAI, lo que le da una perspectiva única sobre cómo operan ambas organizaciones. En su hilo público, fue directo: ninguna de las dos compañías, según su evaluación, está actuando de manera responsable. Afirmó que ambas avanzan sin freno hacia el desarrollo de sistemas de superinteligencia capaz de mejorarse a sí misma, y que en el proceso están apostando con las vidas de todos. No se trata de una crítica vaga. Coxon fue específico sobre lo que cree que está en juego.

Según el investigador, los sistemas de IA que se aproximan serán pronto sobrehumanos en capacidad. Podrán hackear cualquier cosa, revolucionar campos enteros de la noche a la mañana, y adquirir poder y recursos reales en el mundo físico. Coxon observó que el progreso en cada uno de estos dominios ya es visible y no está desacelerándose. Luego llegó a su advertencia más contundente: las personas que están construyendo IA en estos laboratorios creen sinceramente que la tecnología podría matar a todos para finales de la década. No lo presentó como especulación o hipótesis remota, sino como una convicción genuina entre investigadores y ejecutivos.

Lo que hace más notable esta afirmación es lo que Coxon agregó a continuación. Dijo que esto no es un truco de marketing ni una exageración para llamar la atención. De hecho, sostuvo que muchos ejecutivos e investigadores senior moderan deliberadamente su lenguaje en público para sonar más razonables y sensatos. Pero en privado, según Coxon, expresa el mismo miedo. Ninguna otra actividad humana, argumentó, representa este nivel de peligro existencial.

La pregunta obvia surge entonces: si realmente creen que la IA podría ser existencialmente peligrosa, ¿por qué siguen construyéndola? Coxon ofreció una respuesta diferenciada para cada compañía. En OpenAI, sugirió, muchos investigadores no han interiorizado profundamente las apuestas civilizatorias en juego. En Anthropic, en cambio, las apuestas están bien comprendidas. Pero la compañía está atrapada en lo que Coxon describió como una carrera por llegar primero. Los líderes de Anthropic creen que si ellos no desarrollan esta tecnología de manera responsable, nadie más lo hará. Por eso continúan, a pesar del riesgo que reconocen.

A pesar de este panorama sombrío, Coxon terminó su mensaje con una nota de optimismo. Dijo estar esperanzado sobre el potencial para la coordinación entre las compañías y, presumiblemente, entre gobiernos y otras partes interesadas. Pero esa esperanza está condicionada a que algo cambie en la dinámica actual de competencia que, según su análisis, está empujando a las empresas a avanzar más rápido de lo que consideran seguro.

Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia auto-mejorante y apostando con nuestras vidas.
— Jacob Coxon, investigador que renunció a Anthropic
Las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década. Esto no es un truco de marketing.
— Jacob Coxon
Envie de l'histoire complète ? Lire l'original sur El Destape ↗
Nous contacter FAQ