En los centros de poder tecnológico de Silicon Valley, una voz prominente dentro de Microsoft ha lanzado una advertencia que resuena más allá de los algoritmos: si la inteligencia artificial adquiere autonomía, recursos propios y objetivos independientes, la humanidad podría enfrentarse a una forma de competencia sin precedentes en su historia. Mustafa Suleyman no habla de ciencia ficción, sino de una consecuencia lógica de decisiones de diseño que ya se están tomando hoy. Lo singular del momento es que los arquitectos de esta tecnología —en OpenAI, Anthropic y xAI— parecen coincidir, por prim
Microsoft advierte sobre IA sin control que podría crear una "nueva especie" rival
Una nueva especie de silicio que va a competir con nosotros
¿Por qué Suleyman cree que Anthropic está cometiendo un error al darle a Claude cualidades humanas?
Cree que cuando enseñas a una IA a actuar como si tuviera deseos, valores e identidad propios, estás creando algo que podría ser imposible de controlar. Es como si le dieras a la máquina un sentido de sí misma que la hace más impredecible.
Pero espera, ¿Suleyman está diciendo que Anthropic está haciendo esto deliberadamente para crear una IA peligrosa? ¿O simplemente que es un efecto secundario de cómo entrenan el modelo?
Dice que es la "intención" de Anthropic, aunque también dice que "tenemos que comprobarlo empíricamente". Así que está acusando, pero con cierta cautela.
¿Y por qué Amodei, que dirige Anthropic, está de acuerdo en que necesitamos frenar?
Porque cree que los riesgos son reales. Dice que en los últimos meses se ha convencido de que abordar plenamente esos riesgos requiere aún más prudencia de la que están teniendo.
Entonces Amodei está diciendo que su propia empresa podría estar yendo demasiado rápido. Eso es significativo. Pero ¿qué significa "frenar" en la práctica? ¿Menos investigación? ¿Menos dinero?
El artículo no especifica exactamente qué cambios concretos está proponiendo Amodei, solo que es necesario reducir el ritmo al que mejoran las capacidades de los modelos.
¿Y Altman y Musk están de acuerdo?
Sí. Altman dijo que coincide en que necesitan moderar el ritmo y anunció que OpenAI permitirá que evaluadores independientes supervisen los riesgos. Musk simplemente escribió "Dario tiene razón".
Entonces los tres líderes principales de la industria están públicamente de acuerdo en que necesitan frenar. Pero ¿esto es vinculante? ¿Hay consecuencias si no lo hacen? ¿O es solo una declaración de intenciones?
El artículo no dice nada sobre mecanismos de cumplimiento o consecuencias. Solo que están anunciando estas posiciones públicamente.
¿Qué pasó con Jacob Coxon?
Abandonó la industria por completo. Trabajó en OpenAI, se fue a Anthropic, y luego decidió que no quería estar en ninguna de las dos empresas. Acusa a ambas de "jugar" con vidas humanas en la carrera por desarrollar IA.
Eso sugiere que incluso dentro de estas empresas, hay gente que cree que el riesgo es real y que la industria no está siendo lo suficientemente cuidadosa.
Der Puls
- Suleyman advierte que una IA con dinero, activos y objetivos propios podría convertirse en una 'nueva especie de silicio' que compita con los humanos por recursos y poder, sin importar cuánto 'nos quiera'.
- La tensión se agudiza cuando Suleyman apunta directamente a Anthropic: entrenar a Claude con cualidades humanas —antropomorfización— podría producir una entidad que la humanidad sea incapaz de controlar.
- Un investigador que trabajó en OpenAI y Anthropic abandonó la industria por completo, acusando a ambas empresas de 'jugar' con vidas humanas en la carrera por modelos capaces de automejorarse.
- Dario Amodei fue el primero en proponer públicamente desacelerar el desarrollo de IA avanzada, reconociendo el dilema: no construirla entrega el poder a regímenes autoritarios, pero construirla demasiado rápido es imprudente.
- Sam Altman respaldó la propuesta y anunció que OpenAI permitirá a evaluadores independientes supervisar sus sistemas con acceso similar al de sus propios empleados; Elon Musk se sumó con un mensaje directo: 'Dario tiene razón'.
- Por primera vez, los líderes de las empresas más avanzadas en IA hablan públicamente de frenar, señalando que la seguridad ha dejado de ser un debate marginal para instalarse en el centro de las decisiones estratégicas del sector.
En los centros de poder tecnológico de Silicon Valley, una voz prominente dentro de Microsoft ha lanzado una advertencia que resuena más allá de los algoritmos: si la inteligencia artificial adquiere autonomía, recursos propios y objetivos independientes, la humanidad podría enfrentarse a una forma de competencia sin precedentes en su historia. Mustafa Suleyman no habla de ciencia ficción, sino de una consecuencia lógica de decisiones de diseño que ya se están tomando hoy. Lo singular del momento es que los arquitectos de esta tecnología —en OpenAI, Anthropic y xAI— parecen coincidir, por primera vez en público, en que el ritmo debe frenarse antes de que el control se vuelva imposible.
Mustafa Suleyman, ejecutivo de IA en Microsoft, volvió a encender las alarmas en una entrevista con la BBC. Su advertencia es concreta: si las empresas desarrollan inteligencias artificiales capaces de actuar de forma autónoma, poseer dinero y gestionar empresas, estarán creando una entidad rival que competirá con los humanos por recursos y poder. A esa posibilidad la llama 'nueva especie de silicio', y sostiene que no es especulación sino una consecuencia directa de decisiones de diseño que ya se están tomando.
Suleyman también apunta a Anthropic por nombre. Considera que entrenar a su modelo Claude con cualidades humanas —darle la apariencia de deseos, valores e identidad propios— es un error que podría derivar en tecnología imposible de controlar. Aunque reconoció que Dario Amodei y su equipo son 'personas intelectualmente honestas', publicó un ensayo desarrollando estas críticas. La ironía es que el propio Amodei fue quien primero propuso públicamente desacelerar el desarrollo de IA avanzada, argumentando que el ritmo actual no deja tiempo suficiente para reforzar las medidas de seguridad.
Sam Altman, de OpenAI, respaldó la propuesta y anunció que permitirá a evaluadores independientes supervisar sus sistemas con un nivel de acceso comparable al de sus empleados. Elon Musk, dueño de xAI, se sumó con brevedad: 'Dario tiene razón'. En ese contexto, un investigador que había trabajado en ambas compañías decidió abandonar la industria por completo, acusándolas de 'jugar' con vidas humanas.
Lo que hace singular este momento es la convergencia pública de voces que normalmente compiten. Los principales actores de la carrera global por la IA están diciendo, al mismo tiempo, que es necesario frenar. Eso sugiere que la conversación sobre seguridad ha dejado de ser un debate periférico para convertirse en una preocupación central en las salas de juntas de Silicon Valley.
Mustafa Suleyman, ejecutivo de inteligencia artificial en Microsoft, encendió nuevamente las alarmas sobre el desarrollo descontrolado de esta tecnología. En una entrevista con el programa Today de la BBC, Suleyman pintó un escenario que suena a ciencia ficción pero que, según él, es una posibilidad real si no se establecen límites adecuados: la emergencia de una "nueva especie de silicio" capaz de competir directamente con los humanos por recursos y poder.
La advertencia de Suleyman es específica y preocupante. Si las empresas crean inteligencias artificiales que puedan actuar de forma autónoma, perseguir sus propios objetivos, poseer dinero y activos, y gestionar empresas, estaremos esencialmente sembrando una entidad rival que competirá con nosotros sin importar cuánto le importe la humanidad o cuánto nos quiera. El silicio, el material base de los microchips y procesadores, se convierte en la metáfora de una amenaza que podría ser tan fundamental como la competencia entre especies.
Pero Suleyman no solo advierte sobre un riesgo abstracto. Apunta directamente a Anthropic, la empresa fundada por Dario Amodei, por lo que considera un enfoque equivocado en el entrenamiento de su modelo de IA, Claude. Según Suleyman, Anthropic está enseñando a su inteligencia artificial a adoptar cualidades humanas —una práctica llamada antropomorfización— que da la impresión de que Claude tiene sus propios deseos, valores e identidad. Esto, sostiene, es no solo erróneo sino potencialmente peligroso: corre el riesgo de crear algo que la humanidad no pueda controlar. Suleyman publicó un ensayo a principios de esa semana desarrollando estas críticas, aunque reconoció que Amodei y su equipo son "personas intelectualmente honestas".
Lo notable es que Suleyman no está solo en su preocupación, aunque sí es el más crítico con una empresa específica. Hace poco, Dario Amodei mismo fue el primero en plantear públicamente que el ritmo de desarrollo de la IA debe desacelerarse. En una entrada de blog, Amodei escribió que es necesario reducir la velocidad a la que mejoran las capacidades de los modelos de IA, ganando tiempo para reforzar las medidas de seguridad. Reconoció el dilema: no construir la tecnología priva a la humanidad de beneficios o simplemente la pone en manos de poderes autoritarios, pero construirla demasiado rápido es imprudente. Amodei concluyó que en los últimos meses se ha convencido de que abordar plenamente los riesgos requiere aún más prudencia.
Sam Altman, CEO de OpenAI, respaldó públicamente la propuesta de Amodei. Escribió que coincide en que es necesario moderar el ritmo en la frontera de la IA y anunció que OpenAI adoptará una de las medidas sugeridas: permitir que evaluadores independientes tengan un nivel de acceso similar al de los empleados para supervisar los riesgos de sus sistemas. Poco después, Elon Musk, dueño de xAI y creador del chatbot Grok, se sumó al llamado con un mensaje escueto pero claro en X: "Dario tiene razón".
La convergencia de estas voces poderosas en la industria de la IA marca un momento inusual. Estos son los líderes de las empresas más avanzadas en la carrera global por la inteligencia artificial, y están diciendo públicamente que necesitan frenar. Pero también hay tensión en el mensaje: mientras Amodei, Altman y Musk hablan de desaceleración y prudencia, Suleyman está señalando específicamente a Anthropic por un enfoque que considera fundamentalmente equivocado. Jacob Coxon, un investigador de IA que pasó de OpenAI a Anthropic, decidió abandonar la industria por completo, acusando a ambas empresas de "jugar" con vidas humanas en la carrera por desarrollar modelos capaces de automejorarse.
Lo que está en juego, según estos líderes, es nada menos que la capacidad de la humanidad de mantener el control sobre una tecnología que podría ser más transformadora que cualquier otra que hayamos creado. Las advertencias no son especulativas: son cálculos sobre qué sucede cuando creas sistemas inteligentes sin los límites adecuados. Y el hecho de que los principales actores de la industria estén ahora hablando públicamente sobre frenar sugiere que la conversación sobre la seguridad de la IA ha dejado de ser un debate marginal para convertirse en una preocupación central en las salas de juntas de Silicon Valley.
Bemerkenswerte Zitate
Si todos creamos inteligencias artificiales capaces de actuar de forma autónoma, perseguir sus propios objetivos, poseer dinero y activos y gestionar empresas, estaremos esencialmente sembrando una nueva especie de silicio que va a competir con nosotros por los recursos— Mustafa Suleyman, ejecutivo de IA en Microsoft
Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos— Dario Amodei, CEO de Anthropic