En el corazón de Silicon Valley, dos de las mentes más influyentes en inteligencia artificial —Dario Amodei de Anthropic y Sam Altman de OpenAI— han alzado la voz para pedir prudencia en una industria que ha hecho de la velocidad su religión. Junto a Elon Musk, ambos ejecutivos argumentan que el avance acelerado de la IA, sin salvaguardas robustas ni tiempo para comprender sus riesgos, podría generar consecuencias que ningún algoritmo sabrá resolver. Es una advertencia que cobra peso precisamente porque viene de quienes más saben lo que estas tecnologías son capaces de hacer.
Amodei y Altman: los arquitectos del futuro de la IA en OpenAI y Anthropic
Hay que frenar un poco antes de que sea demasiado tarde
Mark
¿Por qué dos ejecutivos que compiten directamente están de acuerdo en algo tan importante como desacelerar el desarrollo?
Mimi
Porque ambos han trabajado lo suficiente en esto para saber que no entienden completamente lo que están construyendo. Amodei pasó años en investigación de seguridad de IA; Altman ha visto cómo ChatGPT cambió el mundo en meses. Eso te hace humilde.
Luke
Pero ¿qué significa "desacelerar" en términos concretos? ¿Menos dinero? ¿Menos investigadores? ¿Menos publicaciones? El artículo no lo dice.
Mimi
Eso es lo que todavía se está negociando. Lo que sí sabemos es que están pidiendo auditorías externas y más tiempo para entender los riesgos de ciberseguridad antes de desplegar sistemas nuevos.
Mark
¿Qué tan influyentes son realmente estos dos? ¿Pueden hacer que la industria entera frene?
Mimi
OpenAI y Anthropic son dos de las tres o cuatro empresas que realmente importan en IA avanzada. Si ambas dicen que van a ser más cuidadosas, eso establece un estándar que otros tienen que considerar.
Luke
Aunque hay que notar que esto es lo que dicen públicamente. No sabemos si sus operaciones internas han cambiado realmente, o si esto es principalmente una posición de relaciones públicas.
Mimi
Justo. Lo que podemos verificar es que Amodei co-inventó RLHF, que es una técnica real que hace que los sistemas sean más alineados con valores humanos. Eso es un hecho técnico.
Mark
¿Y Altman? ¿Cuál es su contribución técnica específica?
Luke
El artículo no lo dice. Sabemos que cofundó OpenAI y que lidera la empresa, pero no hay detalles sobre su investigación personal o sus contribuciones técnicas específicas.
Mimi
Altman es más un líder empresarial y visionario que un investigador. Su rol es diferente al de Amodei, que es científico de formación.
Mark
Entonces, ¿cuál es el riesgo real que están tratando de evitar?
Mimi
Riesgos de ciberseguridad, sistemas que no se pueden controlar, capacidades que emergen sin que nadie las haya planeado. Amodei ha estudiado las leyes de escala, que es cómo predecir qué pueden hacer estos sistemas cuando crecen. Si no entiendes eso, no puedes construir salvaguardas.
Luke
Pero el artículo menciona que Anthropic tuvo que desarticular "posibles complots" que usaban su IA para investigar creación de armas biológicas, y que no logró determinar los objetivos. Eso sugiere que el problema ya está aquí, no es algo futuro.
Il Polso
- Los dos directores ejecutivos más poderosos en IA piden frenar el ritmo de desarrollo, una postura que desafía la lógica competitiva que ha dominado Silicon Valley durante décadas.
- El riesgo de ciberseguridad no es abstracto: sistemas desplegados sin comprensión plena de sus consecuencias podrían crear vulnerabilidades que ninguna empresa ni gobierno sabe cómo contener.
- Amodei y Altman no llaman a detener la investigación, sino a exigir auditorías externas, mayor transparencia y tiempo real para evaluar riesgos antes de cada despliegue masivo.
- El acuerdo entre Musk, Altman y Amodei —figuras que no siempre coinciden— señala que la preocupación por la seguridad de la IA está alcanzando un umbral de consenso inusual en la industria.
- El debate se posiciona como el eje central de la política tecnológica global: cómo preservar la capacidad de innovar sin perder el control sobre lo que se innova.
En el corazón de Silicon Valley, dos de las mentes más influyentes en inteligencia artificial —Dario Amodei de Anthropic y Sam Altman de OpenAI— han alzado la voz para pedir prudencia en una industria que ha hecho de la velocidad su religión. Junto a Elon Musk, ambos ejecutivos argumentan que el avance acelerado de la IA, sin salvaguardas robustas ni tiempo para comprender sus riesgos, podría generar consecuencias que ningún algoritmo sabrá resolver. Es una advertencia que cobra peso precisamente porque viene de quienes más saben lo que estas tecnologías son capaces de hacer.
Dos ejecutivos que alguna vez compartieron los pasillos de OpenAI ahora dirigen las empresas más influyentes en inteligencia artificial, y ambos están diciendo algo que incomoda a muchos en la industria: hay que frenar un poco.
Dario Amodei, director ejecutivo de Anthropic, llegó a esta posición a través de una trayectoria científica rigurosa. Con un doctorado en biofísica y neurociencia computacional de Princeton y una etapa posdoctoral en Stanford, Amodei fue vicepresidente de investigación en OpenAI antes de fundar Anthropic. Es co-inventor de RLHF, la técnica que permite entrenar sistemas de IA para alinearse con valores humanos, y ha investigado las leyes de escala que predicen el comportamiento de los modelos más avanzados. Hoy lidera una corporación de beneficio público dedicada a construir IA controlable, interpretable y segura.
Sam Altman tomó un camino distinto. Nacido en Chicago en 1985, programaba y desarmaba computadoras desde los 8 años. Abandonó Stanford para cofundar Loopt, presidió Y Combinator durante cinco años y en 2015 cofundó OpenAI como un laboratorio sin fines de lucro. Con el lanzamiento de ChatGPT y DALL·E, se convirtió en una de las voces más escuchadas del mundo tecnológico.
Aunque sus caminos se separaron, sus historias permanecen entrelazadas. Hoy, junto a Elon Musk, ambos han coincidido en un llamado para desacelerar el desarrollo de IA y reforzar sus salvaguardas. No es un argumento para detener la investigación, sino para hacerla con más cuidado, con auditorías externas y con tiempo suficiente para entender los riesgos antes de desplegar sistemas cuyas consecuencias aún no se comprenden del todo. En una industria donde la velocidad ha sido sinónimo de éxito, estos dos líderes advierten que la velocidad sin seguridad podría convertirse en sinónimo de desastre.
Dos ejecutivos que una vez trabajaron juntos en los primeros días de OpenAI ahora encabezan las empresas más influyentes en el desarrollo de inteligencia artificial, y ambos están diciendo algo que sorprende a muchos en Silicon Valley: hay que frenar un poco.
Dario Amodei, director ejecutivo de Anthropic, y Sam Altman, director ejecutivo de OpenAI, se han unido recientemente a Elon Musk en un llamado para desacelerar el ritmo de avance en sistemas de IA. Su argumento es directo: sin salvaguardas más robustas y sin tiempo para entender los riesgos de ciberseguridad, el desarrollo acelerado de estas tecnologías podría crear problemas que nadie sabe cómo resolver.
Amodei llegó a este punto a través de una trayectoria científica rigurosa. Obtuvo un doctorado en biofísica y neurociencia computacional de la Universidad de Princeton como becario Hertz, luego realizó investigación posdoctoral en la Facultad de Medicina de Stanford enfocándose en cómo aplicar aprendizaje automático a datos biomédicos. Antes de fundar Anthropic, fue vicepresidente de investigación en OpenAI, donde participó en el desarrollo de GPT-2 y GPT-3, y también trabajó como científico investigador sénior en Google Brain. Su contribución más notable es ser co-inventor de RLHF, una técnica de aprendizaje por refuerzo a partir de retroalimentación humana que permite entrenar sistemas de IA para que se alineen con valores y preferencias humanas. También ha investigado las leyes de escala, el área fundamental para predecir qué pueden hacer los sistemas avanzados de IA. Hoy, como director ejecutivo de Anthropic, una corporación de beneficio público, lidera el esfuerzo por construir sistemas de inteligencia artificial que sean controlables, interpretables y seguros.
Altman llegó a OpenAI por una ruta diferente pero igualmente orientada hacia la tecnología. Nació el 22 de abril de 1985 en Chicago y mostró fascinación por las máquinas desde niño: a los 8 años ya programaba y desarmaba una de las primeras computadoras Macintosh de Apple. Estudió en Stanford pero abandonó la universidad en 2005 para cofundar Loopt, una aplicación de redes sociales basada en ubicación. Entre 2014 y 2019 fue presidente de Y Combinator, la aceleradora de startups más influyente del mundo. En 2015 cofundó OpenAI como un laboratorio de investigación sin fines de lucro con la misión de desarrollar inteligencia artificial de propósito general que beneficiara a toda la humanidad. Con el lanzamiento de ChatGPT y DALL·E, Altman se convirtió en una de las figuras más reconocidas de la industria tecnológica y una voz recurrente en conversaciones con líderes mundiales sobre el futuro de la IA.
Aunque sus caminos se separaron, las historias de Amodei y Altman están entrelazadas. Ambos participaron en los primeros años de OpenAI antes de que Amodei se fuera para fundar Anthropic. Hoy, las dos empresas que dirigen están entre las que lideran el desarrollo global de sistemas de inteligencia artificial avanzada. Y es precisamente porque entienden lo que estas tecnologías pueden hacer por lo que están advirtiendo sobre lo que podrían hacer mal.
El consenso que han alcanzado con Musk refleja una tensión fundamental en la industria: cómo seguir avanzando en capacidades de IA mientras se garantiza que estos sistemas sean seguros, confiables y controlables. No es un argumento para detener la investigación. Es un argumento para hacerla con más cuidado, con más transparencia, con auditorías externas y con tiempo para entender los riesgos antes de desplegar sistemas cuyas consecuencias aún no se comprenden completamente. En una industria donde la velocidad ha sido sinónimo de éxito, estos dos líderes están sugiriendo que la velocidad sin seguridad podría ser sinónimo de desastre.
Citazioni salienti
Ambos participaron en los primeros años de OpenAI antes de que Amodei se fuera para fundar Anthropic— Trayectoria profesional documentada
Cómo avanzar en las capacidades de la IA y, al mismo tiempo, garantizar que estos sistemas sean seguros, confiables y controlables— Posición compartida de Amodei y Altman
Vuoi la storia completa?
Leggi l'originale su El Universal ↗
Technology