En San Francisco, durante la conferencia Dreamforce, los arquitectos más influyentes de la inteligencia artificial se reunieron para debatir una paradoja que define nuestra era: cómo avanzar hacia una tecnología de consecuencias potencialmente irreversibles mientras se mantiene la confianza pública. Sam Altman, Dario Amodei, Jensen Huang y Mark Zuckerberg ofrecieron respuestas distintas a la misma pregunta fundamental, revelando que incluso quienes construyen el futuro no se ponen de acuerdo sobre cómo habitarlo con seguridad. El disenso no es señal de caos, sino de la magnitud real del moment
Altman insiste: el mundo debe temer la IA pero confiar en la industria
El mundo hace bien en tener miedo, pero debe confiar en nosotros
Mark
¿Por qué Altman dice que el mundo debe tener miedo pero confiar en la industria al mismo tiempo? Eso parece contradictorio.
Mimi
No tanto. Lo que está diciendo es que los riesgos son reales y que la gente tiene razón en preocuparse, pero que la industria tiene los incentivos correctos para actuar responsablemente. Es una forma de reconocer el problema sin pedir regulación externa.
Luke
Pero ¿cuáles son esos incentivos exactamente? Altman no lo especifica. ¿Es la reputación? ¿El miedo a demandas? ¿La competencia? Porque si es solo la competencia, eso podría empujar a las empresas a ir más rápido, no más lento.
Mark
Zuckerberg dice que Meta retrasó el lanzamiento de Muse por seguridad. ¿Eso es un ejemplo de que los incentivos funcionan?
Mimi
Sí, pero Zuckerberg también deja claro que Meta lo hizo por su cuenta, sin presión externa. Dice que cualquier laboratorio que no se centre en la alineación se quedará atrás competitivamente. Así que el incentivo es diferenciarse en el mercado.
Luke
Eso es una afirmación sobre el futuro del mercado que no está probada. Zuckerberg está diciendo que la seguridad será un diferenciador competitivo, pero ¿y si no lo es? ¿Y si los clientes prefieren velocidad a seguridad? Entonces el incentivo desaparece.
Mark
Huang rechaza la regulación completamente. ¿Cree que la industria puede autorregularse?
Mimi
Huang dice que la seguridad es un problema de ingeniería, no de regulación. Su posición es que las empresas pueden ir rápido y seguro al mismo tiempo si tienen disciplina interna. No necesitan que alguien externo les diga qué hacer.
Luke
Pero Huang también dice que si no estás seguro, no lances el producto. ¿Quién decide cuándo estás seguro? Eso es subjetivo. Una empresa podría decir que está segura cuando en realidad no lo está. Sin regulación externa, no hay forma de verificar eso.
Mark
Amodei dice que incluso si congelaran la tecnología ahora, solo estarían usando el 5 o 10% de su potencial. ¿Eso significa que hay mucho más riesgo por venir?
Mimi
Sí, eso es lo que está diciendo. Que la tecnología actual ya es poderosa, pero que hay mucho más por descubrir. Así que los riesgos van a crecer, no a disminuir.
Luke
Pero eso también es especulativo. Amodei está hablando de potencial futuro, no de riesgos medibles hoy. Es una forma de argumentar a favor de la cautela, pero no es una prueba de que los riesgos sean tan grandes como él cree.
El Pulso
- La industria de la IA lleva semanas bajo presión tras mensajes apocalípticos sobre riesgos existenciales, y la conferencia Dreamforce se convirtió en el primer escenario donde sus líderes debieron responder públicamente.
- Dario Amodei encendió la controversia al pedir una desaceleración del avance de los modelos, mientras Jensen Huang la rechazó de plano argumentando que velocidad y seguridad pueden coexistir sin regulación externa.
- Sam Altman reconoció que el miedo colectivo está justificado, pero apostó por la autorregulación de la industria como única garantía viable, una postura que exige una confianza que aún no ha sido ganada del todo.
- Mark Zuckerberg y Elon Musk se sumaron al debate desde los márgenes, sugiriendo que los incentivos de mercado bastan para mantener la seguridad, sin necesidad de acuerdos formales entre laboratorios.
- La llegada inminente de una IA de funcionamiento continuo —que monitoreará correos, código y comunicaciones sin pausa— eleva la urgencia del debate sobre coordinación y control entre sistemas autónomos.
En San Francisco, durante la conferencia Dreamforce, los arquitectos más influyentes de la inteligencia artificial se reunieron para debatir una paradoja que define nuestra era: cómo avanzar hacia una tecnología de consecuencias potencialmente irreversibles mientras se mantiene la confianza pública. Sam Altman, Dario Amodei, Jensen Huang y Mark Zuckerberg ofrecieron respuestas distintas a la misma pregunta fundamental, revelando que incluso quienes construyen el futuro no se ponen de acuerdo sobre cómo habitarlo con seguridad. El disenso no es señal de caos, sino de la magnitud real del momento.
Sam Altman se presentó ante una sala de ejecutivos en San Francisco con una afirmación que parece contradictoria: el mundo tiene razón en temer a la inteligencia artificial, pero debe confiar en que la industria actuará correctamente. Hablando en la conferencia anual Dreamforce de Salesforce, reconoció que los temores están plenamente justificados y que ya no hace falta mucha imaginación para ver cómo las cosas podrían salir mal. Su apuesta, sin embargo, es por la responsabilidad voluntaria del sector.
El encuentro llegó en un momento de escrutinio intenso. Dario Amodei, de Anthropic, había pedido públicamente semanas antes que se ralentizara el desarrollo de estos modelos, encendiendo un debate que no ha cesado. En San Francisco mantuvo su postura: el riesgo es sustancial, y liderar el sector significa dar ejemplo. Amodei también señaló que incluso si el progreso se detuviera hoy, la tecnología existente apenas está siendo aprovechada en un cinco o diez por ciento de su potencial real.
Jensen Huang, de Nvidia, adoptó una visión opuesta. Para él, la seguridad es un problema de ingeniería, no de regulación, y las empresas pueden avanzar rápido sin sacrificar la prudencia si actúan con disciplina interna. Mark Zuckerberg, que rompió su silencio público a través de la red X, se alineó con Huang: argumentó que cada laboratorio ya tiene incentivos propios para actuar con cuidado, y citó el retraso voluntario de Meta en lanzar su modelo Muse como prueba de que la responsabilidad no requiere acuerdos formales. Elon Musk, por su parte, respondió al extenso texto de Amodei con tres palabras: 'Dario tiene razón'.
Lo que el debate dejó en claro es que la próxima fase de la IA —sistemas autónomos funcionando sin pausa, monitoreando correos, código y comunicaciones internas— plantea preguntas sobre coordinación y control que la industria aún está aprendiendo a formular. Mientras algunos líderes piden cautela, otros confían en que el mercado será suficiente. La respuesta, por ahora, no la tiene nadie.
Sam Altman se paró ante una sala llena de ejecutivos tecnológicos el martes en San Francisco y dijo algo que suena contradictorio hasta que lo escuchas completo: el mundo tiene razón en temer a la inteligencia artificial, pero debe confiar en que la industria hará lo correcto. "El mundo debe confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto", afirmó durante la conferencia anual Dreamforce de Salesforce. Reconoció que los temores están plenamente justificados. Ya no se necesita mucha imaginación para ver cómo esto podría salir mal, dijo. "Creo que el mundo hace bien en tener miedo".
La conferencia reunió a varios de los líderes más visibles del sector en un momento en que la industria de la IA lleva más de una semana bajo escrutinio intenso por mensajes apocalípticos sobre los riesgos existenciales de la tecnología. Dario Amodei, de Anthropic, fue quien encendió esta conversación hace poco al pedir públicamente que se ralentizara el avance de estos modelos. En San Francisco, mantuvo su posición: el riesgo es sustancial. Describió su enfoque como un acto de liderazgo sectorial. "Creo que así es como se lidera el sector: dando ejemplo, diciendo que todos podemos mejorar siempre", señaló.
Jensen Huang, presidente ejecutivo de Nvidia, adoptó una postura más escéptica. Rechazó la idea de que se necesiten nuevas leyes o regulaciones. Para él, la velocidad y la seguridad no son incompatibles. Las empresas pueden tener ambas cosas simultáneamente si actúan con disciplina. "Corre todo lo que puedas", dijo, pero añadió una advertencia: si en algún momento sientes que la empresa se te está yendo de las manos o que el producto no será seguro, detente y asegúrate de hacerlo bien. Huang enfatizó que la seguridad es un problema de ingeniería, no de regulación. "Si no estamos seguros de que un producto es seguro, si no tienes confianza en su funcionamiento, sus capacidades o su seguridad, no lo lances", afirmó.
Mark Zuckerberg, quien no había hablado públicamente desde que surgió esta controversia, finalmente se pronunció a través de un mensaje en la red X. Su posición se alineó más con la de Huang que con la de Amodei. Zuckerberg argumentó que no hace falta un acuerdo sectorial formal porque cada laboratorio ya tiene incentivos propios para actuar con cuidado. Escribió que la confianza y la alineación se están convirtiendo rápidamente en las capacidades más importantes para diferenciar agentes y modelos. Por alineación entiende que las acciones del modelo de IA deben coincidir con la voluntad humana. Como ejemplo, mencionó que Meta retrasó varios meses el lanzamiento de su nuevo modelo, Muse, para centrarse en la seguridad y la protección. "No pedimos a los demás que hicieran esto antes que nosotros. Simplemente lo hicimos como parte de nuestro trabajo diario porque era claramente lo correcto para la gente y para nosotros", escribió.
Elon Musk, que también tiene su propio modelo llamado Grok, respondió al mensaje de Zuckerberg con un simple "cool". Su respuesta al largo post de Amodei pidiendo más control fue más explícita: "Dario tiene razón", escribió.
Para Altman, estos cambios no son solo un peligro existencial hipotético. Representan un cambio real en cómo las personas usarán la IA en sus vidas cotidianas. Después de los chatbots y los agentes que ejecutan misiones complejas durante períodos limitados, ahora llega la IA de funcionamiento continuo. "La IA estará funcionando para ti todo el rato: entenderá tu trabajo, lo que necesitas para rendir mejor, generará código de forma proactiva, siguiendo tu Slack o tu correo, mirando todo lo que está pasando dentro de una empresa. Estamos justo al borde de esa tercera fase", dijo Altman. Con sistemas autónomos funcionando constantemente, es comprensible que algunos teman que estos sistemas se coordinen entre sí de formas impredecibles.
Amodei, por su parte, cree que la tecnología tal como existe hoy tiene un recorrido enorme por delante. Incluso si detuvieran el progreso ahora mismo, habría mucha capacidad de IA aún por descubrir y desarrollar. "Cuando comparo la tecnología con lo poco que se ha difundido, incluso si la congeláramos tal como está, que es algo que no estamos haciendo, la tecnología va a seguir mejorando. Incluso supongamos que la congelamos tal cual. En ese caso, estamos aprovechando quizá solo un 5% o un 10% del valor potencial que tiene", explicó. El debate en San Francisco dejó clara una cosa: mientras algunos líderes piden cautela y ralentización, otros creen que el mercado y los incentivos empresariales son suficientes para mantener la seguridad sin necesidad de regulación externa. Lo que está claro es que la próxima generación de sistemas autónomos funcionando sin pausa plantea preguntas que la industria aún está aprendiendo a responder.
Citas Notables
El mundo debe confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto— Sam Altman
La confianza y la alineación se están convirtiendo rápidamente en las capacidades más importantes a la hora de diferenciar agentes y modelos— Mark Zuckerberg
Quieres la nota completa?
Lee el original en El País ↗
Technology