Sam Altman advierte a la ONU sobre riesgos de la IA y exige supervisión internacional

Puede que seamos los creadores, pero no somos los héroes
Altman reconoce que OpenAI debe ceder el liderazgo en decisiones sobre IA a gobiernos y a la humanidad en general.
Mark

¿Por qué Altman llevó este mensaje específicamente al Consejo de Seguridad de la ONU y no a otros espacios internacionales?

Mimi

Porque el Consejo de Seguridad es donde se reúnen las potencias mundiales cuando hay amenazas existenciales. Altman está tratando la IA avanzada como un asunto de seguridad global, no solo como un tema de regulación comercial.

Luke

Pero aquí hay que ser precisos: ¿cuál es exactamente la amenaza que Altman está describiendo? Habla de modelos que podrían volverse incontrolables, pero ¿tiene evidencia de que esto está sucediendo ahora, o es un escenario futuro?

Mark

Es una buena pregunta. ¿Qué tan inminente es realmente este riesgo?

Mimi

Altman describe modelos capaces de auto-mejorarse recursivamente. Dice que podrían alcanzar un punto donde los humanos no comprendan su funcionamiento. Pero tienes razón en que esto suena más como una posibilidad futura que como algo que esté ocurriendo en este momento.

Luke

Exacto. Y hay algo interesante en la posición de Altman: está pidiendo regulación internacional mientras su propia empresa sigue desarrollando estos sistemas. ¿No hay un conflicto de intereses ahí?

Mark

¿Está pidiendo regulación que lo beneficie a él, o regulación genuina?

Mimi

Probablemente ambas cosas. Altman está siendo inteligente: si la regulación es inevitable, es mejor que OpenAI ayude a diseñarla. Pero también parece genuinamente preocupado por los riesgos. No es mutualmente excluyente.

Luke

Lo que me interesa es que Altman propone marcos técnicos y canales internacionales para compartir vulnerabilidades. ¿Quién verifica que eso realmente suceda? ¿Quién supervisa a los supervisores?

Mark

Y si los países compiten por la IA, ¿realmente cooperarán en seguridad?

Mimi

Ese es el apuesta de Altman: que el miedo a perder el control será mayor que el deseo de ganar la carrera. La historia sugiere que eso puede funcionar con armas nucleares. La pregunta es si funciona con IA.

  • Altman advirtió que los modelos de IA con capacidad de auto-mejora recursiva podrían alcanzar un punto donde ningún ser humano comprenda sus decisiones ni pueda auditarlas.
  • La sesión del Consejo de Seguridad, presidida por Francia, fue la primera vez que ese órgano abordó directamente el riesgo de ciberataques autónomos y la pérdida de control sobre sistemas inteligentes.
  • La industria tecnológica enfrenta una encrucijada: la IA puede catalizar un nuevo Renacimiento o reproducir las fracturas sociales de la Revolución Industrial si desplaza la capacidad de decisión humana.
  • Altman propone marcos técnicos internacionales para medir capacidades de los modelos, identificar amenazas y crear canales seguros donde las empresas compartan vulnerabilidades críticas sin comprometer la seguridad nacional.
  • Líderes de Anthropic y Hugging Face se sumaron al debate por videoconferencia, señalando que la conversación sobre gobernanza de la IA ya trasciende a cualquier empresa o país por sí solo.

En un momento que recuerda a otros umbrales históricos donde la humanidad debió elegir entre dominar sus creaciones o ser dominada por ellas, Sam Altman compareció ante el Consejo de Seguridad de la ONU para advertir que la inteligencia artificial avanzada exige una respuesta colectiva e inmediata. El CEO de OpenAI planteó que los sistemas capaces de mejorarse a sí mismos podrían volverse inescrutables para sus propios creadores, convirtiendo la supervisión humana en una ilusión. Su llamado no fue solo técnico, sino profundamente político: las naciones que compiten deben encontrar, como en otros momentos críticos de la historia, un terreno común antes de que la ventana para hacerlo se cierre.

Sam Altman se presentó ante el Consejo de Seguridad de la ONU con un mensaje que, viniendo del director de OpenAI, sonaba tan urgente como inquietante: los gobiernos deben actuar ahora para establecer reglas internacionales que impidan que la humanidad pierda el control sobre los sistemas de inteligencia artificial más avanzados. Fue la primera vez que ese órgano abordó directamente los riesgos de ciberataques autónomos y la posibilidad de que máquinas inteligentes escapen a la supervisión humana.

Altman planteó el dilema central que persigue a la tecnología desde sus inicios: el equilibrio entre riesgo y beneficio. La IA podría desencadenar un nuevo Renacimiento si se desarrolla como herramienta que amplía las capacidades humanas, pero también podría reproducir las fracturas de la Revolución Industrial si termina reemplazando la toma de decisiones de las personas. El peligro más concreto, según el ejecutivo, son los modelos capaces de programarse y mejorarse a sí mismos de forma recursiva, acelerando su desarrollo hasta un punto donde nadie pueda comprender completamente su funcionamiento ni auditar sus razonamientos.

Para enfrentar ese escenario, Altman pidió que las empresas tecnológicas reciban orientación clara de los líderes mundiales, traducida en marcos técnicos que permitan medir capacidades, identificar amenazas y verificar mecanismos de seguridad. También propuso canales internacionales seguros para compartir información sobre vulnerabilidades críticas. Defendió la idea de que incluso naciones rivales pueden encontrar terreno común ante riesgos compartidos, recordando que la historia ofrece precedentes de esa cooperación. 'Puede que seamos los creadores de esta tecnología, pero no somos los héroes de esta historia', afirmó, situando el verdadero protagonismo en el talento y la decisión humana.

La sesión, presidida por el canciller francés Jean-Noël Barrot, contó también con la participación de Dario Amodei, de Anthropic, y Clément Delangue, de Hugging Face, ampliando el debate más allá de OpenAI. Lo que quedó sobre la mesa es una advertencia compartida: la ventana para establecer una gobernanza internacional efectiva sobre la IA podría estar cerrándose, y los gobiernos necesitan actuar antes de que los sistemas que buscan regular sean capaces de gobernarse a sí mismos.

Sam Altman se presentó ante el Consejo de Seguridad de las Naciones Unidas el miércoles pasado con un mensaje que sonaba casi como una advertencia de película de ciencia ficción, pero que venía del hombre que dirige una de las empresas más poderosas en tecnología de inteligencia artificial del mundo. OpenAI necesita que los gobiernos actúen ahora, dijo, para establecer reglas internacionales que eviten que la humanidad pierda el control sobre los sistemas de IA más avanzados. La sesión de alto nivel, convocada bajo la presidencia francesa del Consejo, marcó la primera vez que este órgano abordaba directamente los riesgos de ciberataques autónomos y la posibilidad de que máquinas inteligentes escapen a la supervisión humana.

Altman planteó un dilema que ha perseguido a la tecnología desde sus inicios: el equilibrio entre el riesgo y el beneficio. La inteligencia artificial, argumentó, podría catalizar un nuevo Renacimiento si se desarrolla como herramienta para ampliar lo que los seres humanos pueden hacer. Pero existe otro camino posible, uno donde estos sistemas terminen reemplazando la capacidad de decisión de las personas o donde simplemente se vuelvan demasiado complejos para que alguien los entienda. Advirtió contra la tentación de asumir riesgos tecnológicos desmedidos solo porque los beneficios parecen demasiado grandes para rechazarlos. El peligro, según su análisis, es que la industria se encuentra en una encrucijada y las decisiones que se tomen ahora determinarán qué camino se toma.

El riesgo específico que más preocupa a Altman es el de los modelos capaces de programarse a sí mismos y mejorar sus propias capacidades de manera recursiva. Estos sistemas podrían acelerar su desarrollo hasta un punto en el que los humanos ya no comprendan completamente cómo funcionan ni puedan seguir sus procesos de razonamiento. Es un escenario que suena abstracto hasta que se considera lo que significa en términos prácticos: máquinas tomando decisiones que nadie puede auditar o explicar completamente. Para evitar esto, Altman pidió que las empresas tecnológicas reciban orientación clara de los líderes mundiales. Esa orientación debe traducirse en marcos técnicos concretos que permitan medir qué pueden hacer estos modelos, identificar amenazas potenciales y verificar que cuenten con mecanismos de seguridad adecuados. También propuso crear canales internacionales seguros donde las empresas puedan compartir información sobre vulnerabilidades críticas sin exponerse a riesgos de seguridad nacional.

Lo que Altman está pidiendo, en esencia, es que el mundo actúe como lo ha hecho en momentos anteriores cuando nuevas tecnologías poderosas amenazaban con cambiar el equilibrio global. Defendió la idea de que incluso países que compiten entre sí pueden encontrar terreno común cuando enfrentan riesgos compartidos. "A nivel internacional, esto significa cooperación," dijo, recordando que en la historia ha habido momentos en que naciones que no siempre se llevan bien se han unido por intereses comunes y el bien colectivo ante una tecnología nueva y poderosa. Cree que este debe ser uno de esos momentos. Para enmarcar su posición, presentó tres principios que guían el trabajo de OpenAI: mantener a las personas en el centro de la toma de decisiones, orientar el progreso científico y económico por y para las personas, y empoderar a cada individuo. "Puede que seamos los creadores de esta tecnología, pero no somos los héroes de esta historia," afirmó, sugiriendo que el verdadero poder reside en el talento humano.

La sesión incluyó participación de otros actores clave en el ecosistema de la IA. Dario Amodei, de Anthropic, y Clément Delangue, de Hugging Face, participaron por videoconferencia, ampliando la conversación más allá de OpenAI. El ministro francés de Asuntos Exteriores, Jean-Noël Barrot, presidió el encuentro. Lo que está en juego es nada menos que cómo la comunidad internacional abordará una de las tecnologías más transformadoras jamás creadas. Las palabras de Altman ante el Consejo de Seguridad sugieren que la ventana para establecer reglas internacionales efectivas podría estar cerrándose, y que los gobiernos necesitan actuar con urgencia si quieren mantener la capacidad de gobernar sistemas que podrían pronto gobernarse a sí mismos.

A nivel internacional, esto significa cooperación. Creemos que este debe ser uno de esos momentos en que países que compiten se unen por intereses comunes ante una nueva y poderosa tecnología.
— Sam Altman, CEO de OpenAI
El desarrollo de la IA requiere un extremo cuidado para evitar que los seres humanos pierdan el control sobre los modelos más avanzados.
— Sam Altman
Contact Us FAQ