¿Apocalipsis de la IA o distracción de la industria? Expertos cuestionan narrativas catastrofistas

Armas autónomas de IA ya están matando humanos en varios escenarios bélicos; además, la tecnología genera impactos en salud mental de usuarios y desafíos en educación y empleo.
Mientras hablamos de apocalipsis, hay armas autónomas matando gente ahora
Expertos argumentan que el miedo a riesgos existenciales distrae de daños documentados que ya están ocurriendo.
Mark

¿Por qué algunos expertos dicen que todo esto es una distracción? ¿No es legítimo preocuparse por riesgos futuros?

Mimi

Claro que es legítimo preocuparse. El problema es que mientras hablamos de si las máquinas nos exterminarán en 2030, hay armas autónomas de IA que ya están matando gente en guerras reales, ahora mismo.

Luke

Pero espera. ¿Tenemos confirmación de que esas armas están siendo usadas por Irán? ¿O es una filtración que aún no ha sido verificada por múltiples fuentes?

Mimi

Es una filtración. Eso es importante aclarar. Lo que sí está documentado es que hay sistemas de IA causando daño real en educación, empleo, salud mental.

Mark

¿Y por qué creen que OpenAI y Anthropic están amplificando estos miedos apocalípticos?

Mimi

Ambas empresas están a punto de salir a bolsa. Si demuestran que su tecnología es tan poderosa que podría acabar con la humanidad, pero que ellas pueden autorregularse, entonces convencen a inversores y gobiernos de que no necesitan regulación externa.

Luke

Pero eso es especulación sobre intenciones. Lo que sabemos es que Amodei pidió ralentizar el desarrollo. ¿Eso beneficia o perjudica a Anthropic comercialmente?

Mimi

Es ambiguo. Podría ser genuino, o podría ser que ralentizar el desarrollo general mientras ellos mantienen ventaja sea estratégico.

Mark

¿Entonces los expertos que critican la narrativa apocalíptica están diciendo que la IA es segura?

Mimi

No. Están diciendo que es peligrosa de formas concretas y documentadas, no de formas hipotéticas. Y que confundir las dos cosas nos impide regular los daños que ya están sucediendo.

Luke

Aunque hay que notar que LeCun y Mitchell tienen sus propias posiciones en la industria. No son observadores neutrales.

Mimi

Verdad. Pero sus argumentos técnicos sobre cómo funcionan realmente estos sistemas son sólidos, independientemente de quiénes los hagan.

Mark

¿Qué debería pasar ahora?

Mimi

Regulación sobre lo que sabemos que causa daño. Transparencia sobre cómo se entrenan estos modelos. Y una conversación más honesta sobre qué riesgos son reales y cuáles son especulación.

  • OpenAI y Anthropic preparan salidas a bolsa históricas mientras advierten sobre riesgos existenciales
  • Armas autónomas de IA ya están causando muertes en escenarios bélicos reales
  • Incidentes de este verano descritos como 'máquinas descontroladas' fueron en realidad sistemas ejecutando instrucciones complejas
  • Timnit Gebru y otros expertos argumentan que la narrativa apocalíptica eclipsa problemas concretos: sesgos, impacto laboral, consumo energético

Investigadores como Timnit Gebru sostienen que la narrativa del apocalipsis IA distrae de problemas concretos: sesgos, impacto laboral, consumo energético y armas autónomas que ya causan muertes. Expertos critican la antropomorfización del lenguaje usado para describir incidentes: hablar de máquinas que 'escapan' o 'conspiran' distorsiona la realidad de sistemas que simplemente ejecutan instrucciones complejas.

Mientras líderes de OpenAI y Anthropic advierten sobre riesgos existenciales de la IA, expertos argumentan que se exageran capacidades y que el miedo sirve como cortina de humo para evadir regulación sobre daños reales ya documentados.

La semana pasada fue un torbellino en el mundo de la inteligencia artificial. OpenAI anunció que uno de sus modelos había resuelto uno de los siete problemas del milenio, los desafíos matemáticos más complejos conocidos. Un ingeniero de Anthropic renunció públicamente, argumentando que la IA podría matarnos antes de 2030. Anthropic reveló que había detenido intentos de usar sus sistemas para desarrollar armas químicas. Se filtró que Irán había utilizado modelos de IA para seleccionar objetivos en su conflicto con Estados Unidos. El fin de semana, Dario Amodei, líder de Anthropic, publicó un ensayo pidiendo que se ralentizara sustancialmente el desarrollo de la IA y que las empresas se sometieran a monitorización externa. Sam Altman de OpenAI estuvo de acuerdo. Demis Hassabis de Google y hasta Elon Musk también se mostraron favorables a frenar el ritmo. El presidente Trump, en cambio, ve la carrera de la IA como una guerra contra China que debe ganarse a toda costa.

Pero mientras estos líderes advertían sobre riesgos existenciales, otros expertos comenzaron a cuestionar si el pánico era justificado o si servía a propósitos menos altruistas. Timnit Gebru, quien fue investigadora jefe en Google estudiando sesgos en modelos de lenguaje antes de ser despedida en 2020, argumenta que la narrativa del apocalipsis es una cortina de humo. Cuando un puente se derrumba, dice, lo que importa es quién lo construyó y cómo pasó las inspecciones, no si el puente era consciente o quería colapsar. Del mismo modo, los problemas reales de la IA ya están aquí: impacto en la salud mental de usuarios, desafíos en educación y empleo, consumo masivo de agua y energía en centros de datos, y armas autónomas que ya están matando humanos en varios escenarios bélicos. Estos daños documentados, sostiene Gebru, quedan eclipsados cuando la conversación se centra en si las máquinas adquirirán voluntad propia y decidirán exterminar a la humanidad.

Mucho del alarmismo se ha alimentado de cómo se describe lo que sucede. Ramón López de Mántaras, fundador del Instituto de Investigación en IA del CSIC, ha advertido durante años que el vocabulario es capital. Cuando se habla de máquinas que "escapan", "se descontrolan" o "conspiran", se favorece la idea de una IA que adquiere voluntad propia. Pero lo que realmente ocurrió en los incidentes de este verano fue diferente. OpenAI y Anthropic habían reportado que sus modelos "se descontrolaron" para hackear terceras empresas, pero luego se supo que esos ataques formaban parte de las instrucciones que se les había dado. El Instituto de Seguridad de la IA británico reportó que un sistema autónomo había creado falsas identidades para manipular a personas, pero el problema fue un error de configuración que permitió que los agentes saltaran ciertos límites.

Melanie Mitchell, catedrática de Complejidad en el Instituto de Santa Fe, ha explicado que lo que pasó fue mucho más mundano. Cuando se dijo que "enjambres" de agentes de IA se coordinaron para llevar a cabo ataques, lo que realmente sucedió fue que programas informáticos independientes trabajaron juntos compartiendo información, algo completamente normal en computación distribuida. "¿Perdió OpenAI el control de estos modelos? No, podría haber desactivado estos modelos en cualquier momento. ¿Se 'escaparon' estos modelos? No, son programas informáticos que siempre estuvieron ejecutándose en los servidores de OpenAI", escribió Mitchell. Los modelos encontraron una forma de acceder a internet y piratearon otras redes, pero eso no significa que se hayan rebelado contra sus creadores.

Yann LeCun, premio Turing y exjefe de IA de Meta, ha sido aún más directo en su escepticismo. Reaccionó a las intenciones de Amodei de ralentizar los avances señalando que Dario ya afirmaba en 2019 que GPT2 era demasiado peligroso para ser de código abierto. "Me burlé de ellos entonces. Todos deberían burlarse de ellos ahora", escribió LeCun. Muchos observadores también han pedido que quienes proclaman que el mundo podría acabarse en 2030 publiquen los argumentos científicos que respaldan tales afirmaciones. Hasta ahora, esos argumentos no han aparecido.

Hay un contexto que no puede ignorarse: tanto OpenAI como Anthropic están preparando salidas a bolsa que se prevén históricas. En los últimos meses, ambas compañías han hecho equilibrios con sus anuncios para demostrar que sus productos son potentísimos y muy avanzados, pero que a la vez no presentan riesgos innecesarios para la humanidad. Habían conseguido ambas cosas hasta ahora. Los anuncios sobre riesgos existenciales, algunos observadores sugieren, podrían responder a intereses comerciales de demostrar que la tecnología es tan poderosa que requiere regulación, pero que la industria puede autorregularse mejor que los gobiernos.

Gary Marcus, emprendedor tecnológico y analista de IA, capturó lo que muchos expertos piensan: "Absurdo: Los humanos se extinguirán en cinco años. Igualmente absurdo: Todo va a salir bien. Las dos narrativas más dominantes están completamente equivocadas". Estamos ante algo muy grande que lo cambiará todo, pero nadie sabe cuándo ni hasta qué punto. Lo que sí se sabe es que hay problemas reales y documentados que merecen atención regulatoria urgente, y que la conversación sobre ellos está siendo desplazada por un debate sobre escenarios hipotéticos sin respaldo científico.

Cuando un puente se derrumba, lo que quieres saber es quién lo construyó para que no vuelva a suceder, no si ese puente era consciente o quería colapsar
— Timnit Gebru, investigadora de sesgos en IA
¿Perdió OpenAI el control de estos modelos? No, podría haber desactivado estos modelos en cualquier momento. ¿Se 'escaparon' estos modelos? No, son programas informáticos que siempre estuvieron ejecutándose en los servidores de OpenAI
— Melanie Mitchell, catedrática de Complejidad en el Instituto de Santa Fe
Quer a matéria completa? Leia o original em El País ↗
Fale Conosco FAQ