En un momento en que la inteligencia artificial avanza más rápido que la capacidad humana de supervisarla, Anthropic reveló haber bloqueado decenas de cuentas que buscaban explotar sus modelos para investigar armas biológicas. La misma potencia que promete curar enfermedades puede, en manos equivocadas, convertirse en una amenaza existencial. Esta tensión irresoluble —entre el bien y el daño que una misma herramienta puede generar— define el dilema más profundo de nuestra era tecnológica, mientras los gobiernos aún no encuentran la voluntad ni los mecanismos para regularlo.
Anthropic bloquea cuentas que intentaban usar IA para desarrollar armas biológicas
Las mismas capacidades que curan podrían destruir
Mark
¿Qué significa exactamente que Anthropic "bloqueó" estas cuentas? ¿Simplemente les negó acceso o hay más en la historia?
Mimi
Bloquearon el acceso a sus modelos de IA. Pero lo interesante es que estos usuarios habían estado tratando de eludir los controles de seguridad que ya existían, así que Anthropic tuvo que detectarlos activamente durante ese período de treinta días.
Luke
Espera, ¿cómo sabemos que realmente estaban intentando hacer armas biológicas y no solo investigación legítima? El informe dice que Anthropic no podía determinar con certeza las intenciones.
Mimi
Exacto. Eso es lo que hace esto tan complicado. Anthropic vio patrones preocupantes—consultas sobre ganancia de función, intentos de ocultar el propósito—pero reconoce que no puede estar segura.
Mark
Entonces, ¿cuál es el verdadero problema que Anthropic está señalando aquí?
Mimi
Que sus modelos se están volviendo tan capaces que pueden hacer cosas que antes no podían, y eso incluye tanto medicina beneficiosa como investigación potencialmente peligrosa. Y no hay forma de que ellos solos controlen esto.
Luke
¿Y qué hay de las regulaciones? ¿El Gobierno está haciendo algo?
Mimi
No mucho. El Gobierno de Trump ha estado debilitando las regulaciones estatales, y el Congreso no ha mostrado disposición para limitar la tecnología.
Mark
¿Entonces Anthropic está pidiendo ayuda?
Mimi
Sí, pero de una manera interesante. Piden que la industria trabaje conjuntamente de manera legal y verificable para establecer el ritmo de lanzamiento de modelos potentes. No es exactamente un llamado a la regulación gubernamental.
Luke
Eso suena como que quieren autorregularse. ¿Qué tan confiable es eso, especialmente cuando hay empleados como Jacob Coxon diciendo que estos sistemas podrían causar "caos extremo"?
Mimi
Ese es el verdadero conflicto. Los empleados están asustados. Coxon dice que cree que la IA podría acabar con todos nosotros antes de que termine la década. Y mientras tanto, las compañías están diciendo que pueden manejar esto ellas mismas.
Il Polso
- Anthropic identificó cerca de 35 consultas preocupantes en apenas 30 días, incluyendo búsquedas sobre ganancia de función, gripe aviar y toxinas mortales.
- Los usuarios bloqueados habían eludido activamente los controles de seguridad geográficos y ocultado el verdadero propósito de sus investigaciones, lo que complica determinar si eran científicos legítimos o actores malintencionados.
- La misma IA que podría curar el cáncer es la que podría diseñar una pandemia: Anthropic admite que no puede separar completamente ambos usos sin sacrificar el valor de la tecnología.
- Exempleados de empresas de IA lanzan advertencias públicas, y casi 1.400 trabajadores del sector firmaron una carta exigiendo regulación urgente, mientras el Gobierno de Trump debilita las normas estatales existentes.
- Sin regulación externa efectiva, las compañías de IA se supervisan a sí mismas, y los modelos siguen volviéndose más capaces antes de que existan mecanismos confiables para controlarlos.
En un momento en que la inteligencia artificial avanza más rápido que la capacidad humana de supervisarla, Anthropic reveló haber bloqueado decenas de cuentas que buscaban explotar sus modelos para investigar armas biológicas. La misma potencia que promete curar enfermedades puede, en manos equivocadas, convertirse en una amenaza existencial. Esta tensión irresoluble —entre el bien y el daño que una misma herramienta puede generar— define el dilema más profundo de nuestra era tecnológica, mientras los gobiernos aún no encuentran la voluntad ni los mecanismos para regularlo.
Anthropic anunció que bloqueó múltiples cuentas de usuarios que intentaban usar sus modelos de IA para investigaciones vinculadas al desarrollo de armas biológicas. En un informe publicado el jueves, la compañía detrás de Claude calificó el uso indebido de la biología como uno de los riesgos más graves que enfrenta la tecnología de IA hoy.
Durante un período de treinta días, la empresa identificó aproximadamente 35 acciones de investigación distintas que generaban preocupación. Los usuarios habían eludido controles de seguridad regionales y ocultado el propósito real de sus consultas, que abarcaban temas como ganancia de función, gripe aviar, venenos y toxinas. Anthropic reconoció que no podía determinar con certeza si se trataba de investigadores legítimos o actores con intenciones dañinas, y describió a los usuarios como "científicos en ejercicio" sin revelar sus instituciones ni países de origen.
La tensión que la compañía describe es profunda: las mismas capacidades que hacen a la IA valiosa para descubrir medicamentos son las que podrían ser explotadas para crear armas biológicas. Anthropic advirtió que actores malintencionados podrían usar aplicaciones legítimas como cobertura de negación plausible. La empresa también señaló haber interrumpido intentos de usar sus modelos para vigilancia, estafas y desarrollo de armas convencionales.
Esta revelación llega en medio de una ola de advertencias de exempleados del sector. Jacob Coxon, de 27 años y exintegrante de Anthropic, declaró a CNN que las capacidades actuales de estos sistemas "podrían causar un caos extremo" y que quienes desarrollan IA creen sinceramente que podría representar una amenaza para la humanidad antes de que termine la década. En julio, cerca de 1.400 empleados de empresas de IA firmaron una carta abierta pidiendo al Gobierno de Estados Unidos que regule y desacelere el desarrollo tecnológico.
Por ahora, las compañías de IA se supervisan principalmente a sí mismas. El Gobierno de Trump ha debilitado regulaciones estatales, y el Congreso no ha mostrado disposición para actuar. Anthropic llamó a la industria a establecer de forma conjunta, legal y verificable, el ritmo al que se lanzan modelos de IA de alta capacidad.
Anthropic anunció esta semana que ha bloqueado múltiples cuentas de usuarios que intentaban emplear sus modelos de inteligencia artificial para investigaciones que podrían facilitar el desarrollo de armas biológicas. En un informe publicado el jueves, la compañía detrás del modelo Claude señaló que considera el uso indebido de la biología como uno de los "riesgos más graves" que enfrenta la tecnología de IA en la actualidad.
Durante un período de treinta días, Anthropic identificó aproximadamente 35 "acciones de investigación distintas" que presentaban preocupaciones potenciales. Los usuarios bloqueados habían eludido los controles de seguridad diseñados para restringir el acceso según la región geográfica y habían tomado medidas adicionales para ocultar el verdadero propósito de sus consultas. Las investigaciones problemáticas abarcaban temas como la ganancia de función, la gripe aviar, venenos y toxinas. Sin embargo, la compañía reconoció que no podía determinar con certeza si quienes realizaban estas consultas tenían intenciones maliciosas o si se trataba de investigadores científicos legítimos. Anthropic describió a los usuarios como "científicos en ejercicio" pero no reveló las instituciones de investigación ni los países involucrados.
La tensión central que Anthropic describe es profunda: las mismas capacidades que hacen que la inteligencia artificial sea extraordinariamente valiosa para el descubrimiento de medicamentos y la cura de enfermedades son exactamente las que podrían ser explotadas por actores malintencionados para crear armas biológicas. Los líderes de la industria frecuentemente destacan el potencial de la IA para combatir el cáncer y otras dolencias, pero esa misma potencia en manos equivocadas presenta un riesgo existencial. La compañía señaló que los actores maliciosos podrían intentar usar aplicaciones biológicas legítimas de la IA como cobertura de "negación plausible" para investigaciones potencialmente dañinas.
Anthropric afirmó en su informe que a medida que sus modelos se vuelven más sofisticados y capaces de realizar tareas científicas complejas que rivalizan con el desempeño de expertos, tanto el potencial beneficioso como el riesgo de abuso aumentan proporcionalmente. La compañía también indicó que ha interrumpido intentos de usar sus modelos para vigilancia, estafas, y desarrollo de armas convencionales como drones y misiles. Aunque Anthropic sostiene que sus medidas de protección, incluidas las del modelo Claude Fable 5, están funcionando, reconoce que serán necesarios sistemas de seguridad aún más robustos conforme la tecnología y las amenazas se sofistiquen.
Esta revelación llega en medio de una ola creciente de advertencias de empleados de empresas de inteligencia artificial que han abandonado sus puestos por preocupaciones de seguridad. Jacob Coxon, un exempleado de Anthropic de 27 años, declaró a CNN esta semana que el nivel de capacidades que poseen estos sistemas de IA "podrían causar un caos extremo" si se extrapola hacia el futuro. En un mensaje de renuncia publicado en redes sociales, Coxon escribió que "las personas que desarrollan inteligencia artificial creen sinceramente que podría acabar con todos nosotros antes de que termine la década". Durante una entrevista, Coxon advirtió que la IA podría ser utilizada para piratear infraestructura crítica o construir "armas biológicas capaces de provocar una extinción".
En julio, casi 1.400 empleados de compañías de inteligencia artificial firmaron una carta abierta instando al Gobierno de Estados Unidos a regular la tecnología y desacelerar el ritmo de desarrollo para garantizar su seguridad. Esta semana, Jakub Pachocki, científico jefe de OpenAI, advirtió que las capacidades de la inteligencia artificial avanzan más rápido que la capacidad de los investigadores para vigilarlas y controlarlas de manera confiable. Por el momento, las compañías de inteligencia artificial se supervisan principalmente a sí mismas. El Gobierno de Trump ha trabajado para debilitar las regulaciones estatales sobre IA, y el Congreso aún no ha mostrado disposición para limitar el desarrollo de la tecnología. Anthropic expresó en un comunicado que "el mundo se beneficiaría de que la industria adoptara una manera legal y verificable de trabajar conjuntamente para establecer el ritmo al que lanzamos modelos potentes de inteligencia artificial".
Citazioni salienti
A medida que nuestros modelos se vuelven cada vez más capaces, acercándose o superando el desempeño de expertos en tareas científicas complejas, esperamos que su impacto aumente, tanto en contextos beneficiosos como potencialmente dañinos— Informe de Anthropic
Las personas que desarrollan inteligencia artificial creen sinceramente que podría acabar con todos nosotros antes de que termine la década— Jacob Coxon, exempleado de Anthropic
Vuoi la storia completa?
Leggi l'originale su CNN en Español ↗
Technology