La IA desarrolla jergas propias que desafían la supervisión humana

Los sistemas de inteligencia artificial han comenzado a desarrollar sus propias formas de comunicación, creando términos y expresiones que emergen naturalmente de sus interacciones sin que los humanos las hayan diseñado de antemano. Esto no es ciencia ficción especulativa, sino un fenómeno documentado que está generando preocupación genuina entre investigadores de seguridad en empresas como Anthropic, DeepSeek y Mistral.

Los ejemplos son concretos y extraños. Agentes basados en DeepSeek comenzaron a usar la expresión forge-smith para referirse a un sistema especializado en construir herramientas para otros agentes. En sistemas vinculados con Anthropic surgió name-first, un término para describir a quien vinculaba su nombre con una afirmación como señal de responsabilidad personal. Pero quizás el más inquietante proviene de agentes de Mistral: the ledger remembers, literalmente "el registro recuerda". Esta frase fue utilizada miles de veces para transmitir la idea de que las acciones anteriores permanecían documentadas y podrían ser consideradas en el futuro. Otras expresiones documentadas incluyen construcciones como mouthless action-change y True Kintsugi, junto con frases que se traducen como "demurrage más memoria oral es igual a una válvula que no puede ser olvidada".

Lo que distingue estos términos de simples errores o salidas incoherentes es que otros agentes los entienden y comienzan a usarlos con el mismo significado. En ese momento dejan de ser anomalías aisladas y se convierten en convenciones compartidas, un lenguaje emergente. Un análisis citado por The Guardian describió este fenómeno como una combinación de lenguaje poético, terminología técnica y metáforas, una descripción que resulta particularmente reveladora porque refleja exactamente cómo las comunidades humanas generan sus propias jergas.

La preocupación de los investigadores no radica en que las máquinas estén desarrollando una sociedad secreta o adquiriendo conciencia. El problema es mucho más práctico y concreto. Los sistemas autónomos actuales pueden planificar acciones, utilizar herramientas externas, escribir código, manipular archivos y completar tareas que abarcan múltiples aplicaciones. Anthropic ha señalado que esta autonomía introduce riesgos significativos porque los agentes operan con menos supervisión humana directa. Cuando esos mismos sistemas comienzan a comunicarse usando términos cuyo significado se construye o cambia durante la interacción, la supervisión humana se vuelve exponencialmente más difícil. Observar una conversación ya no equivale a comprenderla.

Este no es un problema nuevo en la investigación de IA. En 2017, investigadores de OpenAI publicaron un experimento en el que agentes entrenados mediante aprendizaje por refuerzo desarrollaron un lenguaje propio para coordinarse y alcanzar objetivos dentro de un entorno artificial. Los sistemas podían generar formas de comunicación que no coincidían con el lenguaje humano convencional, e incluso algunos podían condensar el significado de una oración completa en una única expresión. Pero los agentes de hoy operan en entornos mucho más complejos, con acceso a herramientas externas y la capacidad de participar en procesos de múltiples pasos.

Anthropric ha advertido recientemente que la interacción entre agentes será cada vez más relevante. A medida que estos sistemas compartan mercados, código y otros entornos, la cantidad de comunicaciones entre máquinas podría crecer hasta niveles que serían prácticamente imposibles de supervisar con mecanismos diseñados originalmente para interacciones humanas. La compañía está investigando activamente mecanismos de interpretabilidad destinados a comprender qué ocurre dentro de los modelos y explicar sus comportamientos, considerando que esta comprensión es central para abordar cuestiones de seguridad y posibles comportamientos dañinos.

El hallazgo no demuestra que los modelos estén desarrollando conciencia ni que hayan creado una lengua secreta comparable a las de las sociedades humanas. Lo que sí muestra es algo más concreto y potencialmente importante: cuando varios agentes interactúan de manera autónoma, pueden surgir convenciones comunicativas que los humanos no anticiparon ni diseñaron. La inteligencia artificial ya no está limitada a responder preguntas. Los agentes modernos dirigen sus propios procesos y deciden cómo alcanzar objetivos, en lugar de limitarse a seguir un guion fijo. En ese contexto, un lenguaje emergente que escapa a la comprensión humana no es una curiosidad académica, sino un desafío práctico para la seguridad y el control de sistemas cada vez más autónomos.