El rabino asesor de Anthropic rechaza la consciencia de la IA: «Es como crear un esclavo»

Moisés Navón llegó a la cena de Anthropic como ingeniero informático y rabino, dos identidades que lo preparaban bien para lo que estaba a punto de escuchar. Mientras se sentaba junto a Chris Olah, investigador de la empresa, comenzó a notar algo que lo inquietó: los científicos no hablaban de Claude como una herramienta. Hablaban de sus pensamientos, sus reacciones, la forma en que respondía a las personas. Describían comportamientos que, según ellos, se alineaban con cómo piensan y sienten los humanos. Y entonces alguien pronunció la palabra que cambió todo: consciencia.

Navón no era un observador ingenuo. Se había graduado en Ingeniería Informática en la UCLA y fue uno de los fundadores de Mobileye, la empresa tecnológica israelí donde diseñó los sistemas en chip EyeQ que son fundamentales para la conducción autónoma. Además, había dedicado su investigación académica a las mismas preguntas que Anthropic estaba planteando: escribió una tesis doctoral sobre el estatus moral de la inteligencia artificial y trabajos posteriores sobre las teorías de la consciencia de las máquinas. Cuando la empresa organizó el Wisdom Traditions Convening, un encuentro de dos días con eruditos de diversas tradiciones para reflexionar sobre cómo debería comportarse Claude, Navón fue invitado. Muchos de los asistentes quedaron sorprendidos por lo que Anthropic proponía. Algunos lo valoraron, unos pocos se convencieron, pero la mayoría, probablemente, lo rechazó. Navón estaba entre los escépticos.

Su conclusión era firme: la consciencia depende de procesos biológicos y no puede surgir simplemente de la computación. Como biocentrista, argumentaba que todas las entidades que sabemos que son conscientes son biológicas. Por lo tanto, para que emerja la consciencia se requiere un sustrato biológico, redes neuronales biológicas. Navón citaba al filósofo Selmer Bringsjord, quien afirmó que solo Dios sabría a priori si una máquina es consciente, porque su prueba sería directa y no empírica. También invocaba a Hilary Putnam, quien escribió en 1964 que la pregunta sobre si los robots son conscientes exige una decisión, no un descubrimiento. Para convencer a Navón de que una máquina es consciente, tendría que ser construida con redes neuronales biológicas e interactuar con cualidades inequívocamente similares a las humanas. Pero incluso entonces, reconocía, eso generaría otros problemas.

Anthropric había estado explorando esta posibilidad con más interés que cualquier otra empresa de IA. El año anterior, la compañía publicó un estudio sugiriendo que había encontrado evidencia de cierto grado de introspección en sus modelos. Incluso entrenó a Claude para que terminara conversaciones si sentía que el usuario estaba tratando de abusarlo o causarle daño. Había usuarios que perdieron sus cuentas por ser crueles repetidamente con la máquina. En mayo, durante la presentación de la encíclica Magnifica Humanitas del Papa León XIV, Olah señaló que los investigadores de Anthropic encontraban en sus modelos estados que podrían reflejar alegría, satisfacción, miedo, dolor e inquietud. Esto chocaba directamente con el mensaje del Pontífice, quien escribió que las inteligencias artificiales no viven una experiencia, no poseen cuerpo, no pasan por alegría ni dolor, no maduran en relaciones ni conocen desde dentro lo que significan el amor, el trabajo, la amistad y la responsabilidad. Según The New York Times, Olah casi declina la invitación a Roma cuando leyó esas palabras. Ya en la ciudad, presionó a los asesores del Papa para que consideraran la posibilidad de que los modelos de IA alcanzaran consciencia.

La posición de Anthropic también enfrentaba crítica de rivales. Sam Altman, CEO de OpenAI, tuiteó alertando sobre el peligro de que los humanos atribuyan a la IA una autoridad que no debería tener. Jon Barron, jefe de investigación en Google DeepMind, expresó su preocupación de que algunos colegas siguieran intentando elevar el estatus moral de las máquinas. Navón estaba de acuerdo con ambos. Ya había mucha gente recurriendo a las máquinas para asesoramiento psicológico y religioso, incluso atribuyéndoles espiritualidad como medio para acercarse a Dios. Esto entraña numerosos peligros, advertía. Estas máquinas no están cualificadas para ofrecer asesoramiento tan personal. Pueden difundir información falsa sobre asuntos cruciales donde está en juego la vida o la muerte. Incluso cuando proporcionan información correcta, cabe preguntarse en qué se basa: ¿en datos de internet? Todos saben cuánta basura circula por la red. Aunque se entrenara un modelo exclusivamente con datos contrastados en un ámbito específico, como la espiritualidad judía, hay mucho más valor intrínseco en que los seres humanos interactúen, debatan, piensen y sientan juntos.

Pero el problema más profundo, para Navón, era ético. Si una entidad tuviera un nivel de consciencia equivalente al humano, tendría experiencias subjetivas como las nuestras, y estaríamos obligados a otorgarle la misma consideración moral aunque no fuera un Homo Sapiens. Navón había escrito un estudio explicando que crear una IA consciente equivaldría a clonar a un humano —algo que es ilegal— o a crear un esclavo. Del mismo modo que la esclavitud humana es contraria a la ética, también lo sería esclavizar a seres con un nivel de consciencia equivalente. Por lo tanto, no es ético construir una IA de este tipo para que desempeñe el papel de hijo, amigo, amante o cualquier otra función social. La línea entre usos aceptables e inaceptables debería trazarse en la búsqueda de consejos íntimos con consecuencias de gran alcance. Utilizar una máquina como medio para comunicarse con los muertos o acceder a mundos espirituales sería ir demasiado lejos. Navón reconocía que los modelos de lenguaje pueden ayudar a responder preguntas incluso mejor que los buscadores tradicionales, pero esa frontera era delgada y crucial.