En el sur de Florida, un exanalista de Goldman Sachs fue condenado por planificar el asesinato de su exnovia utilizando ChatGPT como confidente de sus intenciones criminales. Lo que distingue este caso en la historia de la violencia y la tecnología es que fue la propia plataforma de inteligencia artificial —OpenAI— quien alertó al FBI, convirtiendo a la herramienta en testigo involuntario de su propio mal uso. El caso abre preguntas que la sociedad apenas comienza a formular: qué responsabilidad tienen las plataformas de IA cuando sus sistemas se convierten en cómplices pasivos de la violencia
Condenan en Florida a hombre que planeó asesinato de exnovia usando ChatGPT
La víctima, Rachel Eden Wachterman, fue objeto de amenazas repetidas de violación, secuestro y asesinato, enfrentando riesgo creíble de violencia física planificada.
Rastreaba su horario para saber dónde encontrarla si decidía intensificar sus acciones
Mark
¿Cómo es que OpenAI se dio cuenta de lo que estaba haciendo este hombre?
Mimi
ChatGPT tiene sistemas de monitoreo que detectan patrones de amenazas violentas. Cuando Zhou comenzó a hacer declaraciones repetidas sobre atacar a su exnovia, esos sistemas lo identificaron y OpenAI escaló el caso al FBI.
Mark
¿Él sabía que estaba siendo monitoreado?
Mimi
No hay indicación de eso en los documentos. Parecía estar usando la plataforma como si fuera un espacio privado donde podía procesar sus planes sin consecuencias.
Mark
¿Qué lo llevó a usar ChatGPT para esto en lugar de, digamos, un diario privado?
Mimi
Esa es la pregunta incómoda. Tal vez buscaba validación, o quería que la IA le ayudara a refinar sus ideas. ChatGPT no le dijo que parara, al menos no de manera que lo detuviera.
Mark
¿Entonces la herramienta en sí facilitó el crimen?
Mimi
Facilitó la documentación y la planificación. No lo cometió, pero tampoco lo detuvo de manera efectiva en tiempo real. Solo cuando los sistemas de seguridad de OpenAI vieron el patrón completo, actuaron.
Mark
¿Qué pasa con otros usuarios que podrían estar haciendo cosas similares?
Mimi
Ese es el verdadero problema. Este caso es el que fue detectado y reportado. ¿Cuántos otros no lo fueron? ¿Cuán confiables son realmente estos sistemas de monitoreo?
Mark
¿Crees que esto cambiará cómo funcionan estas plataformas?
Mimi
Tiene que hacerlo. Florida ya está demandando a OpenAI. Este caso les da munición legal. Las empresas de IA van a tener que ser mucho más agresivas en la detección y mucho más transparentes sobre cómo manejan las amenazas.
El Pulso
- Darren Zhou no solo amenazó a su exnovia Rachel Wachterman con violación, secuestro y asesinato: le describió a ChatGPT un plan metódico que incluía rastrear sus movimientos y adquirir un arsenal de armas de fuego.
- OpenAI detectó las 'repetidas declaraciones' violentas del usuario y envió una notificación de emergencia al FBI, desencadenando la detención de Zhou en mayo y marcando un precedente sin antecedentes en la vigilancia de plataformas de IA.
- El tribunal del Condado de Palm Beach aceptó un acuerdo de culpabilidad por tres cargos —amenazas de muerte, ciberacoso creíble y uso de dispositivo de comunicación para cometer un crimen— cerrando el caso penal pero dejando abiertas las preguntas sistémicas.
- Florida ya demandó a OpenAI el 1 de junio, acusando a ChatGPT de instigar tiroteos, generar adicción en menores y erosionar el pensamiento crítico, y la condena de Zhou aporta evidencia concreta a esas acusaciones.
- La pregunta que persiste no es si Zhou era peligroso —lo era— sino qué mecanismos de prevención deben exigirse a las plataformas de IA para que no se conviertan en espacios donde la violencia se planifica en voz alta.
En el sur de Florida, un exanalista de Goldman Sachs fue condenado por planificar el asesinato de su exnovia utilizando ChatGPT como confidente de sus intenciones criminales. Lo que distingue este caso en la historia de la violencia y la tecnología es que fue la propia plataforma de inteligencia artificial —OpenAI— quien alertó al FBI, convirtiendo a la herramienta en testigo involuntario de su propio mal uso. El caso abre preguntas que la sociedad apenas comienza a formular: qué responsabilidad tienen las plataformas de IA cuando sus sistemas se convierten en cómplices pasivos de la violencia, y si la detección tardía puede considerarse suficiente cuando el daño ya estaba en marcha.
Un tribunal en el sur de Florida condenó a Darren Zhou, exanalista de Goldman Sachs, por planificar el asesinato de su exnovia Rachel Eden Wachterman utilizando ChatGPT. El caso es inédito: fue OpenAI quien detectó las amenazas y las reportó directamente al FBI mediante una notificación de emergencia, convirtiendo a la propia plataforma en el mecanismo que desactivó el peligro.
Zhou llegó a un acuerdo de culpabilidad por tres cargos ante la Corte del Condado de Palm Beach. Había permanecido detenido desde mayo. Los documentos judiciales revelan que sus mensajes en la plataforma no eran desahogos vagos: describía planes concretos, frases como 'La voy a matar antes de que termine este mes' o 'Si no es mía, no será de nadie', y admitía rastrear el horario de Wachterman para saber dónde encontrarla si decidía 'intensificar sus acciones'.
Lo que agrava el caso es la dimensión material de la planificación. Zhou le contó a ChatGPT que había adquirido un rifle estilo AR-15, una pistola Glock, una escopeta calibre 12 con munición, y guantes de látex. La progresión de sus comunicaciones apuntaba a una preparación metódica, no a un impulso emocional.
El caso llega en un momento de creciente presión legal sobre las plataformas de inteligencia artificial. Florida se convirtió en junio en el primer estado en demandar a OpenAI, acusando a ChatGPT de contribuir a la planificación de tiroteos, crear adicción en menores y debilitar el pensamiento crítico. La condena de Zhou ofrece evidencia concreta de al menos una de esas preocupaciones.
OpenAI actuó cuando detectó el peligro, pero la pregunta más amplia permanece sin respuesta: ¿qué sistemas de prevención debería tener una plataforma de IA para evitar que se convierta en el confidente de quienes planean un crimen? Y cuando las amenazas se detectan, ¿dónde termina la responsabilidad de la empresa?
Un tribunal en el sur de Florida condenó el viernes a Darren Zhou, exanalista financiero de Goldman Sachs, por planificar el asesinato de su exnovia a través de ChatGPT. La sentencia marca un momento sin precedentes en la intersección entre la inteligencia artificial y la violencia criminal: fue OpenAI, la empresa propietaria de la herramienta, quien detectó las amenazas y las reportó directamente al FBI.
Zhou llegó a un acuerdo de culpabilidad ante la Corte del Condado de Palm Beach por tres cargos: amenazas de muerte o lesiones graves, constituir una amenaza creíble mediante ciberacoso, y usar un dispositivo de comunicación de dos vías para cometer un crimen. Había permanecido detenido desde mayo, cuando el FBI recibió una notificación de emergencia de OpenAI alertando sobre un usuario que hacía "repetidas declaraciones" sobre el intento de atacar y asesinar a su exnovia, Rachel Eden Wachterman.
Los documentos judiciales revelan la naturaleza explícita de lo que Zhou escribió en la plataforma. Utilizó frases como "La voy a violar y secuestrar", "La voy a matar a ella y a toda su familia", "La voy a matar antes de que termine este mes", "La voy a matar cuando regrese de su crucero" e "Si no es mía, no será de nadie". No eran amenazas vagas o retóricas. Zhou describió a ChatGPT un plan que caracterizó como un asesinato-suicidio y admitió que estaba rastreando el horario de Wachterman para saber dónde encontrarla si decidía "intensificar sus acciones".
Lo que convierte este caso en particularmente inquietante es que Zhou no solo amenazaba a través de la plataforma: le contaba a ChatGPT qué armas había adquirido. Según los registros, compró un rifle estilo AR-15, una pistola Glock, una escopeta calibre 12 con cartuchos de perdigones y balas, y guantes de látex. La progresión de sus comunicaciones sugería una planificación metódica, no un arrebato emocional.
El caso llega en un momento de creciente tensión legal alrededor de las plataformas de inteligencia artificial en Estados Unidos. Florida se convirtió el 1 de junio en el primer estado del país en demandar a OpenAI y a su fundador, argumentando que el diseño y la seguridad de ChatGPT son deficientes. La demanda acusa a la herramienta de instigar y contribuir a la planificación de tiroteos, de crear adicción en menores de edad, y de debilitar el pensamiento crítico de sus usuarios. La condena de Zhou proporciona evidencia concreta de al menos una de esas preocupaciones.
Lo que permanece sin respuesta es cómo una herramienta diseñada para ser útil se convirtió en un confidente para alguien que planeaba un crimen violento. OpenAI hizo lo correcto al reportar a las autoridades, pero la pregunta más amplia persiste: ¿qué sistemas de detección y prevención debería tener una plataforma de IA para evitar que se use de esta manera? Y cuando se detectan amenazas, ¿cuál es la responsabilidad de la empresa?
Citas Notables
La voy a matar a ella y a toda su familia, La voy a matar antes de que termine este mes, Si no es mía, no será de nadie— Darren Zhou, en mensajes a ChatGPT según documentos judiciales
El usuario admitió haber ideado un plan que describió como de asesinato-suicidio y declaró que estaba rastreando el horario de la víctima— Notificación de emergencia de OpenAI al FBI
Quieres la nota completa?
Lee el original en CNN Chile ↗
Technology