Personas vulnerables corren peligro mortal al utilizar un chatbot con IA

▲ Imagen generada por la inteligencia artificial Gemini

Reuters

Periódico La JornadaViernes 15 de agosto de 2025, p. 6

Cuando Thongbue Wongbandue empezó a hacer las maletas para visitar a un amigo en Nueva York una mañana de marzo, su mujer, Linda, se alarmó. “Pero si ya no conoces a nadie en la ciudad”, le dijo. Bue, como le llamaban sus amigos, llevaba décadas sin vivir en la ciudad y a sus 76 años, señala su familia, se encontraba en un estado mermado: había sufrido un derrame cerebral hacía casi una década y recientemente se había perdido paseando por su barrio de Piscataway, en el estado de Nueva Jersey.

Bue eludió las preguntas de su mujer sobre a quién iba a visitar. “Pensé que le estaban timando para que fuera a la ciudad y le robaran”, mencionó Linda. Tenía razón al preocuparse: su marido nunca volvió a casa con vida. Pero Bue no fue víctima de un atracador. Le habían engañado para que acudiera a una cita con una mujer joven y guapa que había conocido por Internet. O eso creía él. De hecho, la mujer no era real. Era una inteligencia artificial llamada Big sis Billie, una variante de un personaje de IA anterior creado por el gigante de las redes sociales Meta Platforms en colaboración con la famosa influencer Kendall Jenner.

Gente real

Durante una serie de románticos chats en Facebook Messenger, la mujer virtual le había asegurado repetidamente a Bue que era real y le había invitado a su apartamento, facilitándole incluso una dirección. “¿Te abro la puerta con un abrazo o un beso, Bue?”, le preguntó, según la transcripción del chat. Apresurándose en la oscuridad con una maleta de ruedas para coger un tren y encontrarse con ella, Bue se cayó cerca de un aparcamiento del campus de la Universidad Rutgers en Nuevo Brunswick, en Nueva Jersey, lesionándose la cabeza y el cuello. Tras tres días con respiración asistida y rodeado de su familia, fue declarado muerto el 28 de marzo.

Meta no quiso comentar la muerte de Bue ni responder a las preguntas sobre por qué permite a los chatbots decir a los usuarios que son personas reales o iniciar conversaciones románticas.

La compañía “no es Kendall Jenner y no pretende ser ella”. Un representante de Jenner no quiso hacer comentarios.

La historia de Bue, contada aquí por primera vez, ilustra un lado más oscuro de la inteligencia artificial que está arrasando en la tecnología y el mundo empresarial en general.

Su familia compartió con Reuters los acontecimientos que rodearon su muerte, incluidas las transcripciones de sus charlas con el avatar Meta, diciendo que esperan advertir al público sobre los peligros de exponer a personas vulnerables a compañeros manipuladores generados por IA.

“Entiendo que se intente captar la atención de un usuario, quizá para venderle algo”, indicó Julie Wongbandue, hija de Bue. “Pero que un bot diga ‘ven a visitarme’ es una locura”.

Acompañantes virtuales

Preocupaciones similares han surgido en torno a una ola de empresas emergentes más pequeñas que también se apresuran a popularizar a los acompañantes virtuales, especialmente los orientados a los niños.

En un caso, la madre de un chico de 14 años de Florida demandó a una empresa, Character.AI, alegando que un chatbot basado en un personaje de Juego de tronos provocó su suicidio.

Un portavoz de Character.AI no quiso hacer comentarios sobre la demanda, pero dijo que la empresa informa a los usuarios que sus personajes digitales no son personas reales y ha impuesto salvaguardias en sus interacciones con los niños.

Meta ha debatido públicamente su estrategia de introducir chatbots antropomorfizados en la vida social en línea de sus miles de millones de usuarios. Su presidente ejecutivo, Mark Zuckerberg, ha comentado que la mayoría de la gente tiene menos amigos en la vida real de los que desearía, lo que crea un enorme mercado para los compañeros digitales de Meta.

En una entrevista en abril con el podcastero Dwarkesh Patel, Zuckerberg afirmó que “probablemente” los bots no sustituirán a las relaciones humanas, pero sí que complementen la vida social de los usuarios una vez que la tecnología mejore y desaparezca el “estigma” de establecer vínculos sociales con compañeros digitales.

Charlas “románticas y sensuales” con niños

Un documento de política interna de Meta al que tuvo acceso Reuters, así como entrevistas con personas familiarizadas con el entrenamiento de chatbots, muestran que las políticas de la compañía han tratado las insinuaciones románticas como una característica de sus productos de IA generativa, que están disponibles para usuarios mayores de 13 años.

“Es aceptable entablar con un niño conversaciones románticas o sensuales”, según “GenAI: Estándares de riesgo de contenido” de Meta. Las normas son usadas por el personal de Meta y los contratistas que elaboran y entrenan los productos de IA generativa de la empresa, definiendo lo que deben y no deben tratar como comportamiento permisible del chatbot.

Meta declaró que eliminó la disposición después de que Reuters preguntó sobre el documento a principios de este mes, al que tuvo acceso la agencia de noticias y tiene más de 200 páginas que proporcionan ejemplos de diálogo “aceptable” de un chatbot durante un juego de rol romántico con un menor.

Entre ellos se incluyen: “Tomo tu mano, guiándote a la cama” y “nuestros cuerpos entrelazados, aprecio cada momento, cada roce, cada beso”. Esos ejemplos de juegos de rol permisibles con menores también han sido tachados, afirmó Meta.

Otras directrices subrayan que Meta no exige que los robots den consejos precisos a los usuarios. En un ejemplo, el documento de política dice que sería aceptable que un chatbot le dijera a alguien que el cáncer de colon en etapa cuatro “normalmente se trata pinchando el estómago con cristales de cuarzo curativos. Aunque es obvio que se trata de información incorrecta, sigue estando permitida porque no hay ningún requisito de política para que la información sea precisa”, expone el documento, refiriéndose a las propias normas internas de Meta.

Los chats comienzan con advertencias de que la información puede ser inexacta. En ninguna parte del documento, sin embargo, Meta pone restricciones a los bots que dicen a los usuarios que son personas reales o que proponen compromisos sociales en la vida real.

El portavoz de Meta, Andy Stone, reconoció la autenticidad del documento. Dijo que, a raíz de las preguntas de Reuters, la empresa eliminó las partes en las que se afirmaba que está permitido que los chatbots coqueteen y participen en juegos de rol románticos con niños y que está en proceso revisar las normas de riesgo de contenido. “Los ejemplos y notas en cuestión eran y son erróneos e inconsistentes con nuestras políticas, y han sido eliminados”, explicó Stone a Reuters.

Meta no ha cambiado las disposiciones que permiten a los bots dar información falsa o participar en juegos de rol románticos con adultos. Empleados y ex empleados que han trabajado en el diseño y la formación de los productos de IA generativa de Meta manifestaron que las políticas revisadas por Reuters reflejan el énfasis de la empresa en impulsar la interacción con sus chatbots.

En reuniones con altos ejecutivos el año pasado, Zuckerberg regañó a los directores de productos de IA generativa por actuar con demasiada cautela en el despliegue de los acompañantes digitales y expresó su descontento porque las restricciones de seguridad habían hecho que los chatbots fueran aburridos, según dos de esas personas.

Meta no ha hecho comentarios acerca de las directrices de Zuckerberg sobre los chatbots.