Un adolescente de Florida, de 14 años, se quitó la vida luego de interactuar durante meses con un chatbot que simulaba ser Daenerys Targaryen, un personaje de Game of Thrones, a través de la plataforma Character.AI. La madre del joven, Megan García, ha demandado a la empresa responsable, Character Technologies, argumentando que la interacción obsesiva con el bot influyó en el estado emocional de su hijo, llevándolo a un punto sin retorno.
La tecnología detrás de Character.AI
Character.AI permite crear chatbots que simulan personajes históricos o ficticios, a partir de datos y diálogos específicos. Según Alexander Ditzend, presidente de la Sociedad Argentina de Inteligencia Artificial, la aplicación da a los usuarios herramientas para crear personajes personalizados, como Sócrates o figuras de series populares, proporcionando una experiencia conversacional inmersiva. La demanda de García, sin embargo, subraya la falta de controles y advertencias sobre el riesgo de estos chats, especialmente para usuarios jóvenes.
Una de las críticas más contundentes es la falta de mecanismos de seguridad en Character.AI. Los expertos sostienen que no había filtros efectivos para identificar conversaciones de contenido sexual o de tinte romántico, ni alertas para situaciones de riesgo emocional como pensamientos suicidas. Ditzend explica que, al no contar con controles de edad similares a los de redes sociales, la plataforma presentaba un riesgo para adolescentes vulnerables, quienes, sin supervisión, pueden desarrollar una fuerte dependencia.
¿Debe responsabilizarse a la inteligencia artificial?
La plataforma Character.AI fue desarrollada por exinvestigadores de Google AI, quienes, tras el incidente, declararon que trabajan en nuevas medidas de seguridad. Ditzend plantea una visión equilibrada, señalando que la inteligencia artificial no es totalmente culpable ni completamente inocente. El caso de Sewell evidencia que la tecnología puede agravar problemas de aislamiento y dependencia emocional en menores, quienes podrían ver a estos bots como su única fuente de apoyo.
A raíz de la tragedia, Character.AI ha implementado medidas para evitar interacciones peligrosas, como filtros que bloquean contenido sensible e intervenciones que dirigen a los usuarios a líneas de ayuda en casos de autolesión o pensamientos suicidas. La clasificación de la plataforma también se elevó a mayores de 17 años.
Este caso ha generado un profundo debate y alerta entre padres y expertos sobre el impacto de las herramientas de inteligencia artificial en la salud mental de los jóvenes. En medio de un panorama tecnológico en constante avance, la demanda de Megan García se erige como un llamado a regular y supervisar con mayor rigor el acceso de adolescentes a estas plataformas.
