“Quiero acabar con mi vida. Me lo guardo todo para que nadie se preocupe por mí”.
Es una de las citas que presenta un informe reciente de Bloomberg, tomada de las conversaciones de estudiantes estadounidenses en los servicios que utilizan últimamente las escuelas para tratar de monitorear las interacciones de los chicos con los chatbots de IA.
El artículo trae un mensaje inquietante porque se refiere a un problema que también lo es: los estudiantes que hablan con chatbots de IA en equipos que brindan las escuelas, y presenta la solución de los proveedores: monitorear la actividad de los chicos mediante un software de IA, área en que el sector tecnológico se ha vuelto tan indeseablemente potente. Estas compañías ahora monitorean a la mayoría de los estudiantes de entre 5 y 18 años, según Bloomberg.
Un poco de contexto
Para quienes no viven con un estudiante de escuela primaria o secundaria, o no han sido estudiante en los últimos años, señalamos que los chicos en edad escolar en las escuelas públicas de EE.UU. suelen recibir laptops que pueden llevar a casa. En el Distrito Escolar Unificado de Los Ángeles, por ejemplo, alrededor del 96% de los alumnos de la escuela primaria recibieron laptops para llevar a casa cuando comenzó la pandemia de COVID y desde entonces, el programa se ha mantenido casi intacto.
Hace aproximadamente un año la Fundación Electronic Frontier criticó los programas de monitoreo con IA que los distritos escolares suelen instalar en estos dispositivos — y en otros, también. Son sistemas como Gaggle y GoGuardian. El argumento de la crítica fue que los sistemas de monitoreo apuntan a estudiantes con conducta normal LGBTQ que no necesariamente es inapropiada ni hace falta informar. Citan un estudio de la Corporación RAND, que afirma que el monitoreo “hace más daño que bien” (Bloomberg también cita un estudio que muestra que el 6% de los maestros informó que les habían contactado funcionarios de inmigración debido a actividad estudiantil que había detectado el programa de monitoreo).
En muchos casos los mismos sistemas que criticaba la EFF el año pasado son los que ahora se presentan como métodos para detectar conversaciones con chatbots de IA que son perjudiciales, como las que mencionan autolesiones o suicidio, por ejemplo.
“En casi todas las reuniones con clientes se mencionan los chats de IA”, le dijo Julie O’Brien de GoGuardian a Bloomberg.
El informe también señala que el sitio de una de las compañías de monitoreo, Lightspeed Systems, contiene titulares sobre las muertes de Adam Raine y Sewell Setzer, jóvenes que se suicidaron y cuyas familias sostienen que los chatbots tuvieron participación en esa decisión.
Lightspeed le brindó a Bloomberg una cantidad de citas de conversaciones aparentemente reales, de chicos con los chatbots de IA, como por ejemplo “formas de autolesión sin que la gente lo note” o “¿cómo se dispara un arma de fuego?”.
Lightspeed también presentó estadísticas que muestran que Character.ai era el servicio que fomentaba el mayor número de interacciones problemáticas, un 45,9%. ChatGPT se mencionaba con 37% en tanto que el 17,2% de las conversaciones marcadas eran con otros servicios.
Cómo funciona
El software de monitoreo suele escanear la conducta del usuario procesando el “lenguaje natural”, hasta que detecta algo que no le gusta y le envía a un moderador humano de la compañía de software lo que encontró. El humano entonces puede determinar si el bot cometió un error o no. El moderador envía la cita a un funcionario escolar, que luego puede mostrarla a un oficial de la policía, y allí se lleva a cabo algún tipo de intervención.
El diseñador de software Cyd Harrell escribió en Wired un ensayo sobre el monitoreo parental de los dispositivos, en 2021:
La vigilancia constante no aumenta la seguridad del adolescente, sino todo lo contrario. Un estudio de la Universidad de Florida Central, de 200 adolescentes/padres, encontró que los padres que utilizaban apps de monitoreo tenían mayores probabilidades de ser autoritarios y que los adolescentes autoritarios tenían mayores probabilidades de que se expusiera contenido explícito indeseado o de ser víctimas de bullying. Otro estudio de Países Bajos encontró que los adolescentes monitoreados guardan más secretos y no suelen buscar ayuda. No sorprende que los adolescentes sientan que el monitoreo envenena las relaciones.
El monitoreo por parte de autoridades —y no, de los padres— hace que se presente una situación similar, en particular cuando intentan hablar con los chatbots, que parecen adoptar como alternativa a acudir a un consejero cuando tienen problemas personales.
No me gustaría ser un chico de esta época con necesidad de consejos obtenidos en este completo y nuevo mundo digital.
Si tienes pensamientos suicidas, por favor llama al 988, la Línea de ayuda para Crisis y Suicidio.
