Pasó una semana desde que una compañía de juguetes retiró del mercado su oso de peluche con IA debido a la preocupación por la seguridad infantil. Ahora, la compañía regresa su distópico animal de peluche a las estanterías virtuales. Se trata de FoloToy, que vende el peluche llamado “Kumma” y dice que ha corregido la seguridad del juguete y que ahora ya está listo para que los niños jueguen con él.
Las declaraciones de la empresa detrás de «Kumma»
“Tras una semana completa de rigurosa revisión, pruebas y refuerzo de nuestros módulos de seguridad, gradualmente empezamos a reanudar la venta del producto”, indicó la compañía en declaraciones que compartió el lunes en redes sociales. “Sabemos que la atención del mundo está en la seguridad de los juguetes con IA, cada vez con mayor concentración, y creemos que la transparencia, la responsabilidad y las mejoras continuas son esenciales. FoloToy sigue firmemente comprometida con la seguridad de los compañeros de IA para los niños y familias del mundo”.
La movida llega poco después de que el Grupo de Investigaciones de Interés Público, una organización sin fines de lucro que defiende la protección del consumidor, publicara un informe en el que se afirmaba que el juguete mantenía conversaciones extrañas y no adecuadas con quienes lo estaban analizando. Los investigadores encontraron que con apenas algo de incentivo Kumma hablaba prácticamente de cualquier cosa, como dónde encontrar fósforos o cuchillos para autolesionarse. De hecho, dicen que “les sorprendió encontrar lo rápido que Kumma tomaba un tema sexual que habían introducido en la conversación y seguía hablando sobre ello”.
Poco después, OpenAI – cuyo algoritmo se usa para la capacidad de chatear de Kumma – suspendió su relación con la compañía. “Suspendimos a este desarrollador por violar nuestras políticas”, le dijo la semana pasada un vocero a Gizmodo. “Nuestras políticas de uso prohíben que nuestros servicios se usen para explotar, poner en riesgo o sexualizar a menores de 18 años”.
La vuelta de «Kumma» a la IA
Ahora parecería que la compañía vuelve a relacionarse porque el sitio web de FoloToy indica que sus juguetes usan GPT-4o. El lunes FoloToy también afirmó que habían hecho una auditoría de seguridad interna muy profunda, en todas las áreas de la compañía, “actualizando las salvaguardas de las conversaciones y además desplegando reglas de seguridad y protecciones en nuestro sistema en la nube”. Gizmodo se puso en contacto con FoloToy y con OpenAI para que brindaran más información sobre esos cambios.
La compañía describe su línea de productos como “una colección de juguetes de Conversación con IA que utiliza la más reciente tecnología en IA y el poder del amor”, y no se trata de la única compañía que ofrece esta clase de productos. Muchas otras compañías aparecen en el informe de la organización de protección al consumidor, ofreciendo juguetes con IA para los niños. Al igual que FoloToy, todas han tenido una conducta problemática. El futuro que trae la revolución de la IA es, básicamente, una macabra mezcla de M3GAN y TED. Acostúmbrate a ello.
