
Es posible que dentro de un año, el bombardeo de información sobre lo que hace o deja de hacer una IA ya no nos preocupe tanto, pero por ahora resulta fascinante. Un usuario llamado entrendre_entendre En Reddit, subió un revelador vídeo bajo el título de “Cómo cree Midjourney que son los profesores, según su departamento”.
Lo más interesante de las imágenes, cazadas en origen por PetaPixel es observar de qué forma se ha entrenado a una de las IAs más populares para identificar profesores. Dicho de otra forma, somos partícipes de los sesgos inherentes que tiene uno de los generadores de imágenes de IA más populares.
El siguiente vídeo, de apenas 40 segundos, nos muestra una sucesión de imágenes individuales que se generaron a partir del mensaje “Una foto de perfil de un profesor de[insertar departamento]”.
Veamos el vídeo:
Entre los comentarios había de todo, desde aquellos usuarios que decían que la IA había “clavado” a los profesores según su experiencia, hasta aquellos que se mostraban desencantados por el uso generalizado del término “profesor blanco”. Según el Centro Nacional de Estadísticas de Educación, el 25% del profesorado estadounidense no es blanco. Sin embargo, ese porcentaje ha resultado ser demasiado pequeño para que MidJourney lo tuviera en cuenta, lo que ha resultado en un sesgo racial.
Obviamente, los posibles sesgos pueden llegar de diferentes formas a una IA. Por ejemplo, cuando se entrena en un conjunto de datos de imágenes que presenta de manera desproporcionada a ciertos grupos de personas. Además, si los datos de entrenamiento contienen estereotipos u otros sesgos, el generador de imágenes de IA puede aprender a reproducir esos sesgos, e incluso si los datos no están sesgados, puede aprender sesgos en función de la forma en que se etiquetan o anotan los datos.
En noviembre de 2022, La doctora Sasha Luccioni subió a HuggingFace una herramienta creada por ella misma llamada Diffusion Bias Explorer que permite analizar precisamente los sesgos en la generación de imágenes de StableDiffusion 2 y DALLE-2. La herramienta mostrada como estas dos IAs sufrían de sesgos sexistas que resultaban en mostrar imágenes de hombres cuando se las pedía mostrar un “CEO ambicioso”, y de mujeres si la petición era un “CEO compasivo”. Entre las soluciones propuestas para evitar esto está seleccionar cuidadosamente sus datos de entrenamiento y usar técnicas como el aumento de datos, las restricciones de equidad y el entrenamiento contradictorio.
En Gizmodo nos hemos puesto en contacto con la doctora Luccioni para recabar más datos sobre como combatir los sesgos discriminatorios en las IAs generativas de imágenes. “Diría que estas imágenes reflejan algo así como los ‘rostros promedio’ que calculamos para diferentes profesiones y modelos de texto a imagen: muestran algo así como una representación media de profesores de muy alto nivel, pero sin reflejar su diversidad”, explica Luccioni en un correo remitido a Gizmodo. “Este es un problema típico con los modelos de IA en general. Si hay una clase o característica dominante en sus datos de entrenamiento (como un grupo de identidad o género), tienden a reproducirlo e ignoran las clases minoritarias. Entonces, las clases dominantes se amplifican aún más, mientras que las clases minoritarias desaparecen. A nivel de toda una sociedad, esto es problemático, dado el ya frágil y sesgado equilibrio de poder que tenemos.”