Se necesita un nuevo tipo de comunidad para marcar despliegues peligrosos de inteligencia artificial, argumenta un foro de políticas publicado en Science. Esta comunidad global, formada por hackers, modeladores de amenazas, auditores y cualquier persona con buen ojo para las vulnerabilidades del software, pondría a prueba los nuevos productos y servicios impulsados por inteligencia artificial. El escrutinio de estos terceros finalmente “ayudaría al público a evaluar la confiabilidad de los desarrolladores de IA”, escriben los autores, al mismo tiempo que da como resultado productos y servicios mejorados y una reducción del daño causado por una IA mal programada, poco ética o sesgada.
Este llamado a la acción es necesario, argumentan los autores, debido a la creciente desconfianza entre el público y los desarrolladores de software que crean IA, y porque las estrategias actuales para identificar y reportar casos dañinos de IA son inadecuadas.
“En la actualidad, gran parte de nuestro conocimiento sobre los daños de la IA proviene de investigadores académicos y periodistas de investigación, que tienen acceso limitado a los sistemas de IA que investigan y, a menudo, experimentan relaciones antagónicas con los desarrolladores cuyos daños descubren”, según el foro de políticas en coautoría con Shahar Avin del Centro para el Estudio del Riesgo Existencial de Cambridge.
Sin duda, nuestra confianza en la IA y en los desarrolladores de IA se está erosionando y se está erosionando rápidamente. Lo vemos en nuestro enfoque evolutivo de las redes sociales, con preocupaciones legítimas sobre la forma en que los algoritmos difunden noticias falsas y se dirigen a los niños. Lo vemos en nuestras protestas de algoritmos peligrosamente sesgados utilizados en tribunales, medicina, vigilancia y reclutamiento, como un algoritmo que brinda apoyo financiero inadecuado a pacientes negros o software policial predictivo que se dirige desproporcionadamente a vecindarios latinos, negros y de bajos ingresos. Lo vemos en nuestras preocupaciones sobre los vehículos autónomos, con informes de accidentes mortales que involucran a Tesla y Uber. Y lo vemos en nuestros temores por los drones autónomos armados. La reacción pública resultante y la creciente crisis de confianza son totalmente comprensibles.
En un comunicado de prensa, Haydn Belfield, investigador del Centro para el Estudio del Riesgo Existencial y coautor del foro de políticas, dijo que “la mayoría de los desarrolladores de IA quieren actuar de manera responsable y segura, pero no está claro qué pasos concretos pueden tomar hasta ahora”. El nuevo foro de políticas, que amplía un informe similar del año pasado, “llena algunos de estos vacíos”, dijo Belfield.
Para generar confianza, este equipo está pidiendo a las empresas de desarrollo que empleen el hacking del equipo rojo, ejecuten pistas de auditoría y ofrezcan recompensas por sesgos, en las que se otorgan recompensas financieras a las personas que detectan fallos o problemas éticos (Twitter actualmente emplea esta estrategia para detectar sesgos en algoritmos de recorte de imágenes). Idealmente, estas medidas se llevarían a cabo antes del despliegue, según el informe.
La formación de equipos rojos, o hackers de sombrero blanco, es un término tomado de la ciberseguridad. Es cuando se recluta a hackers éticos para atacar deliberadamente la inteligencia artificial recientemente desarrollada con el fin de encontrar exploits o formas en que los sistemas podrían subvertirse con fines nefastos. Los equipos rojos expondrán las debilidades y los daños potenciales y luego los informarán a los desarrolladores. Lo mismo ocurre con los resultados de las auditorías, que serían realizadas por organismos externos de confianza. La auditoría en este dominio es cuando “un auditor obtiene acceso a información restringida y, a su vez, da testimonio de la veracidad de las afirmaciones hechas o divulga información de manera anónima o agregada”, escriben los autores.
Los equipos rojos internos de las empresas de desarrollo de IA no son suficientes, argumentan los autores, ya que el poder real proviene de equipos externos de terceros que pueden examinar de forma independiente y libre la nueva IA. Es más, no todas las empresas de inteligencia artificial, especialmente las nuevas empresas, pueden permitirse este tipo de garantía de calidad, y aquí es donde una comunidad internacional de hackers éticos puede ayudar, según el foro de políticas.
Informados de los problemas potenciales, los desarrolladores de inteligencia artificial implementarían una solución, al menos en teoría. Le pregunté a Avin por qué los hallazgos del “intercambio de incidentes”, como lo llaman él y sus colegas, y la auditoría deberían obligar a los desarrolladores de IA a cambiar sus métodos.
“Cuando los investigadores y reporteros exponen sistemas de inteligencia artificial defectuosos y otros incidentes, esto en el pasado ha llevado a que los sistemas sean retirados o revisados. También ha dado lugar a juicios”, respondió en un correo electrónico. “La auditoría de IA aún no ha madurado, pero en otras industrias, no aprobar una auditoría significa la pérdida de clientes y posibles medidas regulatorias y multas”.
Avin dijo que es cierto que, por sí mismos, los mecanismos de “intercambio de información” no siempre brindan los incentivos necesarios para inculcar un comportamiento confiable, “pero son necesarios para hacer que los sistemas de reputación, legales o regulatorios funcionen bien y, a menudo, son un requisito previo para tales sistemas emergentes”.
También le pregunté si estos mecanismos propuestos son una excusa para evitar la regulación significativa de la industria de la IA.
“En absoluto”, dijo Avin. “Argumentamos en todo momento que los mecanismos son compatibles con la regulación gubernamental, y que las regulaciones propuestas [como las propuestas en la UE] incluyen varios de los mecanismos que pedimos”, explicó, y agregó que “también quieren considerar mecanismos que podrían trabajar para promover un comportamiento digno de confianza antes de que obtengamos la regulación; la erosión de la confianza es una preocupación actual y la regulación puede tardar en desarrollarse”.
Para poner las cosas en marcha, Avin dice que los próximos pasos buenos incluirían la estandarización de cómo se registran los problemas de IA, las inversiones en investigación y desarrollo, el establecimiento de incentivos financieros y la preparación de las instituciones de auditoría. Pero el primer paso, dijo, es “crear un conocimiento común entre la sociedad civil, los gobiernos y los actores confiables dentro de la industria, de que pueden y deben trabajar juntos para evitar que la confianza en todo el campo se vea erosionada por las acciones de organizaciones no confiables”.
Las recomendaciones hechas en este foro de políticas son sensatas y están muy atrasadas, pero el sector comercial debe aceptarlas para que estas ideas funcionen. Se necesitará una aldea para mantener a raya a los desarrolladores de IA, una aldea que necesariamente incluirá un público escrutador, unos medios de comunicación atentos, instituciones gubernamentales responsables y, como sugiere el foro de políticas, un ejército de hackers y otros perros guardianes externos. A medida que aprendemos de los eventos actuales, los desarrolladores de inteligencia artificial, en ausencia de controles y equilibrios, harán lo que quieran y a costa nuestra.