[Versión en español resumida a partir del artículo original en inglés]
En febrero de este año dos misiles Tomahawk destruyeron la Escuela Primaria Shajarah Tayyebeh en Minab, ciudad del sur de Irán, en el primer día de la guerra. Murieron 150 personas entre las que se contaban al menos 123 niños.
Los informes ya apuntaban a datos desactualizados, y presentaron preguntas sobre si la inteligencia artificial había tenido participación en el error. Ahora, una investigación de Bloomberg que se publicó el viernes brinda más información al citar a funcionarios que participaron de un análisis interno del Pentágono que no se ha hecho público. Dijeron que en el Pentágono había funcionarios que en pocas horas supieron que EE.UU. había atacado la escuela, y describieron una cadena de fallos prevenibles entre los que se contaba el haber confiado demasiado en una herramienta de IA fabricada por Palantir.
Dependencia exagerada
Los funcionarios que hablaron con Bloomberg dijeron que hubo personal en el Comando Central de EE.UU. que confiaron demasiado en la inteligencia artificial del Maven Smart System, plataforma de integración de datos y ubicación de objetivos con IA desarrollada por Palantir para acelerar el análisis de inteligencia y la toma de decisiones. Aparentemente esa herramienta se convirtió en piedra angular de las operaciones militares durante el año pasado, y en Palantir trabajan varios ex funcionarios importantes.
Además, expresaron que se esperaba que Maven marcara los registros desactualizados o las contradicciones de inteligencia de potenciales objetivos. El sitio de Minab, catalogado como Cuerpo de Guardia Revolucionario Islámico debido a datos desactualizados, aparecía como objetivo desde el primer día.
Un vocero de Palantir le dijo a Bloomberg que la compañía “no es responsable de los datos o de identificar las deficiencias en inteligencia”, y que no hay evidencia de que fallara el software. Tras el ataque Palantir añadió funciones de “nuevas revisiones de datos de inteligencia para identificar factores que descalifiquen un objetivo, marcando inconsistencias o imprecisiones que la revisión humana pudiera pasar por alto”. La nueva función ya ha detectado algunas anomalías.
Más de 120 Representantes Demócratas presentaron un escrito al Secretario de Defensa Pete Hegseth en marzo, preguntando sobre Maven y otras herramientas de IA utilizadas para identificar el objetivo. El Pentágono no respondió en público sino que dijo que se estaba investigando. Un vocero del Pentágono dijo que se sigue investigando el incidente, sin brindar más comentarios.
Datos viejos de un sitio militar convertido en escuela
Depender demasiado de Maven fue una de las tres fallas que se mencionaron ante Bloomberg, junto a inteligencia errónea e imágenes satelitales desactualizadas.
En las bases de datos de EE.UU. el complejo de Minab aparecía durante años como sitio militar, pero las imágenes de satélites comerciales mostraban otra cosa, con muros y entradas separadas que dividían el terreno de la escuela de la base, aparentemente desde 2017. Una imagen de 2018 muestra muros pintados con colores, un campo de fútbol, y un patio de juegos.
En junio Bloomberg informó que un analista ya había visto los cambios en 2019, y que ingresó sus observaciones en un sistema no conectado con la base de datos de inteligencia militar. Esas notas nunca llegaron a quienes tomaron la decisión del ataque. Desde el sur de Irán la inteligencia humana era poca, pero la escuela tenía su sitio web y aparecía en Google Maps.
En las primeras horas de la guerra se atacaron más de 1.000 objetivos iraníes, según fuentes de Bloomberg. Además, los equipos de mitigación de daños a civiles perdieron personal en alrededor del 90%, con lo que quedaban menos de 20 personas. Ninguno de ellos revisó el sitio de Minab antes de que se lanzaran los misiles.
Investigadores de la ONU lo llaman crimen de guerra
Esta semana una misión de Naciones Unidas llegó a la conclusión de que hay argumentos suficientes como para creer que Estados Unidos metió el crimen e guerra de lanzar un ataque indiscriminado, y que “EE.UU. no cumplió con su obligación de hacer todo lo posible por erificar” que la escuela fuera un objetivo militar, con lo que todo fue “más que mera negligencia”.
Pero a pesar de esos informes Washington no aceptó públicamente la responsabilidad. Trump incluso dijo que había sido Irán, que son imprecisos con sus municiones.
Confiar en la IA no sirve
Los errores causados por confiar demasiado en la IA son un tema recurrente ahora que la tecnología se ha integrado cada vez más al trabajo de las fuerzas armadas y las fuerzas del orden, como sucedió con el barco chino de Medio Oriente del que con un chatbot que alucinó y se determinó que cargaba componentes para armas nucleares con destino a Irán. EE.UU. iba a abordar el buque, pero la misión se abortó a último momento.
Sucede algo similar con el reconocimiento facial, como en Florida, donde se arrestó a un hombre que jamás había estado en ese lugar, y que se hallaba trabajando a cientos de kilómetros. Pasó meses en lea cárcel, y perdió su trabajo y su hogar. A otro hombre lo arrestaron también a pesar de que estaba a cientos de kilómetros del lugar de un delito. En ambos casos se retiraron los cargos, pero hay falsos arrestos producidos por confiar en lo que indica un software de IA.
En todos los ámbitos hay quienes confían demasiado en la IA, pero en el caso de las fuerzas armadas o las fuerzas del orden las consecuencias pueden ser catastróficas, hasta de vida o muerte. Tal vez todo tenga que ver con el modo en que los humanos están usando esta tecnología, más que con el poder sin control que pueda tener.
