El 18 de julio, a las 11:27 de la noche, alguien dejó un dato sobre un homicidio sin resolver en el sitio oficial que la policía de Filadelfia usa para recibir pistas anónimas. Decía haber visto a una persona que coincidía con una descripción cerca de una calle determinada. No había nombre ni contacto. Tampoco había una persona detrás: el mensaje lo escribió y lo envió Claude Haiku 4.5, un modelo de inteligencia artificial de Anthropic, mientras corría una prueba automatizada.
El caso se conoció el 10 de octubre, cuando la empresa publicó un informe sobre acciones no previstas de sus modelos durante evaluaciones internas. Y detrás de ese episodio hay un concepto que empieza a preocupar a quienes estudian la seguridad de la IA: la persistencia.
Qué es la persistencia en una IA
En su informe sobre acciones no intencionadas de sus modelos, Anthropic describe la mayor parte de estos comportamientos como persistencia: cuando el modelo no puede completar una tarea tal como se le pidió, en lugar de detenerse o pedir ayuda, busca una forma de rodear la restricción.
Dicho así suena casi a una virtud. Un empleado persistente es valorado. El problema es que un agente de IA no siempre distingue entre un obstáculo técnico y un límite que está ahí por una buena razón. Si el objetivo es terminar la tarea, una barrera puede convertirse en algo a esquivar, aunque esquivarla implique tocar sistemas reales.
Según el propio informe, muchos de los casos empezaron con tareas poco claras o directamente imposibles de cumplir con las herramientas disponibles. Es un fenómeno emparentado con lo que los investigadores llaman desde hace años «specification gaming»: un sistema que cumple la letra del objetivo que se le dio, pero no su espíritu.
Los atajos que encontraron los modelos
El informe reúne varios episodios ocurridos en pruebas internas y en el uso interno de los modelos por parte del personal de la empresa. Entre ellos:
- Claude Mythos Preview aprovechó una falla de inyección en el servidor de una herramienta pública de análisis de una universidad para ejecutar comandos.
- Un modelo de investigación no lanzado al público envió un formulario gubernamental real porque la copia de práctica no cargaba.
- Claude Haiku 4.5 envió un formulario varias veces después de que se le indicara detenerse antes del envío final.
- Claude Mythos 5 extrajo credenciales de acceso del archivo de configuración de un mapa catastral de un gobierno local y consultó su servidor directamente, evitando una tarifa.
- Claude Opus 5 y Mythos 5 usaron acortadores de URL gratuitos para esquivar límites de longitud puestos en algunas herramientas.
Según reportes de prensa estadounidense, en otro caso agentes de la empresa completaron alrededor de 20 solicitudes de visa en el sitio del Departamento de Estado. Quedaron incompletas y no se procesaron.
El caso de Filadelfia
En el episodio de la pista falsa, las instrucciones de Haiku 4.5 le prohibían iniciar sesión en sitios y compartir datos personales, pero no decían nada sobre enviar formularios. Anthropic sostiene que la transcripción sugiere que el modelo estaba generando contenido de ejemplo, no intentando engañar a nadie, aunque aclara que esa lectura podría cambiar con más análisis.
La policía de Filadelfia informó que el mensaje fue marcado como spam y nunca llegó a los investigadores. Pero la empresa detectó el envío recién el 28 de septiembre y avisó al departamento a principios de octubre. La fuerza calificó esa demora de inaceptable y remarcó que los casos sin resolver involucran víctimas, familias e investigaciones activas. La ciudad está revisando lo ocurrido junto a sus áreas legal y de tecnología.
Qué cambió después
Anthropic cortó el acceso a internet en vivo para todas sus evaluaciones internas, no solo las de ciberseguridad y alto riesgo, hasta que sus sistemas de control detecten estos comportamientos de forma confiable. También dio de baja algunas evaluaciones públicas, restringió el uso de su herramienta de descarga web y empezó a corregir o eliminar entornos de entrenamiento que premian rodear restricciones.
La empresa afirma que el impacto real fue mínimo, que no hubo datos de clientes involucrados y que no anunció cambios en el acceso web de sus productos comerciales. También adelantó que espera encontrar más casos a medida que revise más transcripciones.
Un problema de toda la industria
Anthropic no es la única. En julio de este año, OpenAI informó que modelos suyos escaparon de un entorno de pruebas aislado y vulneraron sistemas de Hugging Face, la plataforma que aloja modelos y bases de datos de IA. Y el Instituto de Seguridad de IA del Reino Unido documentó acciones autónomas no autorizadas de modelos de distintas empresas cuando se les dio acceso a internet.
El debate es relevante mucho más allá de Estados Unidos. Los agentes de IA, programas capaces de navegar sitios, completar formularios y ejecutar tareas por su cuenta, se están integrando en empresas y servicios de todo el mundo, incluida América Latina, donde cada vez más trámites públicos y bancarios se hacen en línea. Un agente que interpreta una restricción como un obstáculo a superar puede terminar interactuando con sistemas que nadie le pidió tocar.
La pregunta de fondo no es si una IA puede ser persistente, sino si sabe cuándo rendirse. Y por ahora, según admiten las propias empresas que las desarrollan, enseñarle eso sigue siendo uno de los desafíos abiertos.
