Saltar al contenido
Tecnología

¿Hasta dónde se puede confiar en las herramientas de detección de IA?

Las compañías como Pangram y Originality.ai pueden ayudar a despejar la confusión, pero no son una bala de plata.
Por Webb Wright Traducido por

Tiempo de lectura 5 minutos

Comentarios (0)

[Versión en español resumida a partir del artículo original en inglés]

Las herramientas de detección de IA, como los grandes modelos de lenguaje, son más que nada cajas negras. Y en lo que es un abrir y cerrar de ojos en el transcurso de la historia, la IA ha inundado al mundo con basura.

Es cierto que Internet nunca fue el faro de la integridad y la confiabilidad. Pero antes de que se lanzara ChatGPT hace casi cuatro años, se podía al menos leer un artículo, ver un video o escuchar una canción en línea con la casi certeza de que lo había creado un humano. Eso ya no es así. Vivimos en la era de la incertidumbre, cuando casi la mitad de lo que aparece en Internet ha sido escrito por bots.

El Dr. Hany Farid ha dedicado gran parte de su vida a estudiar la cuestión, de a un deepfake de IA a la vez. Hoy es profesor de ciencias de la computación en Dartmouth, y fundó una compañía de detección de deepfakes llamada GetReal, coincidentemente el mismo día en que se lanzó ChatGPT en noviembre de 2022. GetReal se especializa en la ciencia forense digital, un campo relativamente joven que identifica la presencia de IA como lo hacen los detectives que buscan ADN o señales de actividad humana. Los modelos generativos han madurado tanto que Farid desconfía de gran parte de lo que ve en una pantalla. Años atrás aconsejaba a un abogado sobre un caso de alto perfil cuando un scammer usó la IA para clonar su voz e intentó obtener información sensible del abogado, usando “voice phishing”. La esposa de Farid, neurocientífica y también profesora en Dartmouth, acordó con él una palabra clave que usan cuando hablan en remoto para confirmar que no están hablando con una máquina que ha clonado sus voces.

Farid me dijo que “la IA generativa está creciendo muy rápidamente, y se usa como arma”.

Un objetivo móvil

GetReal es una entre varias compañías jóvenes que buscan dar transparencia, responsabilidad y confianza a un paisaje de medios envuelto en una niebla de deepfakes. Se centra mayormente en imágenes y videos pero también hay plataformas para detectar texto generado por la IA, la forma más difícil de detectar porque los patrones estadísticos son más simples que los que se requieren para crear imágenes o videos.

Pangram es una de las compañías más populares, fundada por dos graduados de Stanford muy jóvenes, en 2023. Afirma tener un 99,98% de precisión para detectar la IA, y un estudio de la Universidad de Chicago encontró que Pangram es la herramienta más efectiva. Sin embargo, el CEO y cofundador Max Spero me dijo que las herramientas de detección como Pangram están destinadas a ir siempre por detrás de los modelos generativos. “No creo que alcancemos nunca la precisión del 100%. Solo podemos acumular más certeza utilizando más datos”.

Y Jon Gillham, CEO de Originality.ai, le dijo a Gizmodo algo similar. Dijo que determinar si un texto ha sido generado con IA es como predecir el clima: si el algoritmo te dice que hay 100% de probabilidades de lluvia, entonces probablemente llueva. Pero como todos sabemos, las predicciones del clima no siempre se cumplen. Gillham dice que el arte de detectar texto generado con IA es “altamente preciso, pero no es perfecto, y creo que así seguirá siendo todo en el futuro”.

Parte del desafío está en las capacidades que van evolucionando en modelos como ChatGPT, Claude, Gemini y Grok, a medida que consumen más y más datos. Hay características recurrentes en el contenido generado con IA, como los guiones medios, pero “son objetivos móviles”, según me dijo Spero. Además, están los “humanizadores”, que son sitios web que reformulan el texto generado por la IA para que parezca más humano y convincente.

¿Qué hay con las marcas de agua?

Los mecanismos avanzados de detección tal vez no harían falta si se declarara por ley que hay que etiquetar el contenido generado con IA. Eso no sucede, no al menos en EE.UU., donde solo algunos estados están avanzando en ese sentido. En la Unión Europea hay una medida que requiere la etiqueta que indique que “el texto se publica con el propósito de informar al público sobre asuntos de interés público”, si ha sido generado o manipulado artificialmente. Además, debe llevar una marca de agua invisible que se detecta con una máquina.

Pero tampoco la marca de agua representa la bala de plata. Anthropic anunció que usaría marcas de agua para el contenido generado por Claude, pero los desarrolladores han logrado encontrar cómo eludirlas. Google también introdujo una opción para que el usuario pueda quitar la etiqueta visible de imágenes, video y música generadas por IA de las herramientas de la compañía.

Al menos, es un comienzo Farid dice que no deberíamos dejar de lado las herramientas de detección solo porque tengan fallas. “Al salir de la casa, cierras la puerta con llave. ¿Eso impide que entre un ladrón? No. Pero sigues cerrando con llave porque lo imperfecto sigue siendo parte de la solución”.

Qué pasará en el futuro

Con el ritmo al que se desarrolla la IA y la cantidad de capital que se invierte en la tecnología, solo podemos esperar que las oraciones, imágenes, videos, canciones y voces generados con IA sean mucho más difíciles de detectar a medida que pase el tiempo. Eso dará lugar a nuevos engaños, confusiones y falta de confianza.

Como las herramientas como Pangram siempre irán por detrás de los modelos generativos, la detección se convertiría más en una habilidad personal que hay que aprender y practicar atentamente. Eso incluye el pensamiento crítico sobre la fuente de la información.

El consejo que les da Farid a sus estudiantes es: “Dejen de fingir que pueden convertirse en expertos forenses digitales. Entiendan lo que es una fuente confiable. Entiendan que al leer algo en un medio, hay personas detrás de escena, que verifican los datos con estándares editoriales y aunque no sean perfectos, al menos intentan traerles información confiable. Los multimillonarios tecnológicos no te brindan información confiable y honesta, sino que intentan convertirte en adicto a su producto para seguir acumulando millones”.

Compartir esta historia

Artículos relacionados