La inteligencia artificial ha alcanzado niveles impresionantes de fluidez y precisión. Sin embargo, un grupo de investigadores de renombre ha descubierto una grieta fundamental en su aparente inteligencia. ¿Y si los modelos de lenguaje no comprendieran en absoluto lo que están diciendo? El nuevo estudio propone una idea provocadora: la IA, pese a sus respuestas brillantes, podría estar vacía por dentro.
Una comprensión que solo parece real
Investigadores de Harvard, MIT y la Universidad de Chicago analizaron el rendimiento de diversos modelos de IA, como GPT-4o, Claude 3.5 Sonnet y Llama 3.3, ante tareas que requerían no solo definir conceptos, sino también aplicarlos correctamente. Aunque las definiciones eran precisas en un 94,2 % de los casos, los modelos fracasaban más del 55 % de las veces al llevar esas ideas a la práctica.
Este patrón fue especialmente evidente en dominios como las técnicas literarias, la teoría de juegos y los sesgos cognitivos. Por ejemplo, un modelo podía explicar perfectamente qué es la estructura de rima ABAB, pero luego fallaba al escribir un poema que la siguiera.
Potemkins digitales: una ilusión de comprensión
Los investigadores denominaron este fenómeno “potemkins”, en referencia a las aldeas falsas construidas por Grigory Potemkin para impresionar a la emperatriz Catalina II. En el contexto de la IA, hace alusión a una fachada de entendimiento que no refleja una comprensión real. Según los autores, los modelos parecen «creer» que entienden, pero carecen de una representación coherente y funcional de los conceptos que procesan.
La investigación plantea así un problema profundo: los tests actuales que evalúan a las IA están pensados para humanos, y por tanto, sus resultados pueden inducir a error. Lo que parece inteligencia podría ser una simulación sin sustancia.
Un desafío para el futuro de la inteligencia artificial
Keyon Vafa, uno de los autores del estudio, advierte que este descubrimiento obliga a replantear la forma en la que medimos la inteligencia artificial. “Necesitamos herramientas distintas para evaluar a los modelos de lenguaje, porque su comportamiento no se ajusta a los parámetros humanos”, declaró.
El estudio será presentado en la próxima Conferencia Internacional sobre Aprendizaje Automático, y podría marcar un antes y un después en el desarrollo de modelos más auténticamente inteligentes. ¿Estamos más lejos de la superinteligencia de lo que creíamos?
Fuente: Hipertextual.
