Super Mario Bros como un campo de pruebas inesperado
Desde su lanzamiento en 1985, Super Mario Bros ha sido un referente en los videojuegos de plataformas, pero ahora también ha servido para evaluar las capacidades de la inteligencia artificial (IA). Un grupo de investigadores de la Universidad de California en San Diego utilizó este clásico de Nintendo para analizar cómo los modelos de IA manejan entornos dinámicos y en constante cambio.
El estudio, dirigido por el Hao AI Lab, no se limitó a utilizar la versión original del juego, sino que empleó un emulador modificado junto con GamingAgent, un framework diseñado para facilitar la interacción entre la IA y el entorno del videojuego. Este sistema permitía a los modelos recibir capturas de pantalla en tiempo real y responder a instrucciones específicas, como esquivar obstáculos o saltar sobre enemigos.
Los resultados evidenciaron diferencias notables entre los modelos evaluados. Mientras algunos lograron interpretar las indicaciones de manera efectiva, otros mostraron dificultades para reaccionar a la velocidad que el juego exige.
El tiempo de respuesta, un desafío clave para la IA
Uno de los hallazgos más reveladores del experimento fue el impacto del tiempo de respuesta en el desempeño de los modelos de IA. Aquellos sistemas que emplean procesos de razonamiento más elaborados, como el modelo o1 de OpenAI, no lograron un buen rendimiento debido a la demora en la toma de decisiones.
Mientras que los jugadores humanos procesan la información en milisegundos, algunos de los modelos avanzados tardaban varios segundos en reaccionar. En un juego como Super Mario Bros, donde cada fracción de segundo cuenta para esquivar enemigos o evitar caídas, estas demoras resultaron fatales para la IA.
Este problema no solo afecta el rendimiento en videojuegos, sino que también plantea interrogantes sobre la aplicación de la inteligencia artificial en áreas donde la rapidez en la toma de decisiones es crucial, como la conducción autónoma o la robótica.
Claude 3.7 supera a otros modelos reconocidos
Entre los sistemas evaluados, Claude 3.7 de Anthropic destacó por su capacidad para adaptarse al juego de manera más eficiente, superando incluso a su predecesor Claude 3.5. En contraste, modelos ampliamente conocidos como GPT-4 de OpenAI y Gemini 1.5 Pro de Google tuvieron dificultades para adaptarse a las exigencias del videojuego.
El hecho de que modelos tan avanzados no lograran un rendimiento óptimo en Super Mario Bros sugiere que las habilidades requeridas para dominar estos entornos aún no han sido plenamente desarrolladas en la IA actual. Aunque estos sistemas destacan en la resolución de problemas complejos, su desempeño en tareas que requieren respuestas inmediatas sigue siendo una asignatura pendiente.
¿Son los videojuegos una herramienta válida para medir el progreso de la IA?
El uso de videojuegos para evaluar la inteligencia artificial no es algo nuevo, pero este estudio ha reavivado el debate sobre su utilidad real. Algunos expertos han expresado dudas sobre si estos experimentos reflejan de manera precisa los avances en el desarrollo de la IA.
Andrej Karpathy, investigador de OpenAI, señaló en redes sociales que aún no está claro qué métricas deberían emplearse para medir con precisión el progreso de los modelos actuales.
A pesar de las críticas, los investigadores del Hao AI Lab defienden la validez de este tipo de pruebas. Argumentan que los videojuegos proporcionan un entorno controlado y accesible donde la IA puede demostrar su capacidad para adaptarse, tomar decisiones en tiempo real y desarrollar estrategias.
En el caso de Super Mario Bros, el desafío no solo consiste en seguir reglas predefinidas, sino en combinar rapidez, planificación y adaptación. La dificultad que algunos modelos enfrentaron en este entorno pone en evidencia que, aunque la IA ha avanzado notablemente, aún queda camino por recorrer antes de que pueda igualar la capacidad de reacción y aprendizaje humano en situaciones dinámicas.
Fuente: Infobae.
