Ajedrez, Go y ahora, Minecraft. Los modelos de inteligencia artificial han agregado una nueva victoria a su lista de asesinatos de juegos.
Usando una combinación de videos de Minecraft sin etiquetar y un pequeño conjunto de datos de los etiquetados por contratistas, la compañía de inteligencia artificial OpenAI pudo entrenar una red neuronal para jugar a Minecraft de manera competente, un hito para la tecnología, que anteriormente había luchado para descifrar el juego simple pero con sus trampas. Los ingenieros de OpenAI revelaron su experimento en un trabajo de investigación y en una publicación de blog posterior esta semana.
El modelo de OpenAI fue capaz de ir más allá de la elaboración y la supervivencia básicas y, de hecho, realizar muchas de las mismas tareas complejas que haría un jugador humano de Minecraft. En su publicación de blog, OpenAI muestra un video de su modelo nadando, cazando y cocinando animales. Incluso descubrió con éxito la técnica de “salto de pilar” del juego. Más recientemente, Deepmind pudo entrenar con éxito su MuZero AI para jugar juegos de Atari.
Los modelos de IA anteriores se han basado en varias formas de aprendizaje por refuerzo en el pasado para vencer a juegos clásicos como Chess and Go. Minecraft, por otro lado, aunque lo suficientemente intuitivo para que lo dominen los niños pequeños, presenta un desafío para los sistemas de IA debido a su mundo abierto y su estructura abierta.
Si bien hay un suministro aparentemente interminable de videos flotando en Internet sobre el juego de Minecraft, solo cuentan una parte de la historia de cómo aprender a jugar, al menos cuando se entrena una IA. De acuerdo con OpenAI, la ráfaga de datos de video sin etiquetar se destaca en demostrar “qué” hacer, pero no proporciona pulsaciones de teclas exactas o momentos del mouse que son necesarios para que una IA entienda “cómo” jugar.
Los ingenieros resolvieron este problema de “cómo” creando un método de aprendizaje de imitación semisupervisado que llaman “Video PreTraining” o VPT. Básicamente, OpenAI recopiló un conjunto de datos nuevo y más pequeño de los contratistas que incluía no solo el juego de Minecraft, sino también ejemplos de pulsaciones de teclas y otras acciones registradas por los contratistas. OpenAI luego creó otro modelo que usa los videos de los contratistas para predecir qué acción vendrá a continuación en cada paso de un video de Minecraft. Equipados con los conocimientos básicos, su IA pudo comprender con éxito conjuntos de datos más grandes de videos de Minecraft online. En lugar de simplemente volcar un torrente de datos en su IA, los ingenieros se tomaron el tiempo para enseñarle primero los fundamentos de las entradas básicas.
“Para muchas tareas, nuestros modelos exhiben un rendimiento a nivel humano, y somos los primeros en informar agentes informáticos que pueden fabricar herramientas de diamante, que pueden llevar a los humanos competentes más de 20 minutos (24.000 acciones ambientales) de juego para lograrlo”, escribió OpenAI en su trabajo de investigación que detalla los resultados.
Según los informes, toda esa capacitación y asistencia de contratistas resultó en un precio de alrededor de $ 160.000. La mayor parte de ese efectivo, según ZDNet, se destinó a pagar a los contratistas que, en conjunto, reunieron alrededor de 4500 horas de juego. A los contratistas se les pagaba $20 por hora.
Puedes ver algunas imágenes de la IA cortando madera, administrando su inventario y recorriendo cuevas a continuación.
Si ver una IA que esencialmente vale el salario anual de algunos cirujanos jugando un juego independiente de 11 años no parece tan impresionante, vale la pena dar un paso atrás y ver hasta dónde ha llegado la tecnología. Hace apenas tres años, a los equipos de tecnólogos que competían en la competencia MineRL se les encomendó un solo objetivo aparentemente simple: crear una IA que pudiera extraer con éxito un diamante en Minecraft. Según los informes, 660 concursantes intentaron completar este desafío, y todos fallaron. El modelo de OpenAI ahora puede fabricar herramientas de diamante.
OpenAI tampoco es la única empresa de tecnología que recurre a Minecraft para sus experimentos de IA. El mes pasado, durante su conferencia Build, Microsoft reveló un nuevo “agente” AI Minecraft que opera dentro del juego. Los usuarios que interactúan con los agentes de Microsoft Minecraft pueden escribir comandos que luego se generan automáticamente utilizando la API del software del juego. En la práctica, señala Wired, eso significa que los usuarios pueden escribir una frase como “ven aquí” y el bot de Minecraft la traducirá automáticamente al código de Minecraft, lo que hará que el bot avance. Además de simplemente caminar, el agente de Minecraft de Microsoft también puede completar tareas más complejas, como recuperar elementos en el mundo del juego y combinarlos para crear algo. Y mira, probablemente pueda hacerlo mejor y más rápido que este escritor, que está varios años alejado de su última sesión de Minecraft.