Los modelos de lenguaje como ChatGPT aprendieron a escribir leyendo cantidades gigantescas de texto de internet. Los robots no tienen un equivalente tan fácil. Para enseñarles a manipular objetos, normalmente hay que controlarlos a distancia una y otra vez mientras realizan la tarea, un proceso lento y caro. Por eso, uno de los grandes objetivos de la robótica es que los robots aprendan de la fuente de datos más abundante que existe: videos de personas haciendo cosas.
Nvidia acaba de mostrar un avance en esa dirección. Su laboratorio de investigación GEAR presentó GR00T 2, una nueva familia de modelos para robots que la empresa anunció durante la Conferencia sobre Aprendizaje de Robots (CoRL), en Austin.
Un robot que imagina antes de moverse
GR00T 2 es lo que Nvidia llama un modelo de acción del mundo. A diferencia de otros sistemas, que solo deciden el siguiente movimiento, este predice al mismo tiempo cómo se verá la escena en los próximos instantes y qué acciones debe hacer el robot para llegar ahí. Es decir, imagina en video lo que va a pasar y planifica sus movimientos en función de esa predicción.
El modelo usa una misma red neuronal para generar el video futuro y las acciones, y pequeños módulos adicionales traducen ese plan a los motores de cada tipo de robot. Así, el mismo modelo puede controlar brazos con pinzas, manos robóticas con muchos dedos o un robot humanoide.
Aprender de manos humanas
La clave está en los datos. GR00T 2 se entrenó con más de 400.000 horas de video en primera persona, grabado desde el punto de vista de personas que realizaban tareas cotidianas. A eso se suman unas 10.000 horas de demostraciones con pinzas portátiles y unas 23.500 horas de robots controlados a distancia. Nvidia liberó 100.000 horas de esos videos humanos como un conjunto de datos abierto.
Según la empresa, cuanto más video humano usó en el entrenamiento, mejor fue el rendimiento del robot real: en un conjunto de 72 tareas, el progreso pasó del 50 % al 70 %. En algunos casos, el robot aprendió tareas de laboratorio de química, como manipular papel de filtro, solo a partir de videos de personas, sin ninguna demostración hecha con un robot.
Tareas nuevas con muy poca práctica
Nvidia probó el modelo con 50 tareas que nunca había visto, en un robot con dos manos de 22 articulaciones cada una. Sin ninguna demostración, tuvo éxito en el 40 % de los intentos. Con una sola demostración por tarea, subió al 71 %, y con cinco, menos de tres minutos de datos del robot, llegó al 95 %. Cada adaptación requirió unos 30 minutos de ajuste en una sola tarjeta gráfica de consumo.
El modelo también logró tareas que exigen mucha precisión, como insertar módulos de memoria en un servidor, con un 85 % de éxito. Y cuando se combinó con un modelo de razonamiento que planifica los pasos y corrige errores, completó el armado de juguetes, como un avión o un tractor, en casi todos los intentos.
Nvidia presentó además GR00T 2 Turbo, una versión más ligera que puede funcionar directamente a bordo del humanoide Unitree G1. En pruebas, sirvió palomitas de maíz sin fallar en 48 intentos.
Los límites
El propio laboratorio reconoce las limitaciones. La mayoría de los fallos se deben a falta de precisión al ejecutar, no a no entender qué hacer: el robot sabe qué pasos seguir, pero a veces no los ejecuta bien. Tampoco logra completar del todo algunas tareas largas, como separar basura en distintos contenedores. Todos los resultados provienen de Nvidia, y el código recién estará disponible en diciembre.
Aun así, GR00T 2 apunta a un cambio importante: si los robots pueden aprender mirando videos de personas, la escasez de datos que frena a la robótica podría reducirse mucho. Igual que los modelos de lenguaje aprovecharon el texto de internet, los robots podrían aprovechar algún día las incontables horas de video de humanos que ya existen.
