OpenAI primer generador de vídeo Sora conmocionó al mundo el jueves vídeos preocupantemente realistas, pero el modelo parece aún mejor en la creación de mundos de videojuegos. Sora tiene una asombrosa habilidad para recrear Minecraft y “simular mundos digitales”, ” según un documento técnico de OpenAI publicado anoche anoche, reportado por primera por TechCrunch.
“Sora también es capaz de simular procesos artificiales; un ejemplo son los videojuegos”, dice OpenAI en el periódico. “Sora puede controlar simultáneamente los jugador en Minecraft con una política básica y al mismo tiempo renderiza el mundo y su dinámica en alta fidelidad. Estas capacidades se pueden obtener de cero filmada incitando a Sora con subtítulos que mencionan a Minecraft”.
El modelo Sora avanzado de OpenAI tiene el potencial de alterar el mundo de los videojuegos, y la razón es que es fundamentalmente diferente de otros videos de IA. generadores. El Dr. Jim Fan, investigador senior de Nvidia, señala que esto se debe a que Sora es más como un “motor de física basado en datos“que un generador de imágenes. Sora realiza miles de cálculos para predecir cómo un objeto interactúa con su entorno. Esto crea un”modelo mundial”, según Fan, lo que lo hace perfecto para generar videojuegos.
OpenAI afirma que estas son solo pruebas tempranas, pero que muestran una gran promesa para los simuladores de IA de los mundos físico y digital. La compañía señala varias limitaciones, incluyendo que Sora no modela con precisión la física de muchas interacciones básicas. Esto ha resultado en algunos videos muy extraños de Sora, y estas peculiaridades seguramente deben resolverse antes de que el modelo cree cualquier videojuego.
Sin embargo, Sora ya ha resuelto varios problemas que otros generadores de vídeo no pueden resolver. Sora ha demostrado una exitosa “permanencia de objeto”, es decir, un Puede abandonar el cuadro y regresar al mismo lugar. Sora también tiene un movimiento dinámico de cámara mucho mejor que otros generadores de video.
Algunos han especulado que Sora de OpenAI fue entrenado en un motor de videojuego, específicamente, el Unreal Engine 5 (UE5) de Epic Games. Sora casi definitivamente no usa un motor de videojuego para crear sus fascinantes sentidos, es posible que los mundos digitales se usaran para ayudar a entrenar El modelo subyacente de Sora. OpenAI no ha confirmado estos rumores, pero UE5 se utilizó para crear juegos como Fortnite, Remanente 2 y Tekken 8. Ciertas demos de Sora parecen extrañamente similares a mundos de videojuegos existentes.
La pregunta sigue siendo: ¿en qué fue entrenado Sora? OpenAI se enfrenta a una demanda por entrenar GPT-2 y GPT-3 en Los artículos del New York Times, sin pago. Es probable que Sora altere los videojuegos de una manera similar a como ha afectado al periodismo, por lo que la atribución adecuada será una clave. factor de avanzar.
No sabemos qué modelo GPT se utilizó para construir Sora, y OpenAI no ha publicado abiertamente con qué datos entrena GPT-4 . Sin embargo, GPT-2 fue entrenado en gran medida Conjunto de datos WebText de OpenAI. WebText rapó Netflix más de 42.000 veces según datos hechos públicos en GitHub. Crunchyroll, Hulu y “YouTube doubler” también fueron mencionados como formatos de vídeo utilizados para entrenar el modelo de OpenAI. Sin embargo, Sora probablemente requería más más datos que solo esto.
Sora podría significar un desastre para el mundo de los desarrolladores de videojuegos, pero también podría reducir significativamente la barrera de entrada. Los desarrolladores de juegos ya se han visto afectados por los despidos en el último año. De todos modos, este generador de vídeo de IA probablemente rrumpirá en el mundo de juegos, al igual que la IA ha cambiado todos los otros campos está tocado.
