Runway lanza su primer modelo mundial y agrega audio nativo al último modelo de video

La carrera por lanzar modelos mundiales está en pleno apogeo a medida que Runway, la empresa de generación de imágenes y videos con inteligencia artificial, se une a un número creciente de nuevas empresas y grandes empresas de tecnología con el lanzamiento de su primera empresa. El modelo, llamado GWM-1, se basa en la predicción cuadro por cuadro y crea una simulación con comprensión de la física y el comportamiento real del mundo a lo largo del tiempo, dijo la compañía.

Un modelo mundial es un sistema de inteligencia artificial que aprende una simulación interna de cómo funciona el mundo para que pueda razonar, planificar y actuar sin tener que estar entrenado en todos los escenarios posibles de la vida real.

Runway, que lanzó su modelo de vídeo Gen 4.5 a principios de este mes, superando a Google y OpenAI en la clasificación de Video Arena, dijo que su modelo mundial GWM-1 es “más general” que el Genie-3 de Google y otros competidores. La empresa lo presenta como un modelo que puede crear simulaciones para entrenar agentes en diversos campos como la robótica y las ciencias de la vida.

Runway lanzó versiones específicas del nuevo modelo mundial llamado GWM Worlds, GWM Robotics y GWM Avatars.

GWM-Worlds es una aplicación para el modelo que te permite crear un proyecto interactivo. Los usuarios pueden configurar una escena a través de un símbolo del sistema y, a medida que exploran el espacio, el modelo genera el mundo con conocimientos de geometría, física e iluminación. Runway dijo que si bien Worlds podría ser útil para los juegos, también sería bueno para enseñar a los agentes cómo navegar y comportarse en el mundo físico.

Con GWM-Robotics, la empresa quiere utilizar datos sintéticos enriquecidos con nuevos parámetros, como las condiciones climáticas cambiantes o los obstáculos. Según Runway, este método también podría revelar cuándo y cómo los robots podrían violar políticas e instrucciones en diversos escenarios.

Runway también crea avatares realistas bajo los avatares de GWM para simular el comportamiento humano. Empresas como D-ID, Synthesia, Soul Machines e incluso Google han trabajado para crear avatares humanos que parezcan reales y funcionen en áreas como la comunicación y la formación.

Además de lanzar un nuevo modelo mundial, la compañía también está actualizando su modelo básico Gen 4.5, que se lanzó a principios de este mes. La nueva actualización agrega audio nativo y capacidades de generación de múltiples tomas de formato largo al modelo. La compañía dijo que este modelo permite a los usuarios crear videos de un minuto con consistencia de personajes, diálogos nativos, audio de fondo y tomas complejas desde diferentes ángulos.

La actualización Gen 4.5 acerca a Runway a la suite de video todo en uno de su competidor Kling, que también se lanzó a principios de este mes, particularmente en lo que respecta a audio nativo y narración de múltiples tomas. También indica que los modelos de generación de vídeo están evolucionando desde prototipos hasta herramientas listas para producción.

El modelo Gen 4.5 actualizado de Runway estará disponible en las próximas semanas, primero para los clientes empresariales y luego para todos los usuarios del plan pago.

La compañía anunció que pondrá a disposición GWM-Robotics a través de un SDK. Agregó que está en conversaciones activas con varias firmas y compañías de robótica sobre el uso de GWM Robotics y GWM Avatars.