Hicimos que un gato bebiera cerveza con el generador de video de IA de Runway, y le crecieron manos

En junio, Runway lanzó un nuevo modelo de síntesis de texto a video llamado Gen-3 Alpha. Convierte descripciones escritas llamadas "indicaciones" en clips de video HD sin sonido. Desde entonces, hemos tenido la oportunidad de utilizarlo y queríamos compartir nuestros resultados. Nuestras pruebas muestran que la promoción cuidadosa no es tan importante como hacer coincidir conceptos probablemente encontrados en los datos de entrenamiento, y que lograr resultados divertidos probablemente requiere muchas generaciones y selección de frutas. Un tema duradero de todos los modelos de IA generativos que hemos visto desde 2022 es que pueden ser excelentes al combinar conceptos encontrados en los datos de entrenamiento, pero generalmente son muy malos al generalizar (aplicar "conocimiento" aprendido a nuevas situaciones que el modelo no ha sido entrenado explícitamente). Eso significa que pueden destacar en la novedad estilística y temática, pero luchan con la novedad estructural fundamental que va más allá de los datos de entrenamiento. ¿Qué significa todo eso? En el caso de Runway Gen-3, la falta de generalización significa que tal vez pidas un barco de vela en una taza de café en remolino, y siempre que los datos de entrenamiento de Gen-3 incluyan videos de barcos de vela y café en remolino, esa es una combinación novedosa "fácil" para que el modelo la haga de manera convincente. Pero si pides un gato bebiendo una lata de cerveza (en un anuncio de cerveza), generalmente fallará porque probablemente no hay muchos videos de gatos fotorealistas bebiendo bebidas humanas en los datos de entrenamiento. En lugar de eso, el modelo extraerá de lo que ha aprendido sobre videos de gatos y anuncios de cerveza y los combinará. El resultado es un gato con manos humanas bebiendo una cerveza.