We lieten een kat een biertje drinken met Runway's AI-video generator, en het kreeg handen.

In juni debuteerde Runway met een nieuw tekst-naar-video-synthesemodel genaamd Gen-3 Alpha. Het model converteert geschreven beschrijvingen, zogenaamde "prompts", in HD-video's zonder geluid. Sindsdien hebben we de kans gehad om het te gebruiken en wilden we onze resultaten delen. Onze tests laten zien dat zorgvuldige prompting niet zo belangrijk is als het matchen van concepten die waarschijnlijk in de trainingsdata voorkomen, en dat het bereiken van amusante resultaten waarschijnlijk veel generaties en selectieve cherry-picking vereist. Een duurzaam thema van alle generatieve AI-modellen die we sinds 2022 hebben gezien, is dat ze excellent kunnen zijn in het mengen van concepten gevonden in de trainingsdata, maar typisch erg slecht zijn in het generaliseren (het toepassen van geleerde "kennis" op nieuwe situaties waarop het model niet expliciet is getraind). Dat betekent dat ze kunnen excelleren in stijl- en thematische noviteit, maar worstelen met fundamentele structurele noviteit die verder gaat dan de trainingsdata. Wat betekent dat allemaal? In het geval van Runway Gen-3, betekent gebrek aan generalisatie dat je misschien een zeilschip in een wervelende kop koffie kunt vragen, en als de trainingsdata van Gen-3 video-exemplaren van zeilschepen en wervelende koffie omvat, is dat een "gemakkelijke" noviteit voor het model om redelijk overtuigend te maken. Maar als je een kat vraagt om een blikje bier te drinken (in een biercommercial), zal het model over het algemeen falen omdat er waarschijnlijk weinig video's van fotorealistische katten zijn die menselijke dranken drinken in de trainingsdata. In plaats daarvan zal het model trekken uit wat het heeft geleerd over video's van katten en video's van biercommercials en deze combineren. Het resultaat is een kat met menselijke handen die een biertje drinkt.