Мы заставили кошку выпить пиво с помощью видеогенератора Runway с искусственным интеллектом, и у нее выросли руки.

В июне компания Runway представила новый текст-видео синтезатор под названием Gen-3 Alpha. Он преобразует письменные описания, называемые "промптами", в видеоклипы HD-качества без звука. У нас уже есть возможность опробовать его и поделиться результатами. Наш тестирование показывает, что тщательное подбор промптов не так важен, как сочетание понятий, вероятно, встречающихся в тренировочных данных, и что достижение забавных результатов, вероятно, требует многих поколений и селективной отборки. Постоянной темой всех генеративных моделей ИИ, которые мы видели с 2022 года, является то, что они могут быть отличными в смешивании понятий, найденных в тренировочных данных, но обычно очень плохи в обобщении (применении полученных "знаний" к новым ситуациям, с которыми модель не была специально обучена). Это означает, что они могут отличаться стилистическим и тематическим новаторством, но бороться с фундаментальной структурной новизной, выходящей за рамки тренировочных данных. Что это все значит? В случае с Runway Gen-3, отсутствие обобщения означает, что если вы попросите создать видео с парусным кораблем в завихренной чашке кофе, и при условии, что в тренировочных данных Gen-3 есть видео примеры парусных кораблей и завихренного кофе, то это "легкая" новая комбинация, которую модель может сделать довольно убедительно. Но если вы попросите создать видео с кошкой, пьющей пиво из банки (в рекламе пива), то модель, вероятно, потерпит неудачу, потому что в тренировочных данных, вероятно, нет многих видео с фотореалистичными кошками, пьющими человеческие напитки. Вместо этого модель будет черпать из того, что она научилась о видео с кошками и видео с рекламами пива, и сочетать их. Результатом будет кошка с человеческими руками, пьющая пиво.