RunwayのAIビデオジェネレーターで猫にビールを飲ませたところ、手が生えた

6月、Runwayは、新しいテキスト・ビデオ・シンセシス・モデル「Gen-3 Alpha」をデビューさせました。このモデルは、HDビデオ・クリップを生成し、音声を伴いません。以来、私たちはこれを使い、結果を共有したいと思います。テスト結果によると、注意深いプロンプティングは、トレーニング・データで一般的に見つかるコンセプトに一致することが重要であり、面白い結果を達成するためには、多くの世代と選択的なチェリー・ピッキングが必要です。 2022年以降に登場したすべての生成AIモデルに共通しているテーマは、トレーニング・データで見つかるコンセプトを組み合わせることが非常に上手でありながら、新しい状況に適用する一般化が非常に困難であるということです。つまり、モデルは、スタイルやテーマの新しさで秀でることができますが、トレーニング・データを超える基本的な構造的な新しさには苦戦します。 これはすべて何を意味しますか？Runway Gen-3の場合、一般化の欠如は、セーリング・シップがスイリング・コーヒー・カップに浮かんでいるというシチュエーションを要求する場合、Gen-3がこれをうまく実現できるということを意味します。なぜなら、トレーニング・データには、セーリング・シップのビデオとスイリング・コーヒーのビデオが含まれるからです。ただし、猫がビールを飲んでいるビール・コマーシャルを要求する場合、モデルは失敗します。なぜなら、トレーニング・データには、人間の飲料を飲んでいる写実的な猫のビデオが少ないからです。代わりに、モデルは、猫のビデオとビール・コマーシャルのビデオを組み合わせます。結果は、ビールを飲み干す人間の手を持つ猫です。