Стартапы, занимающиеся генеративным ИИ, теперь разрабатывают интерактивные миры в реальном времени, а не просто статичные клипы. Visko сотрудничал с инженерами Google Cloud TPU для развертывания своей модели живого мира Orbis на Cloud TPU всего за 30 дней. Обслуживание модели живого мира представляет собой уникальную задачу по соблюдению строгого графика реального времени, в отличие от офлайн-генерации видео. Каждый фрагмент видео и аудио должен быть отрисован до того, как закончится предыдущий, чтобы избежать зависания мира. Orbis от Visko транслирует живое видео по одному запросу и позволяет зрителям динамически управлять сценой в реальном времени. Команды успешно развернули сквозной конвейер инференса Visko, включая генерацию видео, масштабирование и аудио, на одном срезе Cloud TPU. Они достигли сквозной генерации со скоростью воспроизведения 1,07x благодаря архитектурным оптимизациям и точному инжинирингу. Этот технический обзор исследует оптимизации и практические уроки для стартапов, создающих генеративный ИИ с ультранизкой задержкой на Google Cloud. Модели живого мира принципиально отличаются от стандартного пакетного инференса из-за размера пакета в единицу и строгих последовательных зависимостей. Конвейер Visko объединяет три генеративные модели на одном срезе Cloud TPU, разделяя оборудование для каждого фрагмента.