생성형 AI 스타트업들은 이제 정적인 클립뿐만 아니라 상호작용적이고 실시간 세계를 개발하고 있습니다. Visko는 Google Cloud TPU 엔지니어들과 협력하여 30일 만에 라이브 월드 모델인 Orbis를 Cloud TPU에 배포했습니다. 라이브 월드 모델을 제공하는 것은 오프라인 비디오 생성과는 달리 엄격한 실시간 시계를 맞추는 독특한 과제를 제시합니다. 월드가 멈추는 것을 방지하기 위해 모든 비디오 및 오디오 청크는 이전 청크가 끝나기 전에 렌더링되어야 합니다. Visko의 Orbis는 단일 프롬프트에서 라이브 비디오를 스트리밍하고 시청자가 실시간으로 장면을 동적으로 제어할 수 있도록 합니다. 팀은 비디오 생성, 업스케일링 및 오디오를 포함한 Visko의 엔드투엔드 추론 파이프라인을 단일 Cloud TPU 슬라이스에 성공적으로 배포했습니다. 그들은 아키텍처 최적화와 정밀한 엔지니어링을 통해 1.07배 재생 속도로 엔드투엔드 생성을 달성했습니다. 이 기술 심층 분석은 Google Cloud에서 초저지연 생성형 AI를 구축하는 스타트업을 위한 최적화 및 실질적인 교훈을 탐구합니다. 라이브 월드 모델은 배치 크기가 1이고 엄격한 순차적 종속성 때문에 표준 배치 추론과 근본적으로 다릅니다. Visko의 파이프라인은 하나의 Cloud TPU 슬라이스에 세 개의 생성 모델을 체인으로 연결하여 각 청크에 대해 하드웨어를 공유합니다.