LLM부터 이미지 생성까지: AI 하이퍼컴퓨터로 추론 워크로드 가속화

Google Cloud는 생성형 AI 애플리케이션 확장에 중요한 AI 하이퍼컴퓨터를 통해 AI 추론 분야를 선도하고 있습니다. Google은 추론을 위해 설계된 새로운 텐서 처리 장치(TPU)인 Ironwood를 도입하는 등 추론 기능을 크게 개선했습니다. Google의 JetStream 추론 엔진은 매우 낮은 지연 시간의 다중 호스트, 분산 서비스를 위한 Pathways를 포함한 새로운 성능 최적화 기능으로 강화되었습니다. 잠재 확산 모델의 참조 구현인 MaxDiffusion은 컴퓨팅 집약적인 이미지 생성 워크로드를 위해 TPU에서 뛰어난 성능을 제공하며 현재 가장 큰 텍스트-이미지 생성 모델 중 하나인 Flux를 지원합니다. MLPerf Inference v5.0의 최신 성능 결과는 추론을 위한 Google Cloud의 A3 Ultra 및 A4 VM의 강력한 성능과 다양성을 보여줍니다. Google Cloud는 TPU에서 LLM을 제공할 때 더 많은 선택지를 제공하여 JetStream을 더욱 강화하고 TPU용 vLLM 지원을 제공합니다. JetStream은 낮은 지연 시간, 높은 처리량 추론 및 커뮤니티 지원을 통해 뛰어난 가격 대비 성능을 제공하는 오픈 소스, 처리량 및 메모리 최적화 추론 엔진입니다. Google Cloud의 AI 하이퍼컴퓨터는 통합 소프트웨어 프레임워크와 하드웨어 가속기를 통해 AI 혁신을 가능하게 합니다. Osmos 및 JetBrains와 같은 고객은 Google Cloud의 TPU 및 GPU 인스턴스를 사용하여 대규모 추론에 대한 비용 효율성을 극대화하고 있습니다.