AI 인프라 제공업체인 Baseten은 AI 추론에서 상당한 비용-성능 개선을 달성했습니다. Baseten은 Google Cloud의 A4 가상 머신과 NVIDIA Blackwell 하드웨어 및 동적 워크로드 스케줄러를 활용하여 효율성을 향상시킵니다. 이 혁신적인 성과는 기업이 고급 AI 모델을 합리적인 비용으로 프로덕션에 배포할 수 있도록 하여 새로운 애플리케이션을 가능하게 합니다. AI 모델을 실행하는 프로세스인 추론은 엔터프라이즈 AI에 중요하며, 컴퓨팅 수요 증가로 인해 병목 현상이 되었습니다. Baseten은 성능과 비용을 강조하는 다양한 독점 및 오픈 소스 모델에 대한 확장 가능한 추론 플랫폼을 제공하여 이를 해결합니다. 이들의 전략은 최첨단 하드웨어를 정교한 오픈 소프트웨어 스택으로 최적화하는 것을 포함합니다. 여기에는 NVIDIA GPU와 NVIDIA Dynamo 및 TensorRT-LLM과 같은 고급 프레임워크 활용이 포함됩니다. Baseten의 소프트웨어 최적화는 처리량을 높이고 지연 시간을 줄여 최고의 성능을 제공합니다. 또한, 이들의 글로벌 인프라와 Google Cloud의 동적 워크로드 스케줄러 사용은 높은 가용성과 이중화를 보장합니다. 하드웨어와 소프트웨어의 강력한 조합은 전례 없는 규모와 비용 효율성으로 다양한 산업 전반에 걸쳐 새로운 AI 애플리케이션을 가능하게 합니다.