Baseten 是一家人工智能基础设施提供商，在人工智能推理方面取得了显著的成本效益提升。通过利用配备 NVIDIA Blackwell 硬件的 Google Cloud A4 虚拟机及其动态工作负载调度器，Baseten 提供了更高的效率。这一突破使企业能够经济高效地将先进的人工智能模型投入生产，从而实现新的应用。推理是运行人工智能模型的关键过程，由于计算需求的不断增长，它已成为企业人工智能的瓶颈。Baseten 通过提供可扩展的推理平台来支持各种专有和开源模型，从而解决了这一问题，并强调性能和成本。他们的策略是将尖端硬件与复杂的开源软件堆栈相结合进行优化。这包括利用 NVIDIA GPU 和 NVIDIA Dynamo、TensorRT-LLM 等先进框架。Baseten 的软件优化提高了吞吐量并降低了延迟，使其成为顶级性能者。此外，他们的全球基础设施和对 Google Cloud 动态工作负载调度器的使用确保了高可用性和冗余性。这种强大的软硬件结合以前所未有的规模和成本效益，为各行业的创新人工智能应用提供了支持。