Amazon SageMaker AI осуществил 13 запусков инференса с начала года по двум путям развертывания: полностью управляемые конечные точки и Amazon SageMaker HyperPod Inference. В этой статье рассматривается каждый запуск, от рекомендаций по инференсу и пулов экземпляров с учетом емкости до многоуровневого KV-кэширования и раздельного предварительного заполнения и декодирования.