В этом посте мы объяснили, как новая функция липкой маршрутизации в Amazon SageMaker позволяет вам достичь сверхнизкой задержки и улучшить опыт взаимодействия конечных пользователей при обслуживании мульти-модельных моделей.
aws.amazon.com
Build ultra-low latency multimodal generative AI applications using sticky session routing in Amazon SageMaker