AWS Machine Learning Blog на русском
Подписаться
Создание шлюза LLM с самообслуживанием с помощью Amazon Bedrock и LiteLLM
Создайте шлюз LLM самообслуживания с помощью LiteLLM на AWS Fargate, который размещает базовые модели Amazon Bedrock за API, совместимым с OpenAI. Разработчики получают мгновенный доступ через единый API-ключ, в то время как команды платформы получают контроль над расходами для каждого пользователя, изоляцию квот и наблюдаемость.