Автоматизация пакетного вывода Amazon Bedrock: Создание масштабируемого и эффективного конвейера

Хотя пакетное выводное рассуждение предлагает множество преимуществ, оно ограничено 10 пакетными задачами выводного рассуждения, поданными на модель в каждом регионе. Чтобы преодолеть это ограничение и улучшить использование пакетного выводного рассуждения, мы разработали масштабируемое решение с помощью AWS Lambda и Amazon DynamoDB. В этом посте мы проведем вас через реализацию системы управления очередями, которая автоматически отслеживает доступные слоты задач и подает новые задачи, когда слоты становятся доступными.