Сообщество RSS DEV
Подписаться
ADR: Внедрение Amazon Bedrock AgentCore в продакшн
Автор, архитектор финансовой платформы AWS, подробно описывает процесс принятия решений при внедрении Amazon Bedrock AgentCore для операционализации ИИ-агентов в регулируемой финансовой среде. Традиционные подходы столкнулись с критическими операционными проблемами, такими как сбои в 2 часа ночи и соблюдение нормативных требований. Пять ключевых факторов потребовали срочного решения: управление состоянием между запросами, обеспечение нормативной прослеживаемости, внедрение надежных ограничений, контроль непредсказуемых затрат на токены и достижение переносимости во время выполнения. Было рассмотрено несколько вариантов, включая самостоятельное размещение решений на EKS, предыдущие поколения Bedrock Agents и использование Step Functions с Lambda.
Вариант самостоятельного размещения на EKS был отклонен из-за высокой операционной ответственности и затрат на разработку. Предыдущее поколение Bedrock Agents было признано недостаточным из-за ограниченной наблюдаемости и контроля бюджета. Step Functions был сочтен неадекватным в качестве среды выполнения для разговорных агентов, несмотря на его сильные стороны в детерминированных рабочих процессах. Amazon Bedrock AgentCore стал рекомендованным решением, предлагающим управляемую среду выполнения с нативными функциями для памяти сеансов, ограничений, прослеживаемости и использования инструментов.
Решающими факторами при выборе AgentCore стали его шлюз с поддержкой OAuth2/OIDC для каждого инструмента и управляемая память сеансов с настраиваемым TTL, что имеет решающее значение для безопасности и соответствия требованиям в финансовой сфере. Автор признает компромисс в виде привязки к платформе для среды выполнения, но подчеркивает переносимость базовых инструментов. В статье представлены конкретные рекомендации по настройке ограничений, памяти AgentCore, шлюза и бюджетов токенов, подчеркивая их важность для эффективной и безопасной работы. Описаны метрики наблюдаемости, такие как TurnsPerSession, TokensPerSession, ToolCallFailureRate и GuardrailInterventionRate, а также использование X-Ray и CloudTrail для детального отслеживания и нормативного аудита. Автор также предупреждает о последствиях и рисках, включая привязку к среде выполнения, консервативные квоты, задержку ограничений и затраты на память, призывая к тщательному принятию и стратегиям смягчения последствий.
