Наблюдаемость генеративного ИИ... Заметка

Наблюдаемость генеративного ИИ теперь общедоступна для Amazon CloudWatch

Amazon CloudWatch объявляет об общедоступности наблюдаемости генеративного ИИ, помогая вам отслеживать все компоненты приложений и рабочих нагрузок ИИ, включая агентов, развернутых и управляемых с помощью Amazon Bedrock AgentCore. Этот выпуск расширяется за пределы мониторинга времени выполнения и включает полную наблюдаемость в Built-in Tools, Gateways, Memory и Identity AgentCore. Команды DevOps и разработчики теперь могут получить готовый обзор задержек, использования токенов, ошибок и производительности во всех компонентах своих рабочих нагрузок ИИ, от вызовов моделей до операций агентов. Эта функция совместима с популярными платформами оркестровки генеративного ИИ, такими как Strands Agents, LangChain и LangGraph, предлагая гибкость при выборе платформы. С помощью этой новой функции CloudWatch позволяет разработчикам анализировать данные телеметрии во всех компонентах приложения генеративного ИИ. Клиенты могут отслеживать шаблоны выполнения кода в Built-in Tools, отслеживать показатели успешности преобразования API через Gateways, анализировать шаблоны хранения и извлечения памяти и обеспечивать безопасное поведение агентов с помощью наблюдаемости Identity. Связанный вид помогает разработчикам быстро выявлять проблемы — от пробелов в VectorDB до сбоев аутентификации — с помощью сквозной трассировки подсказок, курируемых метрик и журналов. Разработчики могут отслеживать весь свой парк агентов через раздел "AgentCore" в консоли CloudWatch, который легко интегрируется с другими возможностями CloudWatch, включая Application Signals, Alarms, Sensitive Data Protection и Logs Insights. Эта функция теперь доступна в US East (N. Virginia), US East (Ohio), US West (Oregon), Europe (Frankfurt), Europe (Ireland), Asia Pacific (Mumbai), Asia Pacific (Tokyo), Asia Pacific (Singapore) и Asia Pacific (Sydney). Чтобы узнать больше, посетите документацию. Дополнительная стоимость за Gen AI Observability отсутствует, применяется существующая цена CloudWatch для базовых данных телеметрии.