Amazon CloudWatch добавляет наблюдение за генеративным ИИ (предварительная версия)

"Amazon CloudWatch теперь помогает наблюдать за приложениями и рабочими нагрузками генеративного ИИ, включая агенты, развернутые и работающие с помощью Amazon Bedrock AgentCore (предварительная версия), предоставляя информацию о производительности, здоровье и точности ИИ. Вы получаете готовый к использованию обзор задержек, использования и ошибок ваших рабочих нагрузок ИИ, чтобы обнаруживать проблемы быстрее в компонентах, таких как вызовы моделей и агенты. Вы также можете найти проблемы быстрее с помощью трассировки запросов от начала до конца компонентов, таких как базы знаний, инструменты и модели. Это функция совместима с популярными фреймворками оркестрации генеративного ИИ, такими как Strands Agents, LangChain и LangGraph, предлагая гибкость в выборе фреймворка. С помощью этой новой функции Amazon CloudWatch анализирует телеметрические данные по всем компонентам приложения генеративного ИИ, помогая быстро определить источник ошибок. Например, вы можете определить источник неточных ответов - будь то пробелы в вашей VectorDB или неполные повторные попытки системы RAG - с помощью трассировки запросов от начала до конца, отфильтрованных метрик и журналов. Это связанный обзор взаимодействия компонентов помогает разработчикам оптимизировать рабочие нагрузки быстрее, чтобы обеспечить высокий уровень доступности, точности, надежности и качества. Разработчики могут поддерживать агенты ИИ в рабочем состоянии, мониторируя и оценивая флот агентов в одном месте. Вид агента, отфильтрованный для AgentCore, доступен в вкладке "AgentCore" в консоли CloudWatch для наблюдения за генеративным ИИ. Наблюдение за генеративным ИИ интегрировано с другими возможностями CloudWatch, такими как Сигналы приложений, Тревоги, Панели мониторинга, Защита чувствительных данных и Аналитика журналов, помогая вам без труда расширять существующие инструменты наблюдения для мониторинга рабочих нагрузок генеративного ИИ. Эта функция доступна в предварительной версии в 4 регионах: Восток США (Вирджиния), Запад США (Орегон), Европа (Франкфурт) и Азиатско-Тихоокеанский регион (Сидней). Чтобы узнать больше, посетите документацию. Цены CloudWatch применяются к собранным и хранимым телеметрическим данным."