RSS VentureBeat
Подписаться
Обновление ваших AI-агентов поможет или помешает их производительности? Новый инструмент Raindrop Experiments расскажет вам
Raindrop, стартап по наблюдению за приложениями на основе ИИ, запустил "Experiments", набор для A/B-тестирования, разработанный специально для корпоративных ИИ-агентов. Эта новая функция позволяет компаниям сравнивать производительность различных ИИ-агентов на основе изменений в базовых моделях, инструкциях и доступе к инструментам. Experiments расширяет существующие инструменты Raindrop, предлагая информацию о том, как ИИ-агенты ведут себя и развиваются в реальных пользовательских взаимодействиях. Платформа отслеживает влияние изменений на производительность ИИ в миллионах взаимодействий, визуализируя результаты и выделяя как положительные, так и отрицательные сигналы. Этот инструмент призван привнести строгость современного развертывания программного обеспечения в итерации ИИ-агентов, способствуя улучшениям, основанным на данных. Основная миссия Raindrop заключалась в решении "проблемы черного ящика" в ИИ, помогая командам понять, почему и как их ИИ-системы выходят из строя. Experiments решает распространенную проблему "прохождения оценок, сбоев агентов", фокусируясь на реальном поведении агентов. Платформа предлагает простые для интерпретации данные, которые помогают разработчикам быстро выявлять и устранять проблемы, такие как сбои задач или непредвиденные ошибки. Experiments интегрируется с платформами feature flag и существующими аналитическими конвейерами, обеспечивая точные сравнения с достаточным объемом пользовательских данных. Raindrop обеспечивает комплексную безопасность данных, включая опции редактирования PII и соответствие требованиям SOC 2, наряду с различными тарифными планами. Компания делает акцент на постоянном совершенствовании, стремясь помочь разработчикам двигаться быстрее и выпускать более производительные ИИ-модели, уделяя приоритетное внимание реальным пользовательским данным.
