Телекоммуникационная компания KDDI столкнулась с проблемой балансировки качества и скорости в своем генеративном приложении ИИ Buffmee. Buffmee призван помочь пользователям расти, предоставляя информацию, основанную на более чем 100 разнообразных источниках, обеспечивая надежность и предотвращая галлюцинации. Изначально KDDI боролась с проблемами задержки и необходимостью обработки огромного количества проприетарного контента. Чтобы преодолеть эти препятствия, они внедрили автоматизированную систему оценки и методы оптимизации производительности.Этот систематический подход привел к значительным улучшениям, сократив общую задержку ответа приложения на 38% и улучшив время до первого токена (TTFT) почти на 18%. KDDI использовала службу оценки платформы Gemini Enterprise Agent для автоматизированного тестирования, заменив ручные усилия процессом, основанным на данных, который улучшил показатели обоснованности на 25%. Они приняли бинарную систему оценки, стратегическую выборку контента на основе формата и состава медиа, а также калиброванные пороги, основанные на суждении продукта.Узкие места были выявлены и устранены с помощью BigQuery Agent Analytics и агента анализа логов Agent Development Kit (ADK), который помог выявить проблемы с раздуванием промптов и разделением навыков. Большие системные промпты были модулированы в ADK Skills, чтобы избежать дрейфа внимания и оптимизировать время ответа. Эти методы позволили KDDI создать систему RAG, в которой загруженный контент работал мгновенно, предоставляя пользователям безопасный и персонализированный способ изучения медиа. Успех Buffmee демонстрирует важность систематической оценки и анализа производительности для надежных генеративных приложений ИИ.