Улучшение качества и интерпретируемости LLM с помощью сервиса Vertex Gen AI Evaluation

Разработчики, использующие большие языковые модели (LLM), сталкиваются с двумя основными проблемами: управление случайностью результатов LLM и смягчение их склонности к получению неверной информации. Непредсказуемость LLM может быть как творческим преимуществом, так и помехой, особенно когда важны последовательность и точность фактов. Эта случайность, хотя и полезна для создания креативного контента, может привести к "галлюцинациям", когда модель уверенно выдает дезинформацию, тем самым снижая доверие к ее надежности. Многие задачи, такие как обобщение информации или создание маркетингового контента, не имеют единственного правильного ответа, что делает вариативность LLM одновременно и вызовом, и возможностью. Например, одному финансовому учреждению было необходимо обеспечить точность, краткость и грамотное составление резюме бесед с клиентами. Для решения этой задачи они сгенерировали несколько ответов LLM и использовали службу оценки ИИ Vertex Gen для выбора лучшего из них. Генерируя несколько версий резюме с контролируемой случайностью, они увеличили вероятность нахождения оптимального ответа. Затем эти ответы сравнивались с помощью парной оценки, чтобы определить наиболее точный и релевантный. Наконец, лучший ответ оценивался с помощью балльной оценки на предмет соответствия стандартам качества, а баллы и объяснения предоставлялись для прозрачности. Этот рабочий процесс, который может быть адаптирован для различных случаев использования и модальностей, превращает вариативность LLM в преимущество, систематически оценивая и выбирая лучшие результаты, тем самым повышая качество, надежность и достоверность контента, созданного LLM.