Блики: Сгенерированный глоссар... Заметка
Martin Fowler на русском

Блики: Сгенерированный глоссарий

Специализированная лексика в крупных организациях представляет собой проблему для больших языковых моделей (LLM) из-за ее отсутствия в обучающих наборах. Для решения этой проблемы LLM могут генерировать предметно-ориентированные глоссарии из организационных документов, электронных писем и журналов чатов. Этот процесс включает в себя выявление новых терминов и существующих терминов, используемых по-новому.После идентификации LLM может создавать определения, отмечая контекстуальные вариации для терминов с несколькими значениями. Затем эксперты-люди должны просмотреть и доработать эти черновики глоссариев. Финализированные глоссарии должны быть доступны для LLM в эффективном формате, минимизируя потребление токенов для поиска.Регулярный пересмотр и обновление как людьми, так и LLM имеют решающее значение, и должен поддерживаться контроль версий. Организации могут иметь тонкие различия в определениях в различных ограниченных контекстах, таких как исходный код. Отдельные глоссарии для каждого ограниченного контекста часто более эффективны, чем один стандартизированный.Сравнение глоссариев из разных контекстов может выявить различия в использовании. Для больших глоссариев включение только терминов и ссылок на определения изначально может оптимизировать использование токенов. Глоссарии могут направлять генерацию кода и гарантировать, что внутренняя терминология не будет раскрыта внешне в клиентских интерфейсах.Включение устаревших терминов с предлагаемыми заменами и управление их использованием с течением времени также полезно. Сложность специализированного языка в крупных организациях является общей темой, что делает глоссарии, сгенерированные LLM, практическим шагом в моделировании предметной области и наслоении контекста.