Bliki:生成的词汇表
大型组织中的专业术语对大语言模型(LLMs)构成挑战,因为这些术语通常未包含在训练集中。为解决这一问题,LLMs 可从组织文档、电子邮件和聊天记录中生成领域专用术语表。该过程涉及识别新术语以及以新方式使用的现有术语。一旦识别出这些术语,LLM 可生成定义,并对多义词记录其语境差异。随后,人类专家需审查并完善这些术语表草案。最终术语表应以高效格式供 LLM 访问,以最小化查找时的 token 消耗。由人类和 LLM 共同进行的定期审查与更新至关重要,并应维护版本控制。组织在不同受控上下文(如源代码)中可能存在细微不同的定义。为每个受控上下文分别建立术语表,往往比采用单一标准化术语表更为有效。对比不同上下文的术语表可凸显用法差异。对于大型术语表,初始阶段仅包含术语及其定义链接,可优化 token 使用。术语表可指导代码生成,并确保内部术语不会在客户界面中对外暴露。纳入已弃用术语及其建议替换项,并随时间管理其使用情况,同样具有益处。大型组织中专业语言的复杂性是一个常见主题,因此由 LLM 生成的术语表是领域建模和上下文分层中的务实步骤。