人工智能演进的统一视角：从机器学习到大型语言模型、检索增强生成与微调

人工智能已取得显著进展，从基于规则的系统演进为能够从数据中学习、进行推理并生成新内容的系统。机器学习推动了这一进程，使算法能够在海量数据中识别模式。深度学习作为机器学习的子集，利用神经网络有效处理图像、语音和文本等复杂数据。生成式人工智能则是进一步的演进，专注于创造新内容，模仿人类的创造力。 大型语言模型（LLM）是现代生成式人工智能的核心，能够理解和生成类人语言。大多数 LLM 采用 Transformer 架构，该架构利用注意力机制来理解上下文中的词语关系。主要的 LLM 系列包括 OpenAI 的 GPT、Anthropic 的 Claude、Meta 的 Llama 以及 Google 的 Gemini。这些模型支撑着从聊天机器人到内容生成和软件开发等广泛的应用。 用户通过聊天界面或 API 与 LLM 交互，并通过提示工程引导输出，其中清晰的指令至关重要。LLM 将文本转换为数值嵌入以理解语义含义及关系。温度参数控制输出的创造性：较低的值产生可预测的结果，而较高的值增加变异性。 为了使 LLM 扎根于现实世界或企业特定的知识，主要采用两种技术：检索增强生成（RAG）和微调。分词是模型处理语言的方式，即将文本拆分为更小的单元（词元），再将其转换为数字。这提升了效率与灵活性，并影响使用成本，因为模型按词元计费。 LLM 具有有限的“上下文窗口”，相当于短期记忆，决定了其一次性可考虑的词元数量。若输入超出此限制，旧信息将被丢弃。基于词元的计费意味着用户需为输入和输出词元付费，因此高效的提示设计和输出控制对成本管理至关重要。 RAG 通过从外部知识源检索相关信息并将其添加到模型输入中，从而增强 LLM，确保回答准确且最新。该方法成本效益高，适用于动态信息，但会引入轻微延迟。 微调涉及在特定领域数据上对预训练 LLM 进行进一步训练，将专业知识直接嵌入模型。这能产生更快且高度定制的输出，但成本更高，且每当有新信息时需重新训练。RAG 更适合动态知识，而微调适用于稳定的专业知识；结合两者往往能获得最佳效果。 LLM 的性能与模型规模（以参数量衡量）相关；通常模型越大，性能越好，但也需要更多的计算资源。这促使了更小、更高效模型的开发，以在性能、成本与延迟之间取得平衡。