微调会遗忘。RAG 会泄露上下文。超网络按需构建您的代理所需的模型。
企业级 AI 代理往往难以实现持续的效率提升，因为它们需要持续的人工监督。这是因为随着输入数据的增加，AI 模型的准确性会下降，从而随时间推移变得不可靠。传统的解决方案如微调存在灾难性遗忘或导致模型泛滥的风险，而上下文学习则面临上下文腐烂和成本不断攀升的问题。这些方法无法确保模型既保持最新又使用正确的上下文，因此仍需人类介入。
一种有前景的替代方案是利用超网络按需生成小型、任务特定的模型。该方法通过在推理时创建模型适配器，规避了微调的重新训练成本以及提示法的上下文限制。这些生成的模型具有狭窄、最新和轻量化的特点，从而减小了错误表面并提升了自主性。
然而，超网络方法的成功取决于模型校准和足够的规模，这仍是活跃的研究领域。将输出结果锚定至其来源对于实现高效的人工验证至关重要，可防止对自动化偏见的依赖。模型改进的所有权及其运行位置也是关键考量因素。对于狭窄且重复的任务，超网络生成的模型在成本和自主性方面具有显著优势；而对于更简单、较短的任务，经过良好提示的前沿模型可能已足够。在购买之前，理解知识所在、锚定机制、升级触发条件以及反馈所有权是至关重要的。
