运行私有大型语言模型（LLM）需要理解不同的隐私定义和硬件成本。物理隐私意味着提示词（prompts）永远不会离开您控制的机器；而合同隐私则依赖于服务提供商的协议。技术隐私则使用能够加密数据的硬件，防止运营商查看提示词。选项一是在您自己的硬件上运行本地 LLM，这提供了最高的物理隐私。然而，这需要为高性能 GPU 支付高昂的前期成本，并发能力有限，且面临潜在的过时风险。这种配置非常适合工作负载稳定的单一用户，但需要持续投入时间进行维护。选项二涉及提供合同隐私保障的云服务商。主要云服务提供商提供企业级合同，可防止将提示词用于模型训练，并支持零数据保留配置。这种方法适合需要服务等级协议（SLA）和既定法律救济途径的大型组织。选项三是私有 LLM 网关，它在本地和云端之间取得平衡。这些网关利用可信执行环境（TEEs）实现硬件级隐私。它们提供按使用付费的定价模式，无需前期投入，并允许对数据隐私进行硬件验证。网关可以运行本地机密模型，或将请求路由至前沿模型，但后者仍可能被原始提供商查看。一个关键挑战仍是共享代理中的私有内存问题，其中一名用户的数据可能暴露给其他用户。研究表明，即使在私有 LLM 系统中，多用户环境仍存在显著的隐私违规现象。为缓解共享内存风险，应将内存范围限定于每个用户，在存储层实施访问控制，并在存储前对敏感数据进行脱敏。应将所有共享内存视为可能公开。最经济的选项取决于使用量：对于低使用量，机密层级更具成本效益；而对于高且稳定的使用量，在折旧后自有硬件可能更便宜。最终，选择取决于个人需求：独用者选择本地部署，需要 SLA 的企业选择云端，而重视可验证隐私的团队则选择网关。无论采取何种路径，在启用多用户访问之前，都必须解决共享内存问题。