Netflix 每天处理数百万次工作负载，其中许多会失败，给工程师带来了巨大的调试负担。其初始解决方案 Pensive 使用预定义规则自动诊断问题并提供修复建议，可覆盖约一半的此类故障。然而，这种基于规则的系统难以应对未知的故障模式，且需要持续的人工更新。为克服这些局限性，Netflix 开发了 Pensive AI，通过集成人工智能来增强错误提取与诊断能力。其目标是在现有的开发生命周期内实现更广泛的覆盖、更低的延迟以及可控的 AI 成本。Pensive AI 将 AI 能力封装在确定性流程周围，从而提升可维护性并扩大覆盖范围。初步结果显示，Pensive AI 可覆盖 100% 的故障，包括此前未知的故障类型。使用 Pensive AI 后，人工调试操作显著减少。该系统具备两条互补路径：始终开启的错误提取用于快速初步评估，以及按需调试用于深度分析，后者利用大语言模型（LLMs），仅在初步查看不足时触发。错误提取通过返回行号而非完整文本来识别日志中的关键错误片段，从而提升效率并减少幻觉。这一自动化流程与现有的基于规则的错误检测相补充，并在严格超时限制内确保及时响应。该系统还谨慎管理数据契约，引入新模型与旧模型并存，以支持渐进式采用。Pensive AI 调试为失败的步骤尝试提供根本原因分析及修复建议，可通过 API 和用户界面访问。这种按需调试成本较高，仅在必要时启动，以有效管控支出。调试响应按步骤尝试进行缓存，以避免重复计算并降低延迟。系统以流式方式生成并返回响应，即使用户连接中断，也能提供接近实时的体验。生成的响应即使在被请求客户端断开连接后也会保留，确保工作成果不丢失。该设计独立于发起请求的连接，从而实现稳健且连续的调试能力。Netflix 还开发了独立的评估框架，以确保 Pensive AI 在错误提取和调试指导方面的可靠性。对于错误提取，现有的手写规则作为基准进行比较，无需大量人工重新标注。这些框架有助于维持系统在 legacy Pensive 已能处理的故障上的性能表现。