AI 已触及内存墙——现在它需要一个新的上下文层级
AI 推理正从简单的交互转向复杂的多步骤代理系统。主要瓶颈已不再是 GPU 算力，而是上下文管理。上下文窗口正在扩大，代理 AI 链需要在会话间追踪持久状态。上下文数据的激增超出了现有存储层级的容量。一种新的专用上下文层级正在 GPU 内存与批量存储之间兴起。该层级将由高性能闪存 SSD 构成，用于存储和提供键值缓存及检索数据。这种专用存储架构与 AI 训练中顺序、写主导的需求显著不同。推理需要细粒度、对延迟敏感的存储，以快速访问并复用数据。若未优化此上下文层级，将导致 GPU 效率低下及先前生成状态的重复计算。企业领导者必须规划这一新的存储层级，以确保高效的 AI 推理并最大化投资回报。
