可移植智能架构:当运行时成为难题时
过去二十年,我们的重心是将数据推向智能。如今,我们正目睹一场巨大转变:必须将智能推向数据。这一翻转改变了 everything。您的托管平台不再仅仅是 API 网关,而是一个操作系统。那场并非关于模型的会议那场改变我对 AI 基础设施认知的会议,几乎与模型无关。我们数月来痴迷于模型质量。随后,在短短几周内,议程悄然重组。我们开始讨论接入第三方单元。我们辩论当同一模型的两个版本在重放(replay)场景下意见相左时会发生什么。我们担忧在共享加速器上,一个租户的推理是否会挤占邻居的资源。我们为谁来支付那一毫秒的费用而争论不休。