AI的隐性存储成本:推理留下的痕迹 笔记

AI的隐性存储成本:推理留下的痕迹

让大多数高管想象 AI 的成本,他们很可能会想到 GPU——成排的加速器,功耗高达数吉瓦——以及芯片的等待名单。但这幅图景遗漏了一部分:数据存储成本。模型响应之后,数据会怎样?模型背后生成的绝大部分数据——包括数十亿条每日提示、图像和视频——需要……
CdXz5zHNQW_jWV6rxEQic.png