我负责管理的 Prometheus 实例时间序列数据量已增长至 900 GB 以上，到了这个规模，它便患上了所有随之而来的“疾病”。查询除非限定在一小时内，否则都会超时。基数持续增长，因为各团队会添加标签“用于调试”，随后有时又忘记移除。此外，我们还将部分指标数据的副本发送至外部 SaaS 供应商，以备不时之需，而该账单每个季度都在增加。在此之下运行的整个舰队承载着对延迟敏感的交易平台服务，因此监控系统本身绝不允许在错误时刻额外占用一个 CPU 核心。