私が担当していたPrometheusは、900GBを超える時系列データにまで成長し、そのサイズになるとそれに伴うあらゆる問題が発生していました。クエリは、1時間に絞り込まない限りタイムアウトしていました。チームがデバッグのためにラベルを追加し、その後削除を忘れることもあったため、カーディナリティは増え続けていました。さらに、万が一のために、メトリックデータの断片のコピーを外部SaaSベンダーに出荷しており、その請求額は四半期ごとに増加していました。そして、そのすべてを支えるフリートはレイテンシに敏感なトレーディングサービスを実行していたため、モニタリング自体が誤った瞬間に余分なCPUコアを消費することは許されませんでした。