제가 담당했던 Prometheus는 시계열 데이터가 900GB를 넘어섰고, 그 크기에서는 필연적으로 발생하는 모든 문제점을 안고 있었습니다.쿼리는 한 시간으로 범위를 좁히지 않으면 타임아웃되었고, 팀들이 "디버깅용"으로 레이블을 추가했다가 때로는 제거하는 것을 잊어버리면서 카디널리티는 계속 증가했습니다. 게다가, 만약을 대비해 메트릭 데이터의 일부를 외부 SaaS 공급업체로 복사하여 전송하고 있었는데, 이 비용은 분기마다 증가했습니다. 그리고 이 모든 것을 지원하는 플릿은 지연 시간에 민감한 트레이딩 서비스를 운영하고 있었기 때문에, 모니터링 자체도 잘못된 순간에 추가 CPU 코어를 소모하는 것이 허용되지 않았습니다.