측정하는 것들
레이첼은 새로운 팀에 합류했으며, 그녀의 상사인 제인은 최저 비용으로 위젯 생산을 극대화하는 데 초점을 맞춘 메트릭 중심 접근 방식을 강조했습니다. 자동화된 생산 라인은 복잡한 소프트웨어를 포함했으며, 테스트 제한으로 인해 변경 사항은 실제 생산에서만 검증되었습니다. 레이첼의 초기 임무는 사용자들이 항상 엑셀을 선호했음에도 불구하고, 6개의 데이터베이스에서 데이터를 가져오는 구글 시트 메트릭 대시보드를 업데이트하는 것이었습니다. 팀은 시스템 동작이나 병목 현상을 설명할 상세 데이터 없이 "단위 시간당 생산된 위젯"과 같은 출력 메트릭만 추적했습니다. 예를 들어, 자동화된 품질 관리 스캐너는 위젯 거부 이유나 거부된 항목의 개수조차 직접 기록하지 않았습니다.소프트웨어 변경 사항은 전체 출력 메트릭에 대해 점수화되었으며, 이러한 메트릭은 소프트웨어 자체 외부의 외부 요인에 의해 영향을 받는 노이즈가 많았기 때문에 검증이 어려웠습니다. 거부된 위젯을 기록하는 변경 사항을 구현하려는 레이첼의 시도는 처음에는 환경 문제로 인한 메트릭 회귀로 인해 방해를 받았으며, 그녀의 코드가 원인이 아니었습니다. 제한된 테스트 실행과 메트릭 회귀를 고려해야 할 필요성 때문에 간단한 변경 사항도 검증하는 데 몇 주가 걸릴 수 있었습니다. 레이첼은 유용한 시스템 모델을 구축하기 위해 더 자세한 데이터를 수집하기 위해 코드에 계측을 추가하기 시작했습니다.그러나 제인은 즉각적인 주요 출력 메트릭 개선에 집착했습니다. 그는 그러한 진단 데이터가 "핵심 메트릭"이 아니라고 말하며, 해당 메트릭이 그렇게 작동하는 이유를 이해하기 위해 데이터를 수집하는 것의 가치를 일축했습니다. 이는 시스템 이해에 대한 레이첼의 열망과 최상위 성과 지표에 대한 제인의 초점 사이에 근본적인 충돌을 야기했습니다. 레이첼은 그녀가 최상위 메트릭을 개선하기 위해 만든 모든 변경 사항에 변경 사항의 동작을 설명하기 위한 계측을 포함하도록 하여 타협점을 찾았습니다. 이 전략을 통해 그녀는 메트릭 개선에 대한 제인의 요구를 충족시키면서 시스템의 관찰 가능성을 점진적으로 향상시킬 수 있었습니다. 궁극적으로, 포괄적인 통찰력 없이 최상위 메트릭을 추진하는 것에 비해 복잡한 시스템을 이해하는 것은 낮은 우선순위로 남았습니다.