규제 보고를 위한 엔지니어링 감사 준비 데이터 파이프라... 노트

규제 보고를 위한 엔지니어링 감사 준비 데이터 파이프라인

규제 기관이 "이 숫자가 정확히 어떻게 계산되었는지 설명해 주시겠습니까?"라고 물었을 때, 상대방이 "다시 연락드리겠습니다."라고 말해야 하는 통화에서 발생하는 특정한 종류의 침묵이 있습니다. 저는 그런 통화에 참여해 본 적이 있습니다. 즐거운 상황이 아니며, 보통은 누군가 잘못했기 때문이 아닙니다. 그 이유는 그 숫자를 산출한 파이프라인이 애초에 그 질문에 답하도록 설계되지 않았기 때문입니다.유동성 보고서, 자본 계산 또는 더 특수한 것 등 규제 보고는 대부분의 데이터 엔지니어링 작업과 비교할 때 이상한 속성을 가지고 있습니다. 팀 외부의 누구도 그 뒤에 있는 대시보드가 어떻게 보이는지에 대해 실제로 신경 쓰지 않습니다. 그들이 신경 쓰는 것은 몇 달 또는 몇 년 후에 모든 수치가 어디에서 왔는지, 누가 그것을 다루었는지, 그리고 두 보고 기간 사이에 왜 변경되었는지를 정확하게 증명할 수 있는지 여부입니다. 이것은 "보고서를 빠르게 실행되도록 하라"는 것과는 근본적으로 다른 설계 목표이며, 솔직히 말해서 많은 파이프라인이 처음에는 속도와 편의성을 위해 구축되고, 나중에 감사 가능성이 사후 고려 사항으로 추가됩니다. 그것은 드러납니다.