조용히 실패하는 공개 데이터 수집: TypeScript... 노트

조용히 실패하는 공개 데이터 수집: TypeScript 및 Cloudflare Workers 파이프라인에서의 패턴

초록공공 통계 데이터셋은 오류로 인해 실패하는 경우가 드뭅니다. 문제가 발생하면, 그들은 그럴듯한 숫자, 성공 상태가 표시된 HTML 페이지, 또는 조용히 업데이트가 중단된 시계열 데이터를 반환합니다. 이 글은 연간 직업별 임금 조사, 월별 생산자 물가 지수, 2022년 자재 가격 산업 벤치마크, 그리고 ZIP 코드와 대도시 지역 간의 교차 참조라는 네 개의 공공 데이터셋을 결합하는 주거용 콘크리트 비용 추정기 뒤에 있는 수집 파이프라인을 설명합니다.각 데이터셋에 대해, 우리는 실제로 관찰된 실패 모드, 그에 대한 증거, 그리고 이를 명시적인 상태로 전환하는 TypeScript 코드를 문서화합니다. 핵심 주장은 모든 침묵하는 실패는 사용자 인터페이스까지 모든 경로를 따라 숫자를 동반하는 타입화된 값이 되어야 한다는 것입니다. 이 파이프라인은 로컬 CLI와 예약된 Cloudflare Worker에서 실행되며, Cloudflare D1에 쓰고, 정적 사이트를 제공합니다.