실시간 스포츠 배당률 플랫폼 구축은 단순한 데이터 스크래핑을 넘어 예상치 못한 어려움을 안겨주었습니다. 핵심적인 난관은 초당 수천 건의 실시간 업데이트를 처리할 수 있는 견고한 인프라를 구축하는 데 있었습니다. 수많은 스크래퍼를 유지 관리하는 것은 처음 작성하는 것보다 더 많은 노력을 요구했습니다. 북메이커들은 동일한 경기를 매우 다르게 정의하며, 이는 복잡한 매칭 로직을 필요로 했습니다. 실시간 처리는 단순한 주기적 새로고침을 훨씬 뛰어넘는 신속한 감지, 효율적인 처리, 그리고 최소한의 지연 시간을 요구합니다. 침묵하는 오류는 감지되지 않은 채 오래된 데이터로 이어질 수 있으므로 포괄적인 모니터링이 중요합니다. 개발자들은 다양한 소스에서 오는 원시적이고 일관성 없는 피드가 아닌, 일관된 데이터 구조와 형식을 요구했습니다. 프로젝트는 스크래퍼 모음에서 정교한 데이터 플랫폼으로 발전했습니다. 이 플랫폼인 PulseScore는 북메이커 배당률을 통합하기 위한 통합 API를 제공합니다. 이는 낮은 지연 시간과 일관된 JSON 응답으로 실시간, 경기 전 배당률을 제공합니다. 개발자들은 자체 인프라 문제를 해결하고 유사한 실시간 데이터 문제에 직면한 다른 사람들에게 솔루션을 제공하는 것을 목표로 했습니다.