자동화하는 재미 — 크론 작업을 넘어서 파이썬으로 🐍

크론을 사용하여 백엔드 워크플로우를 관리하고 있다면... 업그레이드할 때가 되었습니다. 최근 프로젝트 중 하나에서, 전통적인 크론 논리를 완전히 대체하는 비동기 호환 태스크 러너를 구축했습니다. 시스템 스케줄러의 한계에 계속 부딪히면서, 수십 개의 자동화된 작업을 구동하는 모듈러 러너를 구축했습니다. SEO 링크 드롭, 데이터 가져오기 스크립트 등이 포함됩니다. 🛠️ 크론을 사용하지 않는 이유: 오류를 디버깅하기 어렵습니다. 네이티브 재시도 로직이 없습니다. 서버 간 관리가 어렵습니다. 무엇이 작동하고 무엇이 조용히 실패하는지에 대한 가시성이 없습니다. 💡 내 솔루션: 제어 엔드포인트를 위한 FastAPI를 사용하여 가벼운 작업 오케스트레이터를 만들었습니다. 병렬 처리를 위한 ThreadPoolExecutor 단순한 YAML 기반 작업 정의 외부 이벤트를 위한 선택적 웹훅 트리거 전체 시스템은 Delta Executor라는 더 큰 프로젝트의 일부로 실행되며, 오프페이지 SEO 워크플로우와 구조화된 링크 자동화를 처리합니다. ✅ 얻은 것: 로그, 메트릭, 작업 기록 동적 제어 (일시 중지/재개/종료) 모든 것을 위한 하나의 도구: API 핑, 사이트맵, 링크 인덱싱 등 자동화 시스템을 구축하고 크론 스파게티에 질려하신다면, 어떻게 해결하고 있는지 듣고 싶습니다. 그리고 관심이 있다면, 이 태스크 러너의 최소 버전을 오픈소스로 공개할 수 있습니다.