에드 크루: 2025년 PyConLT에서 클라우드 가격에 대한 강연

저자는 PyConLT 2025에서 클라우드 가격과 데이터 파이프라인의 리팩토링, 파이프라인 프레임워크 옵션에 대해 발표할 예정입니다. 저자는 EDB, 즉 Postgres 회사에서 Postgres AI 제품을 개발하고 있으며, 이 제품은 AWS, Azure, GCP에서 실행됩니다. 저자의 팀은 Postgres AI 제품의 아이덴티티 관리와 청구 구성 요소를 처리하며, 이는 Python과 Airflow를 사용한 클라우드 가격 ETL을 포함합니다. 클라우드 가격은 복잡하며, 세 가지 클라우드 제공업체에서 거의 500만 개의 가격(스쿠, SKU)이 있습니다. 팀은 최신 서비스 스쿠를 모두 수집하고 고객을 위한 비용 추정을 위해 총계를 계산해야 합니다. 이를 위해 클라우드 가격을 수집하고 최신 상태로 유지하는 데이터 파이프라인을 구축했습니다. 파이프라인은 Apache Airflow를 사용하며, 각 클라우드 제공업체에서 클라우드 가격을 가져오는 스크레이퍼를 위한 추상 기본 클래스를 사용합니다. 파이프라인은 또한 임시 임베디드 저장소의 빠른 설정 및 해제를 허용하는 임베디드 Postgres와 Click를 사용합니다. 저자는 개발 및 테스트를 위한 이 접근 방식의 이점에 대해 논의할 예정입니다. 최종 데이터 아티팩트는 CloudNativePG에서 실행되는 Postgres 클러스터 가격 스키마 마이크로 서비스에 로드될 예정입니다.