埃德·克鲁伊：在 PyConLT 2025 上讨论云价格

作者将在 PyConLT 2025 上发言，讨论云定价和重构数据管道，以及管道框架选项。作者在 EDB（Postgres 公司）工作，负责 Postgres AI 产品，该产品跨 AWS、Azure 和 GCP 运行。团队负责身份管理和计费组件，包括使用 Python 和 Airflow 进行云定价 ETL。云定价非常复杂，跨三个云提供商几乎有 500 万个价格（SKU）。团队需要收集所有最新的服务 SKU 并将其总结为客户的成本估算。为此，他们构建了一个数据管道来收集 SKU 并保持其最新。该管道使用 Apache Airflow，并使用抽象基类为 scraper 从每个 CSP 获取云定价。此外，管道还使用嵌入式 Postgres 和 Click，这允许快速设置和拆除临时嵌入式存储。作者将讨论这种方法对开发和测试的益处。最终的数据工件将被加载到 CloudNativePG 上运行的 Postgres 集群价格模式微服务中。