Ed Crewe: Vortrag über Cloud-Preise auf der PyConLT 2025

Der Autor hält einen Vortrag auf der PyConLT 2025 über Cloud-Preisgestaltung und wird die Refactoring eines Daten-Pipelines und Optionen für Pipeline-Frameworks diskutieren. Der Autor arbeitet bei EDB, dem Postgres-Unternehmen, an ihrem Postgres-AI-Produkt, das auf AWS, Azure und GCP läuft. Das Team ist für die Identitätsverwaltung und Abrechnungskomponenten verantwortlich, einschließlich der Cloud-Preis-ETL mit Python und Airflow. Die Cloud-Preisgestaltung ist komplex, mit fast 5 Millionen Preisen (SKUs) über die drei Cloud-Anbieter hinweg. Das Team muss alle aktuellen Dienst-SKUs sammeln und sie als Kosten-Schätzung für Kunden zusammenzählen. Um dies zu erreichen, haben sie einen Daten-Pipeline aufgebaut, um die SKUs zu sammeln und auf dem neuesten Stand zu halten. Die Pipeline läuft in Apache Airflow und verwendet eine abstrakte Basisklasse für Scraper, um Cloud-Preise von jedem CSP abzurufen. Die Pipeline verwendet auch eingebetteten Postgres und Click, was ein schnelles Auf- und Abbauen von temporären eingebetteten Speichern ermöglicht. Der Autor wird die Vorteile dieses Ansatzes für die Entwicklung und das Testen diskutieren. Die finalen Daten-Artefakte werden in einem Postgres-Cluster-Preis-Schema-Mikro-Dienst geladen, der auf CloudNativePG läuft.