Ed Crewe : Discutez des prix du cloud à PyConLT 2025

L'auteur intervient à PyConLT 2025 pour parler des prix du cloud et discutera de la refactoring d'un pipeline de données et des options de framework de pipeline. L'auteur travaille chez EDB, la société Postgres, sur leur produit Postgres AI, qui s'exécute sur AWS, Azure et GCP. L'équipe gère les composants de gestion des identités et de facturation, y compris l'extraction, la transformation et le chargement (ETL) des prix du cloud en utilisant Python et Airflow. Les prix du cloud sont complexes, avec près de 5 millions de prix (références) sur les trois fournisseurs de cloud. L'équipe doit rassembler toutes les références de services les plus récentes et les additionner pour estimer les coûts pour les clients. Pour cela, ils ont construit un pipeline de données pour rassembler les références et les garder à jour. Le pipeline est basé sur Apache Airflow et utilise une classe de base abstraite pour les outils de scraping pour récupérer les prix du cloud de chaque fournisseur de services cloud (CSP). Le pipeline utilise également Postgres intégré et Click, ce qui permet une mise en place et une suppression rapides d'un stockage temporaire intégré. L'auteur discutera des avantages de cette approche pour le développement et les tests. Les artefacts de données finals seront chargés dans un micro-service de schéma de prix de cluster Postgres s'exécutant sur CloudNativePG.