エド・クルー：PyConLT 2025でのクラウド価格について語る

著者は、PyConLT 2025でクラウドの価格設定について話し、データパイプラインのリファクタリングとパイプラインフレームワークのオプションについて議論する予定です。著者は、EDB（Postgresの会社）でPostgres AI製品に取り組んでおり、この製品はAWS、Azure、GCPで実行されます。チームは、PythonとAirflowを使用したクラウド価格のETLを含む、アイデンティティ管理と請求コンポーネントを担当しています。クラウドの価格設定は複雑で、3つのクラウドプロバイダーにわたって約500万の価格（SKU）があります。チームは、すべての最新のサービスSKUを収集し、顧客のコスト見積もりとして合計する必要があります。そのため、チームはSKUを収集し、最新の状態に保つデータパイプラインを構築しました。このパイプラインはApache Airflowで構築されており、クラウド価格を各CSPから取得するスクレイパー用の抽象基底クラスを使用しています。パイプラインはまた、組み込みPostgresとClickを使用しており、これにより、仮の組み込みストレージの迅速なセットアップと解体が可能になります。著者は、このアプローチの開発とテストの利点について議論する予定です。最終的なデータアーティファクトは、CloudNativePGで実行されているPostgresクラスタ価格スキーママイクロサービスにロードされます。