Эд Крю: Обсуждение цен на облачные услуги на PyConLT 2025

Автор выступит на конференции PyConLT 2025 с докладом о ценообразовании в облаке и расскажет о рефакторинге конвейера данных и вариантах фреймворка конвейера. Автор работает в компании EDB, которая является компанией Postgres, над продуктом Postgres AI, который работает на платформах AWS, Azure и GCP. Команда занимается управлением идентификацией и компонентами выставления счетов, включая ETL-обработку цен облака с помощью Python и Airflow. Ценообразование в облаке является сложным, с почти 5 миллионами цен (SKU) на трех облачных провайдерах. Команда должна собрать все последние SKU сервисов и просуммировать их для получения оценки стоимости для клиентов. Для этого они построили конвейер данных для сбора SKU и поддержания их актуальности. Конвейер написан на Apache Airflow и использует абстрактный базовый класс для скрейперов, которые извлекают цены облака из каждого облачного провайдера. Конвейер также использует встроенную базу данных Postgres и Click, что позволяет быстро создавать и удалять временное встроенное хранилище. Автор расскажет о преимуществах этого подхода для разработки и тестирования. Окончательные данные будут загружены в микросервис Postgres cluster price schema, работающий на CloudNativePG.