Создайте конвейер аналитики, устойчивый к изменениям схемы Avro, с помощью Amazon Athena

Этот пост демонстрирует, как построить решение, объединяющее Amazon Simple Storage Service (Amazon S3) для хранения данных, AWS Glue Data Catalog для управления схемами и Amazon Athena для одноразовых запросов. Мы сосредоточимся конкретно на обработке данных в формате Avro в секционированных бакетах S3, где схемы могут часто меняться, обеспечивая при этом согласованные возможности запросов ко всем данным, независимо от версий схем.