Бессерверное озеро данных на AWS построено на пяти фундаментальных столпах: хранение, обработка, каталог, безопасность и использование. Amazon S3 служит основным хранилищем, содержащим как необработанные, так и обработанные данные в структурированной иерархии папок. Ключевые конфигурации S3 включают версионирование, политики жизненного цикла для оптимизации затрат, шифрование и межрегиональную репликацию. AWS Glue — это движок обработки, предлагающий задания Glue для ETL, каталог Glue в качестве централизованного метахранилища и сканеры Glue для обнаружения схем.Amazon Athena предоставляет бессерверную службу запросов, использующую стандартный SQL непосредственно для данных в S3, с ценообразованием за запрос и нативной интеграцией с каталогом Glue. AWS Lambda действует как оркестратор, запускаемый событиями, такими как загрузка файлов в S3, для инициирования процессов. AWS CDK используется для определения этой инфраструктуры как кода, обеспечивая воспроизводимость и контроль версий.Типичный поток данных включает прием данных в необработанный S3, запуск Lambda через уведомления S3, каталогизацию сканерами Glue, обработку заданиями Glue, хранение в обработанном S3 и анализ через Athena. Стратегии оптимизации затрат включают использование формата Parquet, сжатие, интеллектуальное секционирование, S3 Intelligent-Tiering и политики жизненного цикла. Безопасность управляется через роли IAM, политики и сквозное шифрование в S3, Glue и Athena. Следующий пост будет посвящен практической реализации AWS Glue, охватывая оптимизацию заданий, тестирование и интеграцию CI/CD.