Amazon Data Firehose доставляет потоки данных в таблицы формата Apache Iceberg в Amazon S3

Amazon Data Firehose (Firehose) теперь может доставлять поток данных в таблицы Apache Iceberg в Amazon S3. Firehose позволяет клиентам получать, преобразовывать и доставлять поток данных в Amazon S3, Amazon Redshift, OpenSearch, Splunk, Snowflake и другие места назначения для анализа. С помощью этой новой функции Firehose интегрируется с Apache Iceberg, чтобы клиенты могли доставлять поток данных напрямую в таблицы Apache Iceberg в своих хранилищах данных Amazon S3. Firehose может получать поток данных из Kinesis Data Streams, Amazon MSK или Direct PUT API, и также интегрирован для получения потоков из AWS Services, таких как AWS WAF web ACL logs, Amazon CloudWatch Logs, Amazon VPC Flow Logs, AWS IOT, Amazon SNS, AWS API Gateway Access logs и многих других, перечисленных здесь. Клиенты могут потоково передавать данные из любого из этих источников напрямую в таблицы Apache Iceberg в Amazon S3, избегая многоступенчатых процессов. Firehose является серверным, поэтому клиенты могут просто настроить поток, настроив свойства источника и места назначения, и платить по количеству обработанных байтов. Новая функция также позволяет клиентам направлять записи в потоке данных в разные таблицы Apache Iceberg в зависимости от содержимого входящей записи. Чтобы направлять записи в разные таблицы, клиенты могут настроить правила маршрутизации с помощью выражений JSON. Кроме того, клиенты могут указать, должна ли входящая запись применять операцию обновления или удаления на уровне строки в целевой таблице Apache Iceberg, и автоматизировать обработку для коррекции данных и сценариев "право на забвение". Чтобы начать работу, посетите документацию Amazon Data Firehose, цены и консоль.