DZone.com Feed на русском
Подписаться
Обработка сложных событий (CEP) с Apache Flink: что это такое и когда (не) следует ее использовать
Большинство команд, работающих с Apache Flink, думают о потоковой обработке: фильтрация событий, агрегирование значений, обогащение записей, объединение потоков. Это охватывает большинство проблем с данными в реальном времени. Но существует определенный класс проблем, с которыми потоковая обработка справляется плохо: обнаружение значимых последовательностей событий во времени. Произошла ли эта конкретная цепочка событий в таком порядке и в таком временном окне? Обработка сложных событий (CEP) — это инструмент, разработанный именно для этого, и он работает принципиально иначе, чем потоковая обработка.CEP является встроенной возможностью Apache Flink, доступной в виде открытого исходного кода и развертываемой в масштабах, недостижимых для старых проприетарных платформ. Тем не менее, она остается недоиспользованной и неправильно понятой. Эта статья представляет собой практическое руководство по тому, что такое CEP, когда ее следует использовать, как Flink ее реализует и какое место она занимает в современных архитектурах данных, включая агентный ИИ, который подробно рассматривается в сопутствующей статье.