Соединения ES|QL уже здесь! Да... Заметка

Соединения ES|QL уже здесь! Да, соединения!

Elasticsearch 8.18 представляет новую функцию JOIN в стиле SQL под названием LOOKUP JOIN, которая позволяет коррелировать и обогащать данные с помощью легко обновляемых справочных наборов данных. Эта функция доступна в режиме технического превью и позволяет пользователям добавлять информацию о хостах и активах к событиям, проверять IP-адреса по спискам данных об угрозах и многое другое. Lookup Join представляет собой LEFT OUTER JOIN, который опирается на новый режим индекса под названием "lookup" для правой стороны, который можно обновлять напрямую. Индекс lookup может содержать различные типы данных, такие как активы, данные об угрозах, информация о заказах, информация о сотрудниках или клиентах и многое другое. Исторически Elasticsearch не хватало возможности JOIN, но Lookup Join решает это ограничение. Чтобы включить Lookup Join, был создан новый режим индекса под названием "lookup", который ограничен 2 миллиардами документов и может быть обновлен напрямую. Нет никаких ограничений на исходные данные, и не требуется никакой подготовки данных для выполнения JOIN. Lookup Join проще в настройке и управлении, чем команда ENRICH в ES|QL, с такими преимуществами, как отсутствие необходимости создания политик обогащения, отсутствие выполнения политик и лучшая обработка множественных совпадений. Пользователи могут создавать индексы lookup различными способами, включая управление индексами или загрузчик файлов ML в Kibana. Возможности использования Lookup Join безграничны, и будущие разработки могут включать другие типы JOIN, такие как INNER JOIN или подзапросы, и объединение с любым индексом.