ES|QL Joins sind da! Ja, Joins... Notiz

ES|QL Joins sind da! Ja, Joins!

Elasticsearch 8.18 führt eine neue JOIN-Funktion im SQL-Stil namens LOOKUP JOIN ein, die Datenkorrelation und -anreicherung mit einfach aktualisierbaren Lookup-Datensätzen ermöglicht. Diese Funktion ist als Technical Preview verfügbar und ermöglicht es Benutzern, Ereignissen Host- und Asset-Informationen hinzuzufügen, IP-Adressen gegen Bedrohungsdatenbanken zu prüfen und vieles mehr. Lookup Join ist ein LEFT OUTER JOIN, der auf einem neuen Indexmodus namens "lookup" für die rechte Seite basiert, die direkt aktualisiert werden kann. Der Lookup-Index kann verschiedene Arten von Daten enthalten, wie z. B. Assets, Bedrohungsinformationen, Bestellinformationen, Mitarbeiter- oder Kundeninformationen und mehr. Historisch gesehen fehlte Elasticsearch eine Join-Funktion, aber Lookup Join behebt diese Einschränkung. Um Lookup Joins zu aktivieren, wurde ein neuer Indexmodus namens "lookup" erstellt, der auf 2 Milliarden Dokumente begrenzt ist und direkt aktualisiert werden kann. Es gibt keine Einschränkungen für die Quelldaten, und es ist keine Datenvorbereitung erforderlich, um einen Join durchzuführen. Lookup Join ist einfacher einzurichten und zu verwalten als der ENRICH-Befehl in ES|QL, mit Vorteilen wie dem Entfallen von Enrich-Policies, keiner Policy-Ausführung und besserer Handhabung von Mehrfachübereinstimmungen. Benutzer können Lookup-Indizes auf verschiedene Arten erstellen, z. B. über Index Management oder den ML File Uploader in Kibana. Die Möglichkeiten für die Verwendung von Lookup Join sind endlos, und zukünftige Entwicklungen könnten andere Arten von Joins umfassen, wie z. B. INNER Joins oder Subqueries, und das Joinen gegen jeden Index.