RSS Elastischer Blog - Elastic... Notiz

RSS Elastischer Blog - Elasticsearch, Kibana und ELK Stack

Elastic ist ein Softwareunternehmen, das am besten für seinen Elasticsearch-Such- und Analyse-Engine bekannt ist. Die Webseite konzentriert sich hauptsächlich auf drei Schlüsselbereiche: 1. Lösungen: Enthält verschiedene Anwendungsfälle und wie Elastic-Produkte diese lösen können, darunter Cybersecurity, Daten-Suche, Beobachtbarkeit und vieles mehr. 2. Produkte: Bietet Informationen über Elastics Produktportfolio, einschließlich Kibana, Elasticsearch und verschiedenen Beats-Datenverschiebern wie Filebeat und Winlogbeat. 3. Ressourcen: Bietet Informationen zu Community-Beiträgen, darunter die Release-Dokumentation auf GitHub, Blog und Foren, auf die Benutzer zugreifen können, um sich mit dem Produkt auseinanderzusetzen.

Notizfaden

Singapurs Premierminister Lawrence Wong kündigte beim National Day Rally 2025 einen Schwerpunkt auf die Stärkung der Arbeitnehmer mit KI und die Transformation von Arbeitsplätzen an. Ein Beispiel ist ein KI-gestützter OPG-Scanner, der die Analyse von zahnärztlichen Röntgenaufnahmen erheblich beschleunigt. Dies unterstreicht das 100 Experiments-Programm von AI Singapore, das seit 2018 über 200 KI-Projekte durchgeführt hat, um die Akzeptanz in Unternehmen zu beschleunigen. AI Singapore stellt Unternehmen, die KI-Produkte entwickeln, Ressourcen und Talententwicklung zur Verfügung. Elastic arbeitete mit AI Singapore zusammen, um einen Workshop "Future-proof with AI" zu veranstalten, um KI-Entwickler zu fördern und praktische Anwendungen zu präsentieren. Der Workshop konzentrierte sich auf die Weiterbildung von Fachkräften im Bereich KI und betonte, dass es um die Fähigkeiten der Menschen geht, nicht nur um die Technologie. Die Teilnehmer lernten Techniken zur LLM-Prompt-Entwicklung kennen, darunter die Zerlegung von Abfragen und das Chain-of-Thought-Prompting. Dies bot einen Vorgeschmack auf das LLM Application Developer Programme von AI Singapore. Auch die eigenen Search AI-Funktionen von Elastic wurden demonstriert, wobei der Schwerpunkt auf generativen KI-Anwendungen unter Verwendung von Retrieval Augmented Generation lag. Effektive KI-Anwendungen erfordern einen zeitnahen Zugriff auf Daten und fortschrittliche Suchtechniken wie semantische Suche für eine effiziente Datenabfrage.
Das Bereitstellen von Elastic-Agents in luftgegappten oder hochgradig eingeschränkten Netzwerken stellt eine erhebliche Herausforderung dar, da es nicht möglich ist, Komponenten direkt aus dem Internet herunterzuladen. Dieser manuelle Prozess umfasst repetitive Downloads von Binärdateien, Endpunkt-Artefakten und Sicherheitssignaturen für jede Veröffentlichung, was zu Ineffizienzen und potenziellen Fehlern führt. Um dies zu lösen, wurde ein Tool namens artifacts-bundler entwickelt, um die Sammlung dieser erforderlichen Dateien zu automatisieren.Der Bundler bietet zwei primäre Bereitstellungsstrategien an: Erstellen eines einzelnen Tarballs für die Verteilung über einen Web-Server oder Erstellen eines selbst enthaltenen Docker-Images. Beide Methoden konsolidieren Elastic-Agent-Binärdateien, Sicherheits-Endpunkt-Artefakte, APM-Server, Fleet-Server und Manifest-Dateien in ein verwaltbares Paket. Dieses Paket kann dann in die Zielumgebung entweder über das Netzwerk oder über physische Medien wie USB-Laufwerke übertragen werden.Sobald übertragen, kann der Tarball extrahiert und von einem Web-Server wie NGINX bereitgestellt werden, wobei eine ordnungsgemäße Konfiguration für Dateizugriff und ETag-Unterstützung für Endpunkt-Updates entscheidend ist. Alternativ kann das Docker-Image geladen und direkt in containerisierten Umgebungen ausgeführt werden. Für Kubernetes können bereitgestellte Manifeste für die Bereitstellung verwendet werden.Der Hauptvorteil besteht darin, den Elastic-Stack so zu konfigurieren, dass er auf diesen lokalen Artefakts-Server zeigt. In Kibana wird die URL für den Agent-Binary-Download in den Fleet-Einstellungen aktualisiert. Für die Endpoint-Sicherheit von Elastic Defend wird die globale Quelle für Artefaktdownloads für jede Plattform ähnlich angepasst. Dies stellt sicher, dass alle Agent-Bereitstellungen, -Aktualisierungen und -Sicherheitssignatur-Abfragen von diesem internen, zugänglichen Spiegel aus bedient werden. Das Tool und dessen Quellcode sind auf GitHub verfügbar, was eine robuste Lösung für Offline-Elastic-Bereitstellungen bietet.
Elasticsearch ist eine Such- und Analyse-Engine sowie eine Vektordatenbank, die auf Java und Apache Lucene basiert und Teil der Elastic Search AI Platform ist. Sie benötigt eine Java Virtual Machine (JVM), um zu laufen. Die JVM bietet eine plattformunabhängige Laufzeitumgebung, die es Elasticsearch ermöglicht, auf verschiedenen Betriebssystemen zu funktionieren. Das Verständnis der JVM-Speicherverwaltung und Garbage Collection ist entscheidend für die Fehlerbehebung bei speicherbezogenen Problemen. Diese Probleme können sich als java.lang.OutOfMemoryError oder Exit-Code 137 aufgrund übermäßiger Speichernutzung äußern. Dieses Dokument erklärt die Rolle der JVM und wie sie mit Elasticsearch-APIs korreliert werden kann. Die Standard-JVM-Optionen in Elasticsearch sind in der Regel für die meisten Anwendungsfälle ausreichend, und Änderungen werden nicht empfohlen. Eine Java Virtual Machine (JVM) ist eine essentielle Komponente der Java Runtime Environment (JRE), die im Java Development Kit (JDK) gebündelt ist. Die JVM übersetzt Java-Code in maschinenausführbare Anweisungen und verwaltet Speicher, Garbage Collection und Sicherheit. Die JVM-Speicherverwaltung umfasst die junge Generation (Eden, S0, S1) und die alte Generation, in der langlebige Objekte gespeichert werden. Die Garbage Collection entfernt ungenutzte Objekte und reduziert die Heap-Speichernutzung in einem Sägezahnmuster, was der Schlüssel zur Speicherverwaltung ist. Die G1GC hat ein Pauszeit-Ziel für eine effiziente Garbage Collection. Die APIs GET _nodes/_all/jvm und GET _nodes/stats/jvm bieten Einblicke in die Elasticsearch-JVM-Konfiguration und Metriken. Fortgeschrittene Benutzer können das jstat-Tool, Teil des Java Development Kits, für Echtzeit-JVM-Statistiken verwenden.
Dieser Blogbeitrag beschreibt den Prozess der Erstellung benutzerdefinierter Erkennungsregeln in Elastic Security zur verbesserten Bedrohungserkennung. Er hebt die Verwendung der Elasticsearch Query Language (ES|QL) für präzises Filtern und Kategorisieren von Sicherheitsereignissen hervor. Der Elastic AI Assistant wird als Werkzeug zur Vereinfachung der ES|QL-Abfrageerstellung vorgestellt, insbesondere mit der CASE-Funktion zur Kategorisierung von API-Aufrufen. Der Leitfaden beschreibt im Detail, wie anfängliche breite Suchen, wie AWS CloudTrail-Protokolle, verfeinert werden, um sich auf spezifische Aktionen im Zusammenhang mit Privilegieneskalation zu konzentrieren. Er erklärt das Zuordnen von KI-generierten Abfragen zu tatsächlichen Datastream-Feldern und das Hinzufügen von Kontextkriterien wie erfolgreiche Ausführung und spezifische Benutzeridentitäten. Der Beitrag geht dann zur Regelerstellung über und schlägt die Erstellung von "Building Block"-Alerts für weniger kritische Ereignisse und benutzerdefinierten Abfrageerkennungen für die sofortige Triage vor. Automatisierte Reaktionsaktionen werden als Methode zur Reduzierung der mittleren Reaktionszeit (MTTR) hervorgestellt. Ein entscheidender Schritt beinhaltet die Vorschau von Regelergebnissen anhand historischer Daten, um das Alert-Volumen und die Erfahrung der Analysten zu validieren. End-to-End-Tests mit Threat-Emulation-Skripten bestätigen die Regelfunktionalität. Schließlich wird auf die Regelauslieferung in die Produktion, die laufende Wartung und die Bedeutung des "Detection Engineering Behavior Maturity Model" eingegangen.
Zero-Trust-Sicherheit basiert auf sieben Säulen: Benutzer, Geräte, Netzwerk, Daten, Anwendungen und Workloads, Automatisierung und Orchestrierung sowie Sichtbarkeit und Analysen. Diese Säulen stellen sowohl zu überwachende Systeme als auch Informationsquellen für Sicherheitsentscheidungen dar. Die Implementierung von Zero Trust steht vor Herausforderungen wie Komplexität, Unterschiede zwischen Systemen, Geschwindigkeitsbedenken aufgrund intensiver Überprüfung und Fragilität bei Integrationen. Eine einheitliche Daten-Geschwindigkeits-Schicht ist entscheidend für die praktische Umsetzung von Zero Trust, wobei Protokolle, Metriken, Spuren und Warnmeldungen die Grundlage für fundierte Entscheidungen bilden. Die Elastic Search AI Platform bietet Echtzeit-Relevanz durch die Aufnahme beliebiger Daten und ermöglicht semantische und hybride Suche. Diese Plattform unterstützt Retrieval Augmented Generation (RAG) für KI-Operationen, indem sie Wissensdatenbanken vektorisiert. Datenprodukte, maßgeschneiderte Informationseinheiten, sind unerlässlich für die Zusammenstellung komplexer Zero-Trust-Entscheidungsstränge. Ohne eine einheitliche Schicht behindern manuelle, fragile und langsame Verbindungen zwischen unterschiedlichen Systemen Zero Trust. Die Elastic-Plattform ermöglicht plattformunabhängige Bereitstellung und übergreifende Cluster-Suche, wobei Daten auf ein gemeinsames Schema normalisiert werden, um sicheren Zugriff zu gewährleisten. Dieser verteilte Ansatz ermöglicht skalierbare, sichere Datenverbindungen für effektives Zero Trust.