Flux RSS Elastic Blog - Elasti... Note

Flux RSS Elastic Blog - Elasticsearch, Kibana et pile ELK

Élastique est une entreprise de logiciels la plus connue pour son moteur de recherche et d'analyse Elasticsearch. Le site web se concentre principalement sur trois domaines clés :1. Solutions : Comprend divers cas d'utilisation et comment les produits Élastique peuvent les résoudre, parmi lesquels la cybersécurité, la recherche de données, l'observabilité, et bien plus encore. 2. Produits : Contient des informations détaillées sur la gamme de produits d'Élastique, y compris Kibana, Elasticsearch et divers expéditeurs de données Beats, tels que Filebeat et Winlogbeat. 3. Ressources : Offre des informations sur les contributions de la communauté, y compris la documentation de sortie de GitHub, le blog et les forums où les utilisateurs peuvent interagir avec le produit.

Fil de notes

Le Premier ministre de Singapour, Lawrence Wong, a annoncé lors du National Day Rally 2025 l'accent mis sur l'autonomisation des travailleurs grâce à l'IA et la transformation des emplois. Un exemple est un scanner OPG alimenté par l'IA qui accélère considérablement l'analyse des radiographies dentaires. Cela met en évidence le programme des 100 expériences d'AI Singapore, qui a livré plus de 200 projets d'IA depuis 2018 pour accélérer l'adoption par les entreprises. AI Singapore fournit des ressources et le développement des talents aux entreprises créant des produits d'IA. Elastic a collaboré avec AI Singapore pour organiser un atelier "Future-proof with AI" afin de favoriser les créateurs d'IA et de présenter des applications pratiques. L'atelier s'est concentré sur le perfectionnement des professionnels en IA, soulignant qu'il s'agit des compétences des personnes, et pas seulement de la technologie. Les participants ont appris les techniques d'ingénierie des invites LLM, y compris la décomposition des requêtes et l'incitation à la chaîne de pensée. Cela a offert un aperçu du programme de développement d'applications LLM d'AI Singapore. Les propres capacités de Search AI d'Elastic ont également été démontrées, en se concentrant sur les applications d'IA générative utilisant la génération augmentée par la récupération. Les applications d'IA efficaces nécessitent un accès rapide aux données et des techniques de recherche avancées comme la recherche sémantique pour une récupération efficace des données.
Elastic Cloud Serverless est désormais disponible dans trois nouvelles régions Google Cloud : US East 1 (Caroline du Sud), US East 4 (Virginie du Nord) et US West 1 (Oregon). Cette expansion double le nombre de régions serverless sur Google Cloud aux États-Unis. Elastic Cloud Serverless permet un déploiement et une mise à l'échelle rapides des solutions d'observabilité, de sécurité et de recherche sans gestion directe de l'infrastructure. Il est construit sur l'architecture Search AI Lake, tirant parti de Google Cloud Storage pour une capacité de stockage combinée, un calcul et un stockage séparés, des requêtes à faible latence et une IA avancée. Le service offre une mise à l'échelle automatique pour gérer les charges de travail fluctuantes et maintenir une recherche à faible latence. Les opérations sont simplifiées car Elastic gère l'infrastructure, éliminant ainsi le besoin de planification de la capacité, de mises à niveau ou de réglages. Des flux de travail guidés et des ressources intégrées au produit simplifient la configuration pour les cas d'utilisation de la recherche, de l'observabilité et de la sécurité. La tarification est basée sur l'utilisation, ce qui signifie que les clients ne paient que pour les données ingérées et conservées ou les ressources de calcul utilisées. Pour commencer, les utilisateurs se connectent à la console Elastic Cloud, créent un projet serverless, sélectionnent Google Cloud et choisissent l'une des nouvelles régions américaines. La documentation et les tutoriels d'intégration sont disponibles pour une exploration plus approfondie.
Le ministère de la Défense est confronté à un risque cyber inacceptable en raison de l'escalade des activités cyber malveillantes, ce qui met sous pression les centres d'opérations de sécurité de la défense. Les temps de détection actuels sont trop lents, prenant des jours ou des semaines pour identifier les menaces sophistiquées. La stratégie numérique du ministère de la Défense donne la priorité à la détection et à la réponse rapides grâce à des défenses cyber intégrées. Cela nécessite des capacités unifiées pour réduire le temps moyen de détection et de réponse, et pas seulement l'ajout de plus d'outils. Elastic Security offre des analyses et des flux de travail basés sur l'IA pour les SOC de défense afin d'automatiser les processus et d'améliorer la visibilité. Attack Discovery corrèle les alertes en récits d'attaques, révélant les mouvements des adversaires et priorisant les menaces réelles. Les composants d'apprentissage automatique identifient les méthodes d'attaque connues et nouvelles, évitant ainsi de submerger les analystes. Elastic AI Assistant agit comme un copilote, automatisant des tâches telles que le résumé des alertes et suggérant des actions de réponse. Il utilise des sources de connaissances de défense personnalisées pour aligner les informations de l'IA sur les exigences du ministère de la Défense. Cette automatisation comble les lacunes en matière de cybersécurité en matière de personnel, de processus et de technologie au sein du ministère de la Défense.
Ce billet explore comment Elastic soutient les stratégies numériques du secteur public européen, en se concentrant sur cinq concepts clés. Ceux-ci incluent l'open source et les normes, l'infrastructure souveraine, l'IA responsable, la cybersécurité et la gouvernance basée sur les données. Elastic, une entreprise dont le siège est aux Pays-Bas, aide les organisations publiques néerlandaises et européennes en matière de visibilité et de contrôle des données. L'IA responsable est un axe majeur, Elastic offrant transparence et protection des données pour l'utilisation de l'IA et du ML. La plateforme intègre l'IA de manière responsable, offrant une gouvernance pour l'entraînement des modèles et une explication pour les modèles ML traditionnels. Pour les modèles non déterministes comme les LLM, Elastic permet aux utilisateurs de sélectionner les modèles préférés et de se connecter à des services publiquement disponibles ou hébergés localement. Cette approche répond aux préoccupations de confidentialité des organisations publiques explorant GenAI et RAG. L'ingestion de données rentable et la hiérarchisation flexible d'Elastic soutiennent la conservation des données à long terme pour la sécurité et la conformité. Même dans les niveaux gelés, les données restent consultables sans longs processus d'importation. Le billet fait également référence à des ressources connexes sur les stratégies numériques gouvernementales, le maillage de données, l'IA dans le gouvernement et la cybersécurité.
Le déploiement d'Elastic Agents dans des réseaux isolés (air-gapped) ou hautement restreints présente un défi important en raison de l'impossibilité de télécharger des composants directement depuis Internet. Ce processus manuel implique des téléchargements répétitifs de binaires, d'artefacts de points de terminaison et de signatures de sécurité pour chaque version, ce qui entraîne des inefficacités et des erreurs potentielles. Pour résoudre ce problème, un outil appelé artifacts-bundler a été développé pour automatiser la collecte de ces fichiers nécessaires.Le bundler propose deux stratégies de déploiement principales : la création d'une archive unique (tarball) à distribuer via un serveur web, ou la construction d'une image Docker autonome. Les deux méthodes consolident les binaires d'Elastic Agent, les artefacts de sécurité pour les points de terminaison, le serveur APM, le Fleet Server et les fichiers manifestes dans un package gérable. Ce package peut ensuite être transféré vers l'environnement cible, soit par le réseau, soit via des supports physiques tels que des clés USB.Une fois transféré, l'archive peut être extraite et servie par un serveur web tel que NGINX, avec une configuration appropriée pour l'accès aux fichiers et le support des ETag, ce qui est crucial pour les mises à jour des points de terminaison. Alternativement, l'image Docker peut être chargée et exécutée directement dans des environnements conteneurisés. Pour Kubernetes, les manifestes fournis peuvent être utilisés pour le déploiement.L'avantage clé est de reconfigurer la pile Elastic pour qu'elle pointe vers ce serveur d'artefacts local. Dans Kibana, l'URL de téléchargement des binaires de l'Agent est mise à jour dans les paramètres de Fleet. Pour la sécurité des points de terminaison d'Elastic Defend, la source de téléchargement globale des artefacts pour chaque plateforme est ajustée de la même manière. Cela garantit que tous les déploiements d'agents, les mises à jour et les récupérations de signatures de sécurité sont servis à partir du miroir interne et accessible. L'outil et son code source sont disponibles sur GitHub, offrant une solution robuste pour les déploiements Elastic hors ligne.
Elasticsearch est un moteur de recherche et d'analyse, ainsi qu'une base de données vectorielle, construit sur Java et Apache Lucene, faisant partie de la plateforme d'intelligence artificielle de recherche d'Elastic. Il nécessite une machine virtuelle Java (JVM) pour fonctionner. La JVM fournit un environnement d'exécution indépendant de la plateforme, permettant à Elasticsearch de fonctionner sur divers systèmes d'exploitation. Comprendre la gestion de la mémoire et la collecte des ordures de la JVM est critique pour résoudre les problèmes liés à la mémoire. Ces problèmes peuvent se manifester sous la forme d'une erreur java.lang.OutOfMemoryError ou d'un code de sortie 137 en raison d'une utilisation excessive de la mémoire. Ce document explique le rôle de la JVM et comment la corréler avec les API d'Elasticsearch. Les options JVM par défaut dans Elasticsearch sont généralement suffisantes pour la plupart des cas d'utilisation, et la modification n'est pas recommandée. Une machine virtuelle Java (JVM) est un composant essentiel de l'environnement d'exécution Java (JRE), inclus dans le kit de développement Java (JDK). La JVM traduit le code Java en instructions exécutables par la machine et gère la mémoire, la collecte des ordures et la sécurité. La gestion de la mémoire de la JVM implique la génération jeune (Eden, S0, S1) et la génération vieille, qui stocke les objets à longue durée de vie. La collecte des ordures supprime les objets inutilisés, réduisant l'utilisation de la mémoire heap en un motif en dents de scie, qui est la clé pour gérer la mémoire. Le G1GC a une cible de temps d'arrêt pour une collecte des ordures efficace. Les API GET _nodes/_all/jvm et GET _nodes/stats/jvm offrent des informations sur la configuration JVM et les métriques d'Elasticsearch. Les utilisateurs avancés peuvent utiliser l'outil jstat, partie du kit de développement Java, pour obtenir des statistiques JVM en temps réel.
Ce billet de blog décrit le processus de création de règles de détection personnalisées dans Elastic Security pour améliorer la détection des menaces. Il met l'accent sur l'utilisation du langage de requête Elasticsearch (ES|QL) pour un filtrage et une catégorisation précis des événements de sécurité. L'Assistant IA d'Elastic est présenté comme un outil pour rationaliser la création de requêtes ES|QL, en particulier avec la fonction CASE pour la catégorisation des appels d'API. Le guide détaille comment affiner les recherches initiales larges, comme les journaux AWS CloudTrail, pour se concentrer sur des actions spécifiques liées à l'escalade de privilèges. Il explique comment mapper les requêtes générées par l'IA aux champs de flux de données réels et ajouter des critères contextuels comme une exécution réussie et des identités d'utilisateurs spécifiques. Le billet aborde ensuite la création de règles, suggérant des alertes "building blocks" pour les événements moins critiques et des détections par requête personnalisée pour un triage immédiat. Les actions de réponse automatisées sont mises en avant comme une méthode pour réduire le temps moyen de réponse (MTTR). Une étape cruciale consiste à prévisualiser les résultats des règles sur des données historiques pour valider le volume des alertes et l'expérience des analystes. Les tests de bout en bout à l'aide de scripts d'émulation de menaces confirment la fonctionnalité des règles. Enfin, il aborde le déploiement des règles en production, la maintenance continue et l'importance du "Detection Engineering Behavior Maturity Model".
La sécurité Zero Trust repose sur sept piliers : les utilisateurs, les appareils, le réseau, les données, les applications et les charges de travail, l'automatisation et l'orchestration, et la visibilité et l'analytique. Ces piliers représentent à la fois les systèmes à surveiller et les sources d'informations pour les décisions de sécurité. La mise en œuvre de Zero Trust fait face à des défis tels que la complexité, la disparité entre les systèmes, les préoccupations de vitesse en raison de l'examen approfondi, et la fragilité des intégrations. Une couche de données unifiée est cruciale pour la mise en œuvre pratique de Zero Trust, avec des journaux de données, des métriques, des traces et des alertes formant la base des décisions éclairées. La plateforme d'intelligence artificielle de recherche d'Elastic fournit une pertinence en temps réel en ingérant n'importe quelle donnée, permettant des recherches sémantiques et hybrides. Cette plateforme prend en charge la génération augmentée de récupération (RAG) pour les opérations d'IA en vectorisant les bases de connaissances. Les produits de données, unités d'informations personnalisées, sont essentiels pour composer des chaînes de décision Zero Trust complexes. Sans une couche unifiée, les connexions manuelles, fragiles et lentes entre les systèmes disparates entravent Zero Trust. La plateforme d'Elastic permet un déploiement agnostique de la plateforme et une recherche trans-cluster, avec des données normalisées à un schéma commun pour un accès sécurisé. Cette approche distribuée permet des connexions de données sécurisées et scalables pour un Zero Trust efficace.