RSS Elastic Blog - Elasticsear... Nota

RSS Elastic Blog - Elasticsearch, Kibana y Pila ELK

Elastic es una empresa de software más conocida por su motor de búsqueda y análisis Elasticsearch. El sitio web se centra principalmente en tres áreas clave: 1. Soluciones: Incluye varios casos de uso y cómo los productos de Elastic pueden resolverlos, entre los que se encuentran la ciberseguridad, la búsqueda de datos, la observabilidad y más. 2. Productos: Contiene detalles sobre la gama de productos de Elastic, incluyendo Kibana, Elasticsearch y varios envíos de datos Beats, como Filebeat y Winlogbeat. 3. Recursos: Ofrece información sobre las contribuciones de la comunidad, incluyendo la documentación de lanzamiento de GitHub, blog y foros donde los usuarios pueden interactuar con el producto.

Hilo de notas

Desplegar Elastic Agents en redes aisladas o altamente restringidas presenta un desafío importante debido a la incapacidad de descargar componentes directamente de Internet. Este proceso manual implica descargas repetitivas de binarios, artefactos de endpoint y firmas de seguridad para cada versión, lo que genera ineficiencias y posibles errores. Para abordar esto, se ha desarrollado una herramienta llamada artifacts-bundler para automatizar la recopilación de estos archivos necesarios.El bundler ofrece dos estrategias de despliegue principales: crear un único archivo tarball para su distribución a través de un servidor web o construir una imagen Docker autocontenida. Ambos métodos consolidan los binarios de Elastic Agent, los artefactos de seguridad de endpoint, el servidor APM, el Fleet Server y los archivos de manifiesto en un paquete manejable. Este paquete puede transferirse luego al entorno de destino, ya sea a través de la red o mediante medios físicos como unidades USB.Una vez transferido, el archivo tarball puede extraerse y ser servido por un servidor web como NGINX, con la configuración adecuada para el acceso a archivos y el soporte ETag, cruciales para las actualizaciones de endpoint. Alternativamente, la imagen Docker puede cargarse y ejecutarse directamente en entornos contenerizados. Para Kubernetes, se pueden utilizar los manifiestos proporcionados para el despliegue.El beneficio clave es la reconfiguración de la Elastic Stack para que apunte a este servidor de artefactos local. En Kibana, la URL de descarga de binarios del agente se actualiza en la configuración de Fleet. Para la seguridad de endpoint de Elastic Defend, la fuente de descarga de artefactos global para cada plataforma se ajusta de manera similar. Esto asegura que todos los despliegues de agentes, actualizaciones y búsquedas de firmas de seguridad se sirvan desde el espejo interno y accesible. La herramienta y su código fuente están disponibles en GitHub, proporcionando una solución robusta para despliegues de Elastic sin conexión.
Elasticsearch es un motor de búsqueda y análisis y base de datos vectorial construida en Java y Apache Lucene, parte de la plataforma de búsqueda de inteligencia artificial de Elastic. Requiere una Máquina Virtual de Java (JVM) para ejecutarse. La JVM proporciona un entorno de ejecución independiente de la plataforma, lo que permite que Elasticsearch funcione en various sistemas operativos. Entender la gestión de memoria y recolección de basura de la JVM es crítico para solucionar problemas relacionados con la memoria. Estos problemas pueden manifestarse como java.lang.OutOfMemoryError o código de salida 137 debido al uso excesivo de memoria. Este documento explica el papel de la JVM y cómo correlacionarla con las API de Elasticsearch. Las opciones de JVM predeterminadas en Elasticsearch suelen ser suficientes para la mayoría de los casos de uso, y no se recomienda modificarlas. Una Máquina Virtual de Java (JVM) es un componente esencial del entorno de tiempo de ejecución de Java (JRE), empaquetado dentro del Kit de desarrollo de Java (JDK). La JVM traduce el código Java en instrucciones ejecutables por la máquina y gestiona la memoria, la recolección de basura y la seguridad. La gestión de memoria de la JVM implica la generación joven (Eden, S0, S1) y la generación antigua, que almacena objetos de larga vida. La recolección de basura elimina objetos no utilizados, reduciendo el uso de memoria en el heap en un patrón de diente de sierra, que es clave para administrar la memoria. El G1GC tiene un objetivo de tiempo de pausa para una recolección de basura eficiente. Las API GET _nodes/_all/jvm y GET _nodes/stats/jvm ofrecen información sobre la configuración y métricas de la JVM de Elasticsearch. Los usuarios avanzados pueden utilizar la herramienta jstat, parte del Kit de desarrollo de Java, para estadísticas de JVM en tiempo real.
Este artículo del blog describe el proceso de crear reglas de detección personalizadas en Elastic Security para una detección de amenazas mejorada. Destaca el uso del Lenguaje de Consulta de Elasticsearch (ES|QL) para filtrar y categorizar eventos de seguridad de manera precisa. Se presenta al Asistente de IA de Elastic como una herramienta para simplificar la creación de consultas ES|QL, especialmente con la función CASE para categorizar llamadas API. La guía detalla cómo refinar búsquedas iniciales amplias, como registros de AWS CloudTrail, para centrarse en acciones específicas relacionadas con la escalada de privilegios. Explica cómo asignar consultas generadas por IA a campos de flujo de datos reales y agregar criterios contextuales como la ejecución exitosa y identidades de usuario específicas. Luego, el artículo pasa a la creación de reglas, sugiriendo alertas de bloques de construcción para eventos menos críticos y detecciones de consultas personalizadas para triaje inmediato. Se destaca la importancia de las acciones de respuesta automatizadas para reducir el Tiempo Medio de Respuesta (MTTR). Un paso crucial implica previsualizar los resultados de las reglas en datos históricos para validar el volumen de alertas y la experiencia del analista. La prueba de extremo a extremo utilizando scripts de emulación de amenazas confirma la funcionalidad de las reglas. Finalmente, toca sobre la implementación de reglas en producción, el mantenimiento continuo y la importancia del Modelo de Madurez de Comportamiento de Ingeniería de Detección.
La seguridad de "Confianza Cero" se basa en siete pilares: usuarios, dispositivos, red, datos, aplicaciones y cargas de trabajo, automatización y orquestación, y visibilidad y análisis. Estos pilares representan tanto los sistemas que deben ser monitoreados como las fuentes de información para las decisiones de seguridad. La implementación de la Confianza Cero enfrenta desafíos como la complejidad, la disparidad entre sistemas, las preocupaciones sobre la velocidad debido a un escrutinio exhaustivo y la fragilidad en las integraciones. Una capa unificada de velocidad de datos es crucial para la implementación práctica de la Confianza Cero, con registros de datos, métricas, rastreos y alertas formando la base para decisiones informadas. La Plataforma de IA de Búsqueda de Elastic proporciona relevancia en tiempo real al ingerir cualquier dato, permitiendo búsquedas semánticas e híbridas. Esta plataforma soporta la generación aumentada por recuperación (RAG) para operaciones de IA mediante la vectorización de bases de conocimiento. Los productos de datos, unidades de información personalizadas, son esenciales para componer cadenas de decisiones complejas de Confianza Cero. Sin una capa unificada, las conexiones manuales, frágiles y lentas entre sistemas dispares obstaculizan la Confianza Cero. La plataforma de Elastic permite la implementación agnóstica a la plataforma y la búsqueda entre clústeres, con datos normalizados a un esquema común para un acceso seguro. Este enfoque distribuido permite conexiones de datos escalables y seguras para una Confianza Cero efectiva.
Las operaciones de TI internas de Elastic enfrentaron desafíos con el acceso a la información, la eficiencia en la emisión de tickets y la superficie de conocimientos. Para abordar estos desafíos, invirtieron en flujos de trabajo conversacionales utilizando la plataforma de inteligencia artificial de Elastic Search directamente dentro de Salesforce Service Cloud. Esta implementación sirve como un punto de prueba real para el valor práctico de la inteligencia artificial generativa en la superación de barreras operativas. La solución ofrece una doble vía dentro de Salesforce: orientación de apoyo instantánea de IA o envío de tickets de ayuda para problemas complejos. Las respuestas se basan en fuentes de conocimiento empresarial curadas como la wiki de Elastic y artículos de ServiceNow. Cuando las respuestas de IA son suficientes, el volumen de tickets manuales disminuye significativamente. Para escalaciones necesarias, los tickets se pre-populan con información relevante, reduciendo la fricción y los errores. Esto mejora la calidad de los tickets y acelera la triage y la resolución con contexto de conversación completo. ElasticGPT, la capacidad de GenAI fundamental, ancla las respuestas en fuentes de acceso controladas empresariales. El agente de ayuda de IT se integra con Salesforce Service Cloud para ofrecer apoyo personalizado de campo de IT. Elastic Observability monitorea el rendimiento, rastrea la satisfacción y los cuellos de botella del flujo de trabajo para construir confianza en la automatización. Este enfoque redefine la escalabilidad del soporte al unificar el conocimiento y equipar a los usuarios con asistencia en tiempo real.
Dominik “Dom” Toepfer encarna la mentalidad de un ingeniero en todos los aspectos de su vida, valorando la colaboración y la curiosidad. Su carrera en Elastic, centrada en la IA generativa y la Búsqueda, evolucionó desde la lectura de un libro sobre Elasticsearch hasta varios roles, incluyendo consultor y socio de ventas. Esta diversa experiencia le permite conectar diferentes equipos y comprender sus necesidades. La motivación de Dom proviene de la creación de funcionalidades que ayudan a otros a descubrir valor de nuevas maneras. Curá meticulosamente su espacio de trabajo y sus herramientas digitales para fomentar la inspiración y mantenerse a la vanguardia. Como padre que trabaja desde casa, prioriza el enfoque silencioso con auriculares con cancelación de ruido y equilibra el trabajo con el tiempo familiar. La configuración de su escritorio está optimizada para la comodidad y la productividad, presentando una silla cómoda y la tecnología esencial. Dom ve la IA Generativa como un socio, utilizándola para la lluvia de ideas, la división de tareas y la gestión del mantenimiento de desarrollo. Cree que la IA actúa como un copiloto, no como un piloto automático, en la innovación. El trabajo de su equipo en RAG, respaldado por Elastic Stack, tiene como objetivo reducir la fricción para los clientes y los equipos internos, creando un impacto significativo. Dom encuentra una inmensa satisfacción en la creación de funcionalidades que resuelven problemas reales y en presenciar la evolución de la tecnología de Elastic.
Elastic presenta el motor de SOC de inteligencia artificial (EASE), un paquete de capacidades de IA diseñadas para acelerar la detección y investigación de amenazas para Centros de Operaciones de Seguridad. EASE ofrece una integración de baja fricción con soluciones SIEM y EDR existentes, lo que hace que la IA sea accesible incluso para organizaciones que aún no utilizan un SIEM de próxima generación. Las alertas de estas herramientas se centralizan y enriquecen con contexto impulsado por IA, explicando su riesgo y conexiones con actividad más amplia. La función de descubrimiento de ataques automáticamente une las alertas para revelar campañas de ataques y su alcance completo, alineadas con tácticas de MITRE. El descubrimiento de ataques se puede programar para cazar amenazas proactivamente con opciones para acciones de respuesta automatizadas. El asistente de IA de Elastic permite a los analistas acceder rápidamente a conocimientos internos como tickets de Jira y playbooks para agilizar la triage. La integración de EASE ayuda a los equipos de SOC a acelerar la triage, mejorar la detección de ataques complejos, reducir los tiempos de respuesta y disminuir la fatiga del analista. EASE proporciona un camino directo para que las organizaciones adopten la IA, con una transición sin problemas a la plataforma de SIEM impulsada por IA de Elastic cuando estén listas. Elastic Security es reconocida como líder en plataformas de análisis de seguridad por su innovación en ingeniería, arquitectura abierta y avances en IA generativa.
Las instituciones financieras de la India enfrentan nuevos requisitos de ciberseguridad con el Marco de Ciberseguridad y Resiliencia Cibernética (CSCRF) de la SEBI. El marco se aplica a una amplia gama de entidades reguladas por la SEBI y enfatiza la gobernanza, el manejo de amenazas, la recuperación y la mejora continua. Las fechas límite de cumplimiento están establecidas para enero y abril de 2025, lo que requiere la implementación proactiva de capacidades de resiliencia cibernética. Las soluciones de seguridad y observabilidad unificadas de Elastic ofrecen herramientas para la detección de amenazas, la respuesta a incidentes y la planificación de capacidad para cumplir con los mandatos del CSCRF. El marco exige soluciones de SIEM, monitoreo de SOC las 24 horas del día, 7 días a la semana, y seguridad de API sólida, lo que Elastic apoya con características como Elastic Security para SIEM. La respuesta a incidentes y la recuperación se ven ayudadas por la ejecución automatizada de libros de jugadas y herramientas de análisis de causa raíz enriquecidas con contexto dentro de la plataforma de Elastic. La planificación de capacidad y la resiliencia se mejoran a través del monitoreo de infraestructura en tiempo real y la detección de anomalías con AIOps impulsada por inteligencia artificial. La mejora continua se ve apoyada por herramientas para la caza de amenazas, alimentación de inteligencia y simulaciones de equipo rojo. La tecnología escalable y impulsada por inteligencia artificial de Elastic puede ayudar a las instituciones financieras a lograr el cumplimiento del CSCRF y mejorar la resiliencia cibernética en general. Elastic ofrece una prueba gratuita para que las instituciones exploren sus capacidades y se preparen para las nuevas regulaciones.
Los atacantes a menudo explotan las utilidades del sistema para ejecutar código malicioso, utilizando intérpretes integrados como PowerShell, Bash, Python o JavaScript para ejecutar comandos arbitrarios. Esta táctica, conocida como MITRE ATT&CK T1059, permite a los adversarios realizar reconocimiento, escalar privilegios y moverse lateralmente dentro de un entorno mientras camuflan sus actividades. La ejecución de scripts es generalizada en muchos entornos, lo que dificulta distinguir entre actividades benignas y posibles amenazas. Los atacantes aprovechan los intérpretes de comandos y scripts para cumplir sus objetivos, y es crucial detectar sus actividades antes de que establezcan persistencia y tomen el control. Para detectar la actividad de scripts maliciosos, es fundamental monitorear el uso inusual de intérpretes, líneas de comandos sospechosas y la creación de procesos con comandos sospechosos. Además, identificar las relaciones padre-hijo de procesos para scripts, el uso de curl o wget para descargas y la ejecución de scripts desde directorios temporales puede indicar actividad maliciosa. Monitorear la ejecución de scripts de Python, la ejecución de JScript o JavaScript y la ejecución de VBScript sospechoso también puede ayudar a identificar posibles amenazas. La detección de la ejecución de scripts por lotes sospechosos, la actividad inusual de intérpretes en directorios críticos y las cadenas de PowerShell en Base64 u ofuscadas puede ayudar aún más en la detección de amenazas. Al utilizar estos métodos de detección, los equipos de seguridad pueden identificar e investigar actividades de scripts potencialmente maliciosas y reducir el riesgo de ataques.
Elastic Security ha facilitado la personalización y actualización de las reglas de detección predefinidas, optimizando los flujos de trabajo de ingeniería de detección y permitiendo una mayor cobertura de casos de uso. Elastic Security Labs proporciona más de 1,300 reglas de detección escritas por expertos que se mapean con tácticas, técnicas y procedimientos a través del marco MITRE ATT&CK. Estas reglas se mantienen y actualizan activamente cada dos semanas para ayudar a mantenerse a la vanguardia de las amenazas en evolución. Los equipos de seguridad pueden adaptar estas detecciones predefinidas para satisfacer necesidades específicas, y con las últimas versiones, los ingenieros de detección pueden aplicar las actualizaciones de reglas proporcionadas por Elastic sin perder las modificaciones personalizadas. Las nuevas funciones permiten la edición de reglas predefinidas individualmente o en lote, y la capacidad de comparar los cambios entrantes con la versión actual de la regla. Las actualizaciones de reglas reducen los falsos positivos y aumentan la fidelidad de las alertas, y la experiencia de actualización de reglas mejorada permite a los ingenieros de detección centrarse primero en la actualización de las reglas prioritarias. Las nuevas mejoras reducen y simplifican significativamente el mantenimiento de las detecciones, lo que permite a los equipos de seguridad aprovechar los beneficios de las reglas predefinidas optimizadas para su entorno y casos de uso. Esta capacidad está disponible de forma general en las versiones 8.18 y 9.0 de Elastic Security a través del nivel de suscripción Elastic Security Enterprise para implementaciones autogestionadas y en la nube, y el nivel Security Analytics Complete en Elastic Cloud Serverless. Los lanzamientos de reglas quincenales proporcionan reglas y líneas de tiempo nuevas y actualizadas, disponibles directamente en Elastic Security, y solo en 2024, se emitieron más de 2,420 actualizaciones a la biblioteca de reglas.
Elasticsearch 8.18 introduce una nueva característica de JOIN al estilo SQL llamada LOOKUP JOIN, que permite la correlación y el enriquecimiento de datos con conjuntos de datos de búsqueda (lookup) fácilmente actualizables. Esta característica está disponible como "tech preview" (vista previa técnica) y permite a los usuarios agregar información de hosts y activos a eventos, verificar direcciones IP contra listas de inteligencia de amenazas, y más. Lookup Join es un LEFT OUTER JOIN que se basa en un nuevo modo de índice llamado "lookup" para el lado derecho, que puede actualizarse directamente. El índice de búsqueda puede contener varios tipos de datos, como activos, datos de inteligencia de amenazas, información de pedidos, información de empleados o clientes, y más. Históricamente, Elasticsearch carecía de la capacidad de JOIN, pero Lookup Join aborda esta limitación. Para habilitar los Lookup Joins, se creó un nuevo modo de índice llamado "lookup", que está limitado a 2 mil millones de documentos y es directamente actualizable. No existen restricciones en los datos de origen y no se requiere preparación de datos para realizar un join. Lookup Join es más fácil de configurar y administrar que el comando ENRICH en ES|QL, con beneficios como la ausencia de políticas de enriquecimiento que crear, la ausencia de ejecución de políticas y un mejor manejo de múltiples coincidencias. Los usuarios pueden crear índices de búsqueda de varias maneras, incluso a través de la administración de índices o el cargador de archivos ML en Kibana. Las posibilidades de usar Lookup Join son infinitas, y los desarrollos futuros pueden incluir otros tipos de joins, como los INNER joins o las subconsultas, y uniones contra cualquier índice.
Las empresas de servicios financieros se enfrentan a oportunidades y desafíos al aprovechar la IA, al tiempo que gestionan la complejidad de los datos, la seguridad y los requisitos de cumplimiento. Los altos directivos de Elastic compartieron recientemente sus perspectivas sobre cómo convertir el potencial de la IA en valor comercial práctico en la Cumbre de Servicios Financieros. Lo que está en juego es significativo para las empresas de servicios financieros, que manejan grandes cantidades de datos no estructurados de diversas fuentes. Elastic ofrece un enfoque unificado para gestionar y analizar datos a través de su plataforma de IA de búsqueda (Search AI Platform), que proporciona contexto utilizando datos empresariales propietarios en tiempo real. La plataforma ayuda a las organizaciones a mantener la visibilidad y el control a medida que escalan, con capacidades integradas de seguridad y cumplimiento. La plataforma de seguridad unificada de Elastic integra datos de todos los entornos, proporcionando análisis avanzados y conocimientos en tiempo real para medidas de seguridad proactivas. La plataforma también respalda la transparencia y la auditabilidad, ayudando a las organizaciones a crear registros de auditoría detallados y responder a las anomalías de forma proactiva. La IA puede impulsar la eficiencia operativa y de costos, incluyendo una mejor interacción con los clientes, pero el éxito requiere datos de calidad y gestión de riesgos. La plataforma de Elastic aborda estas necesidades al permitir el procesamiento de datos en tiempo real, manteniendo la seguridad y el cumplimiento. Al adoptar un enfoque de plataforma unificada, las empresas de servicios financieros pueden superar con éxito los desafíos de la adopción de la IA y desbloquear su potencial para generar valor comercial.
La cumbre de servicios financieros elásticos reunió a expertos para discutir cómo aprovechar el poder de la inteligencia artificial en los servicios financieros mientras se navegan regulaciones complejas. Matt Minetola, CIO en Elastic, compartió su experiencia en tecnología FinServ, mientras que Bill Wright, director senior de asuntos gubernamentales globales, brindó información sobre regulaciones de IA y gobernanza de riesgos. Thomas Mathew, director senior de nube de industria en Microsoft, habló sobre el papel de las plataformas en la nube en la cumplimentación. Elastic proporciona una fundación escalable para empresas de servicios financieros, construida sobre bases de datos vectoriales que pueden manejar demandas actuales y futuras. La plataforma de IA de Elastic Search combina optimización de almacenamiento avanzada con visibilidad comprehensiva en todos los tipos y fuentes de datos. Este enfoque unificado permite a las instituciones financieras mantener la cumplimentación regulatoria mientras impulsan la innovación, ofreciendo transparencia para la validación y el informe. A través de su asociación con Microsoft, la solución conjunta entrega búsqueda empresarial, observabilidad y seguridad, permitiendo a las organizaciones de servicios financieros administrar centralmente la gobernanza de datos mientras se adaptan a regulaciones en evolución. La plataforma de Elastic ofrece una solución única, escalable, abierta y poderosa para la actividad de GenAI, creando simplicidad y poder en un solo lugar.