TheNote
RSS Blog de datos masivos de A... Nota
GooglePlay AppStore

RSS Blog de datos masivos de AWS

Este sitio es de AWS, la plataforma de computación en la nube de Amazon. Cuenta con artículos e ideas en 'Blogs', que son básicamente una colección de artículos sobre tendencias actuales en computación, IA, aprendizaje automático, análisis y muchos más. El blog específico también contiene información sobre big data en AWS. Los visitantes pueden encontrar ideas de la comunidad de clientes de AWS, startups, investigadores científicos, instituciones educativas y otros expertos.
RSS aws.amazon.com
AWS Big Data Blog aws.amazon.com
RSS Hunter RSS Hunter • 22 ago 2024

Hilo de notas

Inmersión Profunda en el Ciclo de Vida de la Aplicación Apache Flink con Amazon Managed Service – Parte 2

En la Parte 1 de esta serie, discutimos las operaciones fundamentales para controlar el ciclo de vida de su aplicación Amazon Managed Service para Apache Flink. En esta publicación, exploramos escenarios de fallos que pueden ocurrir durante las operaciones normales o al implementar un cambio o escalar la aplicación, y cómo monitorear las operaciones para detectar y recuperar cuando algo sale mal.
Deep dive into the Amazon Managed Service for Apache Fink application lifecycle – Part 2 aws.amazon.com
CdXz5zHNQW_6uolRFX17V.png
RSS Hunter RSS Hunter • 3 sept 2025

Una inmersión profunda en el ciclo de vida de la aplicación Apache Flink con Amazon Managed Service – Parte 1

En esta serie de dos partes, exploramos qué sucede durante el ciclo de vida de una aplicación. Este artículo cubre los conceptos básicos y el flujo de trabajo de la aplicación durante las operaciones normales. En la Parte 2, analizaremos las posibles fallas, cómo detectarlas a través del monitoreo y las formas de resolver rápidamente los problemas cuando ocurren.
Deep dive into the Amazon Managed Service for Apache Fink application lifecycle – Part 1 aws.amazon.com
CdXz5zHNQW_Vk8iY5N77p.png
RSS Hunter RSS Hunter • 3 sept 2025

Utilice perfiles de proyecto reutilizables y agnósticos a la cuenta en Amazon SageMaker para simplificar la gobernanza

Amazon SageMaker ahora admite perfiles de proyecto independientes de la cuenta, por lo que puedes crear plantillas de proyecto reutilizables en varias cuentas de AWS y unidades organizativas. En esta publicación, demostramos cómo los perfiles de proyecto independientes de la cuenta pueden ayudarte a simplificar y optimizar la administración de la creación de proyectos de SageMaker, al mismo tiempo que se mantienen las características de seguridad y gobernanza. Pasamos por los pasos técnicos para configurar perfiles de proyecto reutilizables e independientes de la cuenta, lo que te ayudará a maximizar la flexibilidad de tus implementaciones de SageMaker.
Use account-agnostic, reusable project profiles in Amazon SageMaker to streamline governance aws.amazon.com
CdXz5zHNQW_oZaM8RuZkp.png
RSS Hunter RSS Hunter • 2 sept 2025

Implementación del programador por lotes Apache YuniKorn para Amazon EMR en EKS

Esta publicación explora los fundamentos de la planificación de Kubernetes, examina las limitaciones del kube-scheduler predeterminado para cargas de trabajo por lotes y demuestra cómo YuniKorn aborda estos desafíos. Discutimos cómo implementar YuniKorn como un planificador personalizado para Amazon EMR en EKS, su integración con la presentación de trabajos, cómo configurar colas y reglas de colocación, y cómo establecer cuotas de recursos. También mostramos estas características en acción a través de ejemplos prácticos de trabajos Spark.
Deploy Apache YuniKorn batch scheduler for Amazon EMR on EKS aws.amazon.com
CdXz5zHNQW_ByYXuPMUse.png
RSS Hunter RSS Hunter • 2 sept 2025

La Arquitectura Lakehouse de Amazon SageMaker ahora admite el Control de Acceso Basado en Etiquetas para catálogos federados.

Ahora anunciamos el soporte para el control de acceso basado en etiquetas de Lake Formation (LF-TBAC) para catálogos federados de tablas S3, almacenes de datos Redshift y fuentes de datos federadas como Amazon DynamoDB, MySQL, PostgreSQL, SQL Server, Oracle, Amazon DocumentDB, Google BigQuery y Snowflake. En esta publicación, ilustramos cómo administrar tablas S3 y tablas Redshift en el lakehouse utilizando un único mecanismo de control de acceso granular de LF-TBAC. También mostramos cómo acceder a estas tablas del lakehouse utilizando los servicios de análisis de su elección, como Athena, Redshift y Apache Spark en Amazon EMR Serverless.
The Amazon SageMaker Lakehouse Architecture now supports Tag-Based Access Control for federated catalogs aws.amazon.com
CdXz5zHNQW_nKgZh9VZXN.png
RSS Hunter RSS Hunter • 29 ago 2025

Modernizar la autenticación de Amazon Redshift migrando la administración de usuarios a AWS IAM Identity Center

Amazon Redshift es un potente almacén de datos basado en la nube que las organizaciones pueden utilizar para analizar datos estructurados y semiestructurados a través de consultas SQL avanzadas. Al ser un servicio completamente administrado, proporciona un alto rendimiento y escalabilidad, al tiempo que permite un acceso seguro a los datos almacenados en el almacén de datos. Organizaciones de todo el mundo confían en Amazon Redshift para manejar masivos […]
Modernize Amazon Redshift authentication by migrating user management to AWS IAM Identity Center aws.amazon.com
CdXz5zHNQW_TFGm3RDvzq.jpeg
RSS Hunter RSS Hunter • 27 ago 2025

Implementar control de acceso detallado utilizando Amazon OpenSearch Service y JSON Web Tokens

Este post demuestra cómo construir una aplicación de búsqueda segura utilizando el servicio de Amazon OpenSearch y tokens web JSON (JWT). Discutimos los conceptos básicos del servicio de OpenSearch y JWT, y cómo implementar la autenticación y autorización de usuarios a través de un proveedor de identidad (IdP) existente. El enfoque se centra en aplicar un control de acceso detallado basado en roles y permisos de usuario.
Implement fine-grained access control using Amazon OpenSearch Service and JSON Web Tokens aws.amazon.com
CdXz5zHNQW_O4iGQiFg48.jpeg
RSS Hunter RSS Hunter • 27 ago 2025

Cómo Ancestry optimiza una tabla Iceberg de 100 mil millones de filas

Esta es una publicación de invitado de Thomas Cardenas, Ingeniero de Software Principal en Ancestry, en asociación con AWS. Ancestry, el líder mundial en historia familiar y genómica de consumo, utiliza árboles genealógicos, registros históricos y ADN para ayudar a las personas en sus viajes de descubrimiento personal. Ancestry tiene la colección más grande de registros de historia familiar, que consta de 40 […]
How Ancestry optimizes a 100-billion-row Iceberg table aws.amazon.com
CdXz5zHNQW_3EsLW2ec2a.png
RSS Hunter RSS Hunter • 27 ago 2025

Cómo AppZen mejora la eficiencia operativa, la escalabilidad y la seguridad con Amazon OpenSearch Serverless

AppZen es un proveedor líder de soluciones de automatización financiera impulsadas por inteligencia artificial. La oferta principal de la empresa se centra en una innovadora plataforma de IA diseñada para equipos de finanzas modernos, que incluye gestión de gastos, detección de fraudes y soluciones autónomas de cuentas por pagar. La pila tecnológica de AppZen utiliza visión artificial, aprendizaje profundo y procesamiento del lenguaje natural (PLN) para automatizar procesos financieros y garantizar el cumplimiento normativo. […]
How AppZen enhances operational efficiency, scalability, and security with Amazon OpenSearch Serverless aws.amazon.com
CdXz5zHNQW_C651V9sHeV.jpeg
RSS Hunter RSS Hunter • 26 ago 2025

Zero-ETL: Cómo AWS está abordando los desafíos de la integración de datos

En esta publicación del blog, le mostramos cómo Amazon Web Services (AWS) está simplificando la integración de datos con zero-ETL, a la vez que se obtienen beneficios de rendimiento y optimizaciones de costos. A medida que las organizaciones recopilan datos para análisis e IA, se encuentran cada vez más atrapadas en una compleja red de canalizaciones de extracción, transformación y carga (ETL): la columna vertebral tradicional de la integración de datos. [...]
Zero-ETL: How AWS is tackling data integration challenges aws.amazon.com
CdXz5zHNQW_dFgbgu37MG.png
RSS Hunter RSS Hunter • 26 ago 2025

Mejores prácticas para migrar scripts de BTEQ de Teradata a RSQL de Amazon Redshift

Al migrar de Teradata BTEQ (Basic Teradata Query) a Amazon Redshift RSQL, seguir las prácticas recomendadas establecidas ayuda a garantizar un código confiable, eficiente y fácil de mantener. Si bien AWS Schema Conversion Tool (AWS SCT) maneja automáticamente la conversión básica de scripts BTEQ a RSQL, se centra principalmente en la traducción de sintaxis SQL y la conversión básica de scripts. Sin embargo, para lograr [...]
Best practices for migrating Teradata BTEQ scripts to Amazon Redshift RSQL aws.amazon.com
RSS Hunter RSS Hunter • 25 ago 2025

Amazon Redshift Serverless a 4 URP: Análisis de alto valor a bajo costo

Amazon Redshift Serverless ahora admite 4 configuraciones de RPU, lo que te ayuda a empezar con una capacidad base más baja que ejecuta cargas de trabajo de análisis escalables a partir de $1.50 por hora. En esta publicación, examinamos cómo esta nueva opción de tamaño hace que Redshift Serverless sea accesible para organizaciones más pequeñas, al mismo tiempo que proporciona a las empresas entornos rentables para desarrollo, pruebas y cargas de trabajo variables
Amazon Redshift Serverless at 4 RPUs: High-value analytics at low cost aws.amazon.com
CdXz5zHNQW_PTvBA4tETu.png
RSS Hunter RSS Hunter • 22 ago 2025

El catálogo de Amazon SageMaker amplía la capacidad de descubrimiento y gobernanza para cubos de propósito general de Amazon S3

En julio de 2025, Amazon SageMaker anunció la compatibilidad con los buckets de propósito general de Amazon Simple Storage Service (Amazon S3) y prefijos en el Catálogo de Amazon SageMaker, que ofrece un control de acceso y permisos detallado a través de Concesiones de acceso a S3 (S3 Access Grants). En esta publicación, exploramos cómo esta integración aborda desafíos clave que nuestros clientes nos han comunicado y cómo los productores de datos, como administradores e ingenieros de datos, pueden compartir y gobernar sin problemas buckets y prefijos de S3 utilizando Concesiones de acceso a S3, al tiempo que los hace fácilmente detectables para los consumidores de datos.
Amazon SageMaker Catalog expands discoverability and governance for Amazon S3 general purpose buckets aws.amazon.com
CdXz5zHNQW_kYS4r2wTSD.jpeg
RSS Hunter RSS Hunter • 21 ago 2025

Zeta reduce el tiempo de respuesta a incidentes bancarios en un 80% gracias a la observabilidad con Amazon OpenSearch Service

En esta publicación, explicamos cómo Zeta construyó una solución de monitoreo más unificada utilizando el servicio de Amazon OpenSearch que mejoró el rendimiento, redujo los procesos manuales y aumentó la satisfacción del usuario final. Zeta ha logrado una reducción del más del 80% en el tiempo medio de resolución (MTTR), con tiempos de respuesta a incidentes que disminuyeron de más de 30 minutos a menos de 5 minutos.
Zeta reduces banking incident response time by 80% with Amazon OpenSearch Service observability aws.amazon.com
CdXz5zHNQW_1a4174tmlP.jpeg
RSS Hunter RSS Hunter • 20 ago 2025

Construya pipelines de ingesta de registros a escala empresarial con Amazon OpenSearch Service

En esta publicación, compartimos patrones probados en el campo para la ingesta de registros que han ayudado a las organizaciones a implementar con éxito el registro a escala, al tiempo que mantienen un rendimiento óptimo y gestionan los costos de manera efectiva. Una solución de análisis de registros bien diseñada puede ayudar a respaldar la gestión proactiva en una variedad de casos de uso, como la depuración de problemas de producción, la supervisión del rendimiento de las aplicaciones o el cumplimiento de los requisitos normativos.
Build enterprise-scale log ingestion pipelines with Amazon OpenSearch Service aws.amazon.com
CdXz5zHNQW_cif3fah8oS.png
RSS Hunter RSS Hunter • 20 ago 2025

Mejora la disponibilidad y latencia de cola de Amazon EMR HBase utilizando ZGC generacional

Los despliegues a gran escala de HBase en Amazon EMR sufren de un comportamiento impredecible de la recolección de basura que crea cuellos de botella de rendimiento para aplicaciones críticas para el negocio. Para resolver este problema, Amazon EMR aprovecha la tecnología ZGC generacional de Oracle del JDK 21 para ofrecer tiempos de pausa predecibles y de menos de un milisegundo. Esta publicación le muestra cómo configurar ZGC generacional en Amazon EMR 7.10.0, aplicar métodos de ajuste de rendimiento y optimizar la configuración de recolección de basura de HBase RegionServer.
Improve Amazon EMR HBase availability and tail latency using generational ZGC aws.amazon.com
CdXz5zHNQW_vQyoDs4cTO.jpeg
RSS Hunter RSS Hunter • 19 ago 2025

Guía para adoptar Amazon SageMaker Unified Studio del viaje de ATPCO

ATPCO es la columna vertebral del comercio minorista moderno de aerolíneas, ya que ayuda a las aerolíneas y a los canales de terceros a ofrecer las ofertas adecuadas a los clientes en el momento oportuno. ATPCO abordó los desafíos de gobernanza de datos utilizando Amazon DataZone. SageMaker Unified Studio, construido sobre la misma arquitectura que Amazon DataZone, ofrece funcionalidades adicionales, para que los usuarios puedan completar diversas tareas como la creación de canalizaciones de datos utilizando AWS Glue y Amazon EMR, o la realización de análisis utilizando el editor de consultas de Amazon Athena y Amazon Redshift en diversos conjuntos de datos, todo ello dentro de un entorno único y unificado. En esta publicación, le explicaremos los desafíos que ATPCO aborda para su negocio utilizando SageMaker Unified Studio.
Guide to adopting Amazon SageMaker Unified Studio from ATPCO’s Journey aws.amazon.com
CdXz5zHNQW_bIyMegKMv8.jpeg
RSS Hunter RSS Hunter • 18 ago 2025

Logra un procesamiento de datos de baja latencia con Amazon EMR en Zonas Locales de AWS

Al implementar Amazon EMR en zonas locales de AWS, las organizaciones pueden lograr procesamiento de datos con latencia de milisegundos de un dígito para aplicaciones mientras mantienen la cumplimentación de residencia de datos. Este post demuestra cómo utilizar zonas locales de AWS para implementar clústeres de EMR más cerca de sus usuarios, habilitando tiempos de respuesta a nivel de milisegundos.
Achieve low-latency data processing with Amazon EMR on AWS Local Zones aws.amazon.com
CdXz5zHNQW_YD2biMgsqf.png
RSS Hunter RSS Hunter • 18 ago 2025

Comunicación del gestor de clúster simplificada con Publicación Remota

Amazon OpenSearch Service ha dado un salto significativo en escalabilidad y rendimiento con la introducción del soporte para dominios de OpenSearch Service de 1.000 nodos capaces de manejar 500.000 shards con la versión 2.17 de OpenSearch Service. Esta publicación explica la publicación del estado del clúster, la Publicación Remota y sus beneficios para mejorar la durabilidad, la escalabilidad y la disponibilidad.
Cluster manager communication simplified with Remote Publication aws.amazon.com
CdXz5zHNQW_5YX2H3joPY.png
RSS Hunter RSS Hunter • 14 ago 2025

Mejora la observabilidad de Amazon EMR con mitigación de incidentes automatizada utilizando Amazon Bedrock y Amazon Managed Grafana

En esta publicación, demostramos cómo integrar el monitoreo en tiempo real con sugerencias de remediación impulsadas por inteligencia artificial, combinando Amazon Managed Grafana para visualización, Amazon Bedrock para recomendaciones de respuesta inteligentes y AWS Systems Manager para acciones de remediación automatizadas en Amazon Web Services (AWS)
Enhance Amazon EMR observability with automated incident mitigation using Amazon Bedrock and Amazon Managed Grafana aws.amazon.com
CdXz5zHNQW_iQ5dLwtw2x.png
RSS Hunter RSS Hunter • 14 ago 2025

Construya pipelines de datos con dbt en Amazon Redshift utilizando Amazon MWAA y Cosmos

En esta publicación, exploramos un enfoque simplificado y basado en configuración para orquestar trabajos de dbt Core utilizando Amazon Managed Workflows for Apache Airflow (Amazon MWAA) y Cosmos, un paquete de código abierto. Estos trabajos ejecutan transformaciones en Amazon Redshift. Con esta configuración, los equipos pueden colaborar de manera efectiva mientras mantienen la calidad de los datos, la eficiencia operativa y la observabilidad.
Build data pipelines with dbt in Amazon Redshift using Amazon MWAA and Cosmos aws.amazon.com
CdXz5zHNQW_NXvhY9GsZk.png
RSS Hunter RSS Hunter • 13 ago 2025

Crea un panel de dashboard de OpenSearch con Amazon OpenSearch Service

Este post demuestra cómo aprovechar los paneles de OpenSearch para analizar registros de forma visual e interactiva. Con esta solución, los administradores de TI, desarrolladores y ingenieros de DevOps pueden crear paneles personalizados para monitorear el comportamiento del sistema, detectar anomalías temprano y solucionar problemas más rápido a través de gráficos y diagramas interactivos.
Create an OpenSearch dashboard with Amazon OpenSearch Service aws.amazon.com
CdXz5zHNQW_VRw6GWFkWH.png
RSS Hunter RSS Hunter • 5 ago 2025

Integra la gestión y el análisis de datos científicos con la próxima generación de Amazon SageMaker, Parte 1

En este post del blog, AWS presenta una solución a un desafío común en la investigación científica: la gestión ineficiente de datos científicos fragmentados. El post demuestra cómo la próxima generación de Amazon SageMaker, a través de sus características de Estudio Unificado y Catálogo, ayuda a los científicos a simplificar su flujo de trabajo integrando capacidades de gestión de datos y análisis.
Integrate scientific data management and analytics with the next generation of Amazon SageMaker, Part 1 aws.amazon.com
CdXz5zHNQW_oFKnY8Fswv.png
RSS Hunter RSS Hunter • 5 ago 2025

Análisis de streaming en tiempo casi real sobre protobuf con Amazon Redshift

En esta publicación, exploramos una carga de trabajo analítica de principio a fin para datos protobuf en streaming, mostrando cómo manejar estas transmisiones de datos con la Ingesta de Streaming de Amazon Redshift, deserializándolas y procesándolas utilizando funciones de AWS Lambda, de modo que las transmisiones entrantes estén inmediatamente disponibles para su consulta y procesamiento analítico en Amazon Redshift.
Near real-time streaming analytics on protobuf with Amazon Redshift aws.amazon.com
CdXz5zHNQW_xYVc3lQZ2x.png
RSS Hunter RSS Hunter • 4 ago 2025

Acelera tus análisis con Amazon S3 Tables y Amazon SageMaker Lakehouse

Amazon SageMaker Lakehouse es un lago de datos unificado, abierto y seguro que ahora se integra de manera transparente con Amazon S3 Tables, el primer almacén de objetos en la nube con soporte integrado de Apache Iceberg. En este post, te guiamos sobre cómo utilizar varios servicios de análisis utilizando la integración de SageMaker Lakehouse con S3 Tables.
Accelerate your analytics with Amazon S3 Tables and Amazon SageMaker Lakehouse aws.amazon.com
CdXz5zHNQW_XWADdlOqtp.png
RSS Hunter RSS Hunter • 17 abr 2025

Integrar ThoughtSpot con Amazon Redshift utilizando AWS IAM Identity Center

En esta publicación, le guiaremos a través del proceso de configuración de la integración de ThoughtSpot con Amazon Redshift utilizando la autenticación de IAM Identity Center. La solución proporciona un entorno de análisis seguro y optimizado que permite a su equipo centrarse en lo que más importa: descubrir y compartir valiosas perspectivas comerciales.
Integrate ThoughtSpot with Amazon Redshift using AWS IAM Identity Center aws.amazon.com
CdXz5zHNQW_TgPaZujcx9.png
RSS Hunter RSS Hunter • 10 abr 2025

Optimice el descubrimiento de datos con búsqueda de identificadores técnicos precisos en Amazon SageMaker Unified Studio

Nos complace presentar una nueva mejora en la experiencia de búsqueda en Amazon SageMaker Catalog, parte de la próxima generación de Amazon SageMaker: la búsqueda de coincidencia exacta utilizando identificadores técnicos. En esta publicación, demostramos cómo optimizar el descubrimiento de datos con la búsqueda precisa de identificadores técnicos en Amazon SageMaker Unified Studio.
Streamline data discovery with precise technical identifier search in Amazon SageMaker Unified Studio aws.amazon.com
CdXz5zHNQW_ByEfu4c2ZG.jpeg
RSS Hunter RSS Hunter • 9 abr 2025

Procesar millones de eventos de observabilidad con Apache Flink y escribir directamente en Prometheus

En esta publicación, explicamos cómo funciona el nuevo conector. También mostramos cómo puedes administrar la cardinalidad de tus datos de métricas de Prometheus mediante el preprocesamiento de datos brutos con Flink para construir observabilidad en tiempo real con Amazon Managed Service for Prometheus y Amazon Managed Grafana.
Process millions of observability events with Apache Flink and write directly to Prometheus aws.amazon.com
CdXz5zHNQW_7MBIKzB1Jp.png
RSS Hunter RSS Hunter • 9 abr 2025

Gestionar conflictos de escritura concurrente en Apache Iceberg utilizando AWS Glue Data Catalog

Esta publicación demuestra cómo implementar mecanismos confiables de manejo de escrituras concurrentes en tablas Iceberg. Exploraremos el modelo de concurrencia de Iceberg, examinaremos escenarios de conflicto comunes y proporcionaremos patrones de implementación prácticos, tanto de mecanismos de reintento automáticos como de situaciones que requieren una lógica de resolución de conflictos personalizada, para construir pipelines de datos resilientes. También cubriremos el patrón con la compactación automática a través de la optimización de tablas del Catálogo de datos de AWS Glue.
Manage concurrent write conflicts in Apache Iceberg on the AWS Glue Data Catalog aws.amazon.com
CdXz5zHNQW_m72sv3jzxD.png
RSS Hunter RSS Hunter • 8 abr 2025

Optimizar la búsqueda multimodal utilizando la API de embeddings de TwelveLabs y el Servicio de Amazon OpenSearch

En este post de blog, te mostramos el proceso de integración de la API de incrustación de TwelveLabs con el servicio de OpenSearch para crear una solución de búsqueda multimodal. Aprenderás cómo generar incrustaciones ricas y contextuales desde contenido de video y utilizar las capacidades de base de datos de vectores del servicio de OpenSearch para habilitar funcionalidades de búsqueda. Al final de este post, estarás equipado con el conocimiento para implementar un sistema que puede transformar la forma en que tu organización maneja y extrae valor del contenido de video.
Optimize multimodal search using the TwelveLabs Embed API and Amazon OpenSearch Service aws.amazon.com
CdXz5zHNQW_KWcDsU2861.png
RSS Hunter RSS Hunter • 4 abr 2025

Correlacionar datos de telemetría con Amazon OpenSearch Service y Amazon Managed Grafana

En esta publicación, le mostramos cómo utilizar Amazon OpenSearch Service y Amazon Managed Grafana para correlacionar las diversas señales de observabilidad que mejoran el análisis de causa raíz, lo que resulta en una reducción del Tiempo Medio de Resolución (MTTR). También proporcionamos una solución de referencia que se puede utilizar a gran escala para el monitoreo proactivo de aplicaciones empresariales para evitar problemas antes de que ocurran.
Correlate telemetry data with Amazon OpenSearch Service and Amazon Managed Grafana aws.amazon.com
CdXz5zHNQW_1d4NIHaR5n.png
RSS Hunter RSS Hunter • 3 abr 2025

Presentamos la depuración de inteligencia artificial generativa para Apache Spark en AWS Glue (versión preliminar)

Esta publicación demuestra cómo la solución de problemas de inteligencia artificial generativa para Spark en AWS Glue ayuda a depurar las aplicaciones de Spark en su día a día. Simplifica el proceso de depuración de las aplicaciones de Spark utilizando inteligencia artificial generativa para identificar automáticamente la causa raíz de los fallos y proporciona recomendaciones prácticas para resolver los problemas.
Introducing generative AI troubleshooting for Apache Spark in AWS Glue (preview) aws.amazon.com
RSS Hunter RSS Hunter • 22 nov 2024

Presentando mejoras de IA generativa para Apache Spark en AWS Glue (versión preliminar)

Hoy estamos emocionados de anunciar la vista previa de las mejoras de inteligencia artificial generativa para Spark, una nueva capacidad que permite a los profesionales de datos actualizar y modernizar rápidamente sus aplicaciones Spark que se ejecutan en AWS. Comenzando con los trabajos de Spark en AWS Glue, esta función le permite actualizar desde una versión anterior de AWS Glue a AWS Glue versión 4.0. Esta nueva capacidad reduce el tiempo que los ingenieros de datos dedican a modernizar sus aplicaciones Spark, lo que les permite centrarse en crear nuevas canalizaciones de datos y obtener análisis valiosos más rápido.
Introducing generative AI upgrades for Apache Spark in AWS Glue (preview) aws.amazon.com
RSS Hunter RSS Hunter • 22 nov 2024

Acelera tus flujos de trabajo de datos con sesiones persistentes de la API de datos de Amazon Redshift

"En esta publicación, pasaremos por un ejemplo de proceso ETL que utiliza la reutilización de sesiones para crear, poblar y consultar de manera eficiente tablas temporales de preparación a lo largo de todo el flujo de trabajo de transformación de datos, todo dentro de la misma sesión persistente de base de datos de Amazon Redshift. Aprenderás las mejores prácticas para optimizar el código de orquestación ETL, reducir los tiempos de ejecución de los trabajos eliminando la sobrecarga de conexión y simplificar la complejidad de la canalización".
Accelerate your data workflows with Amazon Redshift Data API persistent sessions aws.amazon.com
RSS Hunter RSS Hunter • 22 nov 2024

De depósitos de datos a conocimientos: el adaptador de dbt para Amazon Athena ahora es compatible con dbt Cloud

Nos complace anunciar que el adaptador de dbt para Amazon Athena ahora es oficialmente compatible con dbt Cloud. Esta integración permite a los equipos de datos transformar y administrar datos de forma eficaz mediante Athena con las sólidas características de dbt Cloud, lo que mejora la experiencia general del flujo de trabajo de datos. En esta publicación, analizamos las ventajas de dbt Cloud frente a dbt Core, los casos de uso habituales y cómo comenzar con Amazon Athena mediante el adaptador de dbt.
From data lakes to insights: dbt adapter for Amazon Athena now supported in dbt Cloud aws.amazon.com
RSS Hunter RSS Hunter • 22 nov 2024

El catálogo de datos de AWS Glue admite la optimización automática de tablas de Apache Iceberg a través de su Amazon VPC

El catálogo de datos de AWS Glue admite la optimización automática de tablas Apache Iceberg, incluyendo compactación, instantáneas y gestión de datos huérfanos. El optimizador de compactación de datos monitorea constantemente las particiones de las tablas y inicia el proceso de compactación cuando se supera el umbral para el número de archivos y tamaños de archivos. Este post demuestra cómo funciona con instrucciones paso a paso.
AWS Glue Data Catalog supports automatic optimization of Apache Iceberg tables through your Amazon VPC aws.amazon.com
RSS Hunter RSS Hunter • 21 nov 2024

Ejecute clústeres de larga duración con alta disponibilidad utilizando flotas de instancias de Amazon EMR

En esta publicación, demostramos cómo lanzar un clúster de instancia de alta disponibilidad utilizando la consola de Amazon EMR recién rediseñada, así como utilizando una plantilla de AWS CloudFormation. También repasamos los conceptos básicos de alta disponibilidad de Hadoop, flotas de instancias de EMR, los beneficios y trade-offs de alta disponibilidad y las mejores prácticas para ejecutar clústeres de EMR resistentes.
Run high-availability long-running clusters with Amazon EMR instance fleets aws.amazon.com
RSS Hunter RSS Hunter • 21 nov 2024

Mejora la gobernanza de datos con reglas de metadatos aplicadas en Amazon DataZone

Estamos emocionados de anunciar una nueva función en Amazon DataZone que ofrece una gobernanza de metadatos mejorada para su proceso de aprobación de suscripciones. Con esta actualización, los propietarios de dominios pueden definir requisitos de metadatos y hacerlos cumplir a los consumidores de datos cuando solicitan suscripciones a activos de datos. Al hacer que sea obligatorio para los consumidores de datos proporcionar metadatos específicos, los propietarios de dominios pueden lograr la conformidad, cumplir con los estándares organizacionales y apoyar las necesidades de auditoría y reporting.
Enhance data governance with enforced metadata rules in Amazon DataZone aws.amazon.com
RSS Hunter RSS Hunter • 20 nov 2024

Presentando consultas de punto en el tiempo y soporte de SQL/PPL en Amazon OpenSearch Serverless

Hoy anunciamos el soporte para tres nuevas características para Amazon OpenSearch Serverless: búsqueda en un momento específico (PIT) que le permite mantener una clasificación estable para la paginación profunda en presencia de actualizaciones, y PPL y SQL, que le brindan nuevas formas de consultar sus datos. En este artículo, discutimos los beneficios de estas nuevas características y cómo empezar a utilizarlas.
Introducing Point in Time queries and SQL/PPL support in Amazon OpenSearch Serverless aws.amazon.com
RSS Hunter RSS Hunter • 19 nov 2024

Presentando entornos micro de Amazon MWAA para Apache Airflow

Hoy, estamos emocionados de anunciar mw1.micro, la última adición a las clases de entornos de Amazon MWAA. Esta oferta está diseñada para proporcionar una solución aún más rentable para ejecutar entornos de Airflow en la nube. Con mw1.micro, estamos trayendo el poder de Amazon MWAA a los equipos que requieren un entorno ligero sin comprometer las características esenciales. En este artículo, exploraremos las características de mw1.micro, los beneficios clave, los casos de uso ideales y cómo puede configurar un entorno de Amazon MWAA basado en esta nueva clase de entorno.
Introducing Amazon MWAA micro environments for Apache Airflow aws.amazon.com
RSS Hunter RSS Hunter • 19 nov 2024

Integrar aplicaciones personalizadas con AWS Lake Formation - Parte 1

En esta serie de dos partes, mostramos cómo integrar aplicaciones personalizadas o motores de procesamiento de datos con Lake Formation utilizando la característica de integración de servicios de terceros. En este post, nos sumergimos en profundidad en las API de Lake Formation y AWS Glue requeridas. Pasamos por los pasos para aplicar políticas de Lake Formation dentro de aplicaciones de datos personalizadas. Como ejemplo, presentamos una aplicación de muestra integrada con Lake Formation implementada utilizando AWS Lambda.
Integrate custom applications with AWS Lake Formation – Part 1 aws.amazon.com
RSS Hunter RSS Hunter • 19 nov 2024

Integrar aplicaciones personalizadas con AWS Lake Formation – Parte 2

En esta serie de dos partes, mostramos cómo integrar aplicaciones personalizadas o motores de procesamiento de datos con Lake Formation utilizando la función de integración de servicios de terceros. En este post, exploramos cómo implementar una aplicación cliente web funcional completa, construida con JavaScript/React a través de AWS Amplify (Gen 1), que utiliza la misma función Lambda como backend. La aplicación web provisionada ofrece una forma fácil de usar y intuitiva de ver las políticas de Lake Formation que se han aplicado.
Integrate custom applications with AWS Lake Formation – Part 2 aws.amazon.com
RSS Hunter RSS Hunter • 19 nov 2024