AWS Big Data Blog на русском - TheNote.app

AWS Big Data Blog на русском
Подписаться

Этот сайт принадлежит AWS, платформе облачных вычислений от Amazon. На нем представлены статьи и аналитические материалы в разделе "Блоги", которые по сути представляют собой подборку статей о текущих тенденциях в области вычислений, искусственного интеллекта, машинного обучения, аналитики и многого другого. Специальный блог также содержит информацию о больших данных на AWS. Посетители могут получить информацию от сообщества клиентов AWS, стартапов, научных исследователей, образовательных учреждений и других экспертов.

RSS aws.amazon.com

AWS Big Data Blog aws.amazon.com

RSS Hunter • 22 авг. 2024 г.

Трэд заметок

Автоматизация создания представлений AWS Glue Data Catalog с помощью AWS SDK для сценария использования Data Mesh

В этом посте показано, как использовать метод Catalog objects API CreateTable() для программного создания диалектов ATHENA и SPARK с использованием меж учетных записей ролей определяющих IAM, а также как программно добавить диалект ATHENA для представлений, которые ранее были созданы только с диалектом SPARK.

Automate creating AWS Glue Data Catalog views with AWS SDK for data mesh use case aws.amazon.com

RSS Hunter • Вчера

Эффективное управление журналами с помощью потоков данных Amazon OpenSearch Service

В этой статье мы покажем вам, как реализовать потоки данных с управлением состоянием индекса (ISM) в Amazon OpenSearch Service. Этот подход автоматически управляет жизненным циклом ваших временных рядов данных и оптимизирует производительность и затраты. Потоки данных распределяют входящие данные по нескольким базовым индексам, помогая уменьшить узкие места одного индекса, в то время как политики ISM автоматизируют переключение, хранение и распределение по уровням хранения, чтобы помочь управлять затратами.

Efficient log management with Amazon OpenSearch Service data streams aws.amazon.com

RSS Hunter • 23 июл.

Как Alight Solutions добилась экономии 55% затрат с помощью Amazon OpenSearch Service

В этой публикации мы расскажем, как Alight Solutions перешла с самостоятельно управляемого Elasticsearch на Amazon OpenSearch Service. Миграция позволила сократить расходы на 55%, снизить операционные расходы примерно на 2000 часов в год и предоставила Alight доступ к расширенным функциям наблюдаемости, на которые они раньше не могли выделить ресурсы.

How Alight Solutions achieved 55% cost savings with Amazon OpenSearch Service aws.amazon.com

RSS Hunter • 20 июл.

Управляйте хранилищами данных Amazon Redshift в разных учетных записях с помощью унифицированной студии Amazon SageMaker

В этой статье мы покажем, как использовать Amazon SageMaker Unified Studio для реализации меж учетных записей обмена данными в Amazon Redshift с использованием принципов data mesh. Мы продемонстрируем, как построить масштабируемую архитектуру data mesh, которая поддерживает безопасный, поддающийся аудиту обмен данными между учетными записями AWS, снижая при этом операционную нагрузку.

Govern Amazon Redshift Data Warehouses Data Across Accounts using Amazon SageMaker Unified Studio aws.amazon.com

RSS Hunter • 20 июл.

Миграция с Apache Solr на Amazon OpenSearch Serverless

В этой статье вы узнаете, почему сейчас самое время воспользоваться простотой эксплуатации и встроенными возможностями искусственного интеллекта OpenSearch Serverless и перейти с Solr.

Migrate from Apache Solr to Amazon OpenSearch Serverless aws.amazon.com

RSS Hunter • 16 июл.

Высокопроизводительная служба удаленного перемешивания на Amazon EMR с Apache Celeborn

В этой статье мы покажем, как Apache Celeborn решает эту дилемму для Amazon EMR на EKS и Amazon EMR на EC2, повышая надежность заданий и одновременно открывая дополнительные возможности для экономии средств.

High-performance Remote Shuffle Service on Amazon EMR with Apache Celeborn aws.amazon.com

RSS Hunter • 15 июл.

Доступ к таблицам Apache Iceberg в Amazon S3 без копирования из Salesforce Data 360 через REST-конечную точку Iceberg из AWS Glue Data Catalog

В этой статье мы покажем, как клиенты AWS и Salesforce могут получить доступ к своим корпоративным озерам данных на AWS из Salesforce Data 360 с использованием федерации файлов без копирования.

Zero Copy access to Apache Iceberg tables in Amazon S3 from Salesforce Data 360 using the Iceberg REST endpoint from AWS Glue Data Catalog aws.amazon.com

RSS Hunter • 15 июл.

Идеальное исправление: Автоматизация тестирования исправлений Amazon Redshift

В этой статье мы демонстрируем автоматизированный набор тестов, который проверяет ваш кластер Amazon Redshift автоматически после любого исправления, перезагрузки или изменения. Он использует стандартные драйверы против реальных рабочих нагрузок, чтобы обеспечить проверенный барьер между применением исправления и его попаданием в производственную среду.

Patch perfect: Automating Amazon Redshift patch testing aws.amazon.com

RSS Hunter • 14 июл.

Архитектура мультиоблачного озера данных (lakehouse) на AWS для агентского ИИ, Часть 1: Архитектура и лучшие практики

В этой публикации рассказывается о подходе к построению архитектуры открытого озера-хранилища (lakehouse) на AWS, объединяющем каталог метаданных между поставщиками для доступа к нему со стороны ИИ-агентов. Кроме того, в ней освещаются компромиссы в архитектуре и лучшие практики.

Multi-cloud lakehouse architecture on AWS for Agentic AI, Part 1: Architecture and best practices aws.amazon.com

RSS Hunter • 13 июл.

Как Razorpay построила систему обнаружения аномалий в реальном времени с помощью Amazon MSK

В этой статье мы рассмотрим архитектуру платформы обнаружения аномалий и оповещения Razorpay (ADA) с использованием Amazon Managed Streaming for Apache Kafka (Amazon MSK) и других сервисов AWS. По данным Razorpay, система обнаруживает аномалии транзакций менее чем за 30 секунд, поддерживает тысячи оповещений на уровне продавца и сократила расходы на мониторинг примерно на 80 процентов. Платформа обеспечивает бесперебойную работу с доступностью 99,99 процента для более чем 500 миллионов транзакций в месяц.

How Razorpay Built Real-Time Anomaly Detection with Amazon MSK aws.amazon.com

RSS Hunter • 13 июл.

Сократите расходы и упростите операции с помощью записываемого теплого хранилища в Amazon OpenSearch Service

В этом посте я покажу вам, как записываемое теплое хранилище устраняет дорогостоящий цикл миграции. Вы можете сократить расходы на инфраструктуру до 48 процентов и обновлять исторические данные за секунды вместо часов. Я проведу вас через реальное сравнение затрат и тесты производительности, а также помогу вам решить, когда использовать записываемое теплое хранилище по сравнению с UltraWarm.

Cut costs and simplify operations with writable warm storage in Amazon OpenSearch Service aws.amazon.com

RSS Hunter • 8 июл.

Представляем поддержку Apache Spark Connect в интерактивных сессиях AWS Glue

Apache Spark Connect устраняет разрыв между этими двумя мирами: вы разрабатываете на локальном Python, но выполняете код в AWS Glue на реальных данных. Сегодня интерактивные сессии AWS Glue нативно поддерживают Spark Connect. Вы можете подключаться из любой среды, поддерживающей удаленный API PySpark (remote()), включая VS Code, PyCharm, ноутбуки Amazon SageMaker Unified Studio и автономные приложения Python. Вам не нужно устанавливать специализированные ядра или управлять инфраструктурой кластера.

Introducing Apache Spark Connect support in AWS Glue interactive sessions aws.amazon.com

RSS Hunter • 7 июл.

Как BigBasket использует архитектуру хранилища на основе айсберга на платформе AWS для обеспечения молниеносно быстрой доставки продуктов питания по всей Индии

В этой статье мы покажем, как BigBasket реализовала архитектуру lakehouse на AWS, включая принятые архитектурные решения, подход к реализации и измеримые бизнес-результаты, которые вы можете ожидать от подобной модернизации. Независимо от того, сталкиваетесь ли вы с проблемами масштабируемости или планируете собственную реализацию lakehouse, этот план предоставляет практические рекомендации, которые вы можете адаптировать для своей организации.

How BigBasket uses the Iceberg based lakehouse architecture on AWS to power lightning-fast grocery delivery across India aws.amazon.com

RSS Hunter • 6 июл.

Ускорение аналитики логов в масштабе с помощью AWS Glue и материализованных представлений Apache Iceberg

В этой статье вы узнаете, как создать конвейер журналов приложений для производственного использования с помощью Amazon CloudWatch Logs, AWS Lambda, Amazon Data Firehose, AWS Glue и материализованных таблиц Apache Iceberg. Затем вы будете использовать материализованные представления для ускорения выполнения запросов. Это решение поможет вам добиться более быстрого отклика на запросы к большим объемам данных журналов без необходимости управлять непрерывным обновлением озера данных.

Accelerating log analytics at scale with AWS Glue and Apache Iceberg materialized views aws.amazon.com

RSS Hunter • 2 июл.

Бессерверные аналитические конвейеры с использованием движка Apache Spark в Amazon Athena

В этой публикации показано, как разработчики, инженеры данных и аналитики могут подключаться к защищенной конечной точке Spark Connect в Athena с помощью Apache Spark. Вы можете использовать предпочитаемые инструменты, такие как Jupyter notebooks, VS Code или dbt с Apache Airflow, без необходимости управлять жизненным циклом кластера или масштабированием.

Serverless analytics pipelines using the Apache Spark engine in Amazon Athena aws.amazon.com

RSS Hunter • 2 июл.

Разверните современные платформы данных за считанные минуты с помощью MDAA

В этой статье мы рассмотрим, как MDAA преобразует разработку архитектуры данных с месяцев ручного кодирования до готового к эксплуатации развертывания благодаря инфраструктуре, управляемой конфигурацией, и встроенному управлению, изучим реальную трансформацию клиента и предоставим четкий путь внедрения для вашего собственного пути модернизации данных.

Deploy modern data platforms in minutes with MDAA aws.amazon.com

RSS Hunter • 2 июл.

Amazon Redshift RG: Быстрее и дешевле, на базе Graviton

В этой статье мы описываем инновации, которые делают экземпляры RG намного быстрее. Мы также делимся результатами тестов, показывающими, что RG обеспечивает до 4,2 раза лучшую цену и производительность по сравнению с другими ведущими хранилищами данных.

Amazon Redshift RG: Faster and lower cost, Graviton-powered aws.amazon.com

RSS Hunter • 2 июл.

Запускайте лог-аналитику за долю стоимости с новым движком для Amazon OpenSearch Service

Мы представляем специализированный движок аналитики журналов для Amazon OpenSearch Service. Этот новый движок обеспечивает до 4 раз более высокую производительность по цене, в 2 раза более быструю загрузку данных, до 2 раз более быстрые аналитические запросы и до 70 процентов более низкие затраты на хранение. Вы получаете все это, не жертвуя возможностями поиска по тем же данным. В этой статье вы узнаете, как воспользоваться этими преимуществами, как начать работу и ознакомитесь с результатами тестирования в масштабе миллиарда документов.

Run log analytics for a fraction of the cost with the new engine for Amazon OpenSearch Service aws.amazon.com

RSS Hunter • 1 июл.

Рекомендации по производительности на основе ИИ для Amazon Redshift

В этой статье вы узнаете, как создать решение на базе искусственного интеллекта, которое собирает телеметрию, предварительно вычисляет сигналы производительности, сопоставляет их с CloudWatch и использует Amazon Bedrock для генерации приоритетных рекомендаций.

AI-powered performance recommendations for Amazon Redshift aws.amazon.com

RSS Hunter • 1 июл.

Масштабируйте аналитику с помощью улучшений Amazon Redshift для нескольких хранилищ данных

В этой публикации мы представляем новые возможности Amazon Redshift, которые расширяют наши возможности работы с несколькими хранилищами данных и масштабирования: удаленные операции с материализованными представлениями (MV), поддержка удаленного DDL таблиц и улучшения масштабирования параллелизма для интеграции zero-ETL и событий S3. Эти функции помогут вам создавать более масштабируемые и производительные децентрализованные аналитические архитектуры на Amazon Redshift.

Scale analytics with Amazon Redshift multi-warehouse enhancements aws.amazon.com

RSS Hunter • 29 июн.

Amazon Redshift обеспечивает более высокую производительность для BI-дашбордов и аналитики в реальном времени

Сегодня мы рады объявить о новой оптимизации производительности в Amazon Redshift, которая улучшает время отклика SQL-запросов с низкой задержкой, таких как те, что используются в приложениях для аналитики в реальном времени или генерируются BI-панелями. Благодаря этому улучшению вы можете ощутить снижение задержек запросов за счет сокращения времени, которое Amazon Redshift тратит на подготовку SQL-запросов к выполнению. SQL-запросы запускаются быстрее, поэтому они быстрее возвращают результаты.

Amazon Redshift delivers faster performance for BI dashboards and real-time analytics aws.amazon.com

RSS Hunter • 29 июн.

Оптимизируйте интеграцию Tableau с Amazon Redshift Serverless

В этой статье мы предлагаем руководство, которое поможет вам использовать связи Tableau и архитектуру Amazon Redshift Serverless для получения аналитических данных за доли секунды, максимально используя каждый процессорный блок Redshift (RPU). Мы также предоставляем рекомендации по пяти ключевым областям: архитектура модели данных для оптимальной производительности запросов, настройка безопасности и контроль доступа, оптимизация производительности с помощью интеллектуальной настройки, стратегии управления затратами, а также методы оптимизации запросов и объединений.

Optimize your Tableau integration with Amazon Redshift Serverless aws.amazon.com

RSS Hunter • 29 июн.

Реализуйте многопользовательский поиск с помощью Amazon OpenSearch Serverless следующего поколения

В этой статье мы покажем, как архитектура OpenSearch Serverless следующего поколения делает модель "коллекция на арендатора" практичной для многопользовательского поиска.

Implement multi-tenant search with Amazon OpenSearch Serverless next generation aws.amazon.com

RSS Hunter • 24 июн.

Многорегиональный доступ к таблицам Amazon Redshift и S3 на основе идентификации

В Части 1 этой серии мы показали, как упростить доступ к корпоративным данным с помощью интеграции Amazon Redshift с Amazon S3 Access Grants. В этой статье мы расширяем это решение на другие регионы AWS. Мы представляем вымышленную компанию AnyCompany Global, чтобы проиллюстрировать, как организации с глобальными операциями могут использовать AWS IAM Identity Center Multi-Region для настройки единообразного, основанного на идентификации доступа к Amazon Redshift и таблицам Amazon S3 в разных регионах.

Multi-Region identity-based access to Amazon Redshift and S3 Tables aws.amazon.com

RSS Hunter • 24 июн.

Автономное устранение неполадок для архитектуры Medallion с помощью агента AWS DevOps и агента устранения неполадок Apache Spark

В этой статье мы покажем, как за считанные минуты диагностировать сбои в многоуровневой конвейерной архитектуре Medallion, используя AWS DevOps Agent с Apache Spark Troubleshooting Agent, интегрированным в качестве сервера MCP.

Autonomous troubleshooting for Medallion Architecture with AWS DevOps Agent and Apache Spark Troubleshooting Agent aws.amazon.com

RSS Hunter • 23 июн.

Почему Tombola выбрала экземпляры RG с поддержкой Graviton для Amazon Redshift

В этой статье вы узнаете, как компания Tombola следовала строгому инженерному принципу: без изменений в производстве без доказательств. Это означало сравнение RA3 и RG в их фактической рабочей нагрузке. Вы также увидите результаты тестирования производительности на Amazon S3 Tables и миграцию с экземпляров RA3 на RG.

Why tombola chose Graviton-powered RG instances for Amazon Redshift aws.amazon.com

RSS Hunter • 22 июн.

Обнаружение моделей мошенничества в Snowflake и AWS с помощью SageMaker Data Agent

Amazon SageMaker Data Agent запускает три новые возможности в унифицированных студийных ноутбуках Amazon SageMaker: SQL-аналитику по источникам данных Snowflake, управление материализованными представлениями и интерактивную визуализацию. Специалисты могут использовать их совместно для запросов к Snowflake наряду с данными AWS, предварительного вычисления и планирования повторяющихся агрегаций, а также для создания интерактивных визуализаций на основе запросов на естественном языке в одном ноутбуке, без написания шаблонного кода или переключения между инструментами. В этой статье мы опишем проблемы, которые решают эти возможности, представим каждую из них и рассмотрим сценарий анализа мошенничества, демонстрирующий их совместную работу в сквозном рабочем процессе расследования.

Detecting fraud patterns across Snowflake and AWS using SageMaker Data Agent aws.amazon.com

RSS Hunter • 22 июн.

Автоматизация ИТ-поддержки с помощью ИИ: как Nexthink использует OpenSearch Service для обеспечения самостоятельного решения проблем

В этой статье мы рассмотрим, как Nexthink использовала векторный поиск Amazon OpenSearch Service, Amazon Bedrock и инфраструктуру как код для обеспечения слоя извлечения данных агента Spark.

Automating IT support with AI: How Nexthink uses OpenSearch Service to power self-service issue resolution aws.amazon.com

RSS Hunter • 22 июн.

Знакомство с частными сетями для Amazon MQ для RabbitMQ

В этой статье мы объясним, как работает частная сеть для Amazon MQ для RabbitMQ, и рассмотрим процесс настройки. Независимо от того, защищаете ли вы частный поставщик удостоверений, федерализуете сообщения между брокерами или подключаетесь к самостоятельно размещенному RabbitMQ, ваш брокер теперь может достигать частных назначений, не раскрывая их публично.

Introducing Private Networking for Amazon MQ for RabbitMQ aws.amazon.com

RSS Hunter • 19 июн.

Разработка данных с помощью ИИ с Kiro и SageMaker Unified Studio

С помощью AWS Toolkit для Visual Studio Code вы можете напрямую подключать Kiro, VS Code или Cursor к Amazon SageMaker Unified Studio. В этой статье демонстрируется интеграция с использованием Kiro. Такое же удаленное подключение работает с VS Code и Cursor. В начале статьи показано, что вы можете делать с этой интеграцией: использовать естественный язык для исследования и анализа данных в управляемой среде. Затем мы подробно рассмотрим настройку, чтобы вы могли попробовать это самостоятельно.

AI-assisted data development with Kiro and SageMaker Unified Studio aws.amazon.com

RSS Hunter • 16 июн.

Модернизация Amazon Redshift: лучшие практики миграции с RA3 на RG

В этой статье вы узнаете, как перенести кластеры Amazon Redshift RA3 на экземпляры RG на базе Graviton. Мы сравним стратегии миграции Elastic Resize, Classic Resize и Snapshot/Restore, с ключевыми соображениями и лучшими практиками для обеспечения плавной миграции. Мы также предоставим рекомендации по сопоставлению RA3 с RG, чтобы помочь вам правильно подобрать размер вашего кластера.

Modernize Amazon Redshift: RA3 to RG Migration best practices aws.amazon.com

RSS Hunter • 16 июн.

Прямой доступ к файлам данных Amazon S3 с помощью разрешений AWS Lake Formation

В этой статье мы демонстрируем чтение и запись в управляемые Lake Formation расположения S3 с помощью заданий Apache Spark из EMR. Выдача учетных данных Lake Formation для доступа к расположениям S3 доступна в EMR версии 7.13 и выше, Boto3 версии 1.42.29 и выше, AWS Java SDK версии 2.41.32 и выше, а также в AWS Command Line Interface (AWS CLI) версии 2.33.1 и выше.

Access Amazon S3 data files directly using AWS Lake Formation permissions aws.amazon.com

RSS Hunter • 12 июн.

Создание ИИ-агента для покупок с использованием Amazon Bedrock AgentCore Runtime и Amazon OpenSearch Service

В этой статье мы рассмотрим, как создать ИИ-агента для онлайн-покупок. Мы сосредоточимся на его архитектуре и реализации с использованием Amazon OpenSearch Service, Amazon Bedrock AgentCore и Strands Agents. Amazon Bedrock AgentCore — это платформенное решение для агентов, предназначенное для безопасного развертывания и эксплуатации агентов и инструментов в больших масштабах без необходимости управления инфраструктурой.

Building AI shopping agent using Amazon Bedrock AgentCore Runtime and Amazon OpenSearch Service aws.amazon.com

RSS Hunter • 11 июн.

Выбор подходящего сервиса оркестрации рабочих процессов для вашего случая использования: Amazon MWAA и AWS Step Functions

В этой статье рассматривается, как выбрать подходящий сервис оркестрации рабочих процессов в зависимости от требований вашего конкретного случая использования. Мы изучим ключевые характеристики рабочих процессов, представим сценарии из реальной жизни и предоставим практические рекомендации, которые помогут вам принять обоснованное решение для ваших конкретных потребностей.

Choosing the right workflow orchestration service for your use case: Amazon MWAA and AWS Step Functions aws.amazon.com

RSS Hunter • 10 июн.

Репликация изменений в реальном времени (CDC) из Aurora PostgreSQL в таблицы Amazon S3 с использованием Debezium и Firehose

В этой статье мы покажем вам, как создать конвейер CDC, который доставляет готовые к запросам таблицы Iceberg напрямую. Конвейер захватывает вставки, обновления и удаления из Aurora PostgreSQL и применяет их как операции на уровне строк в таблицах Amazon S3, что является возможностью Amazon Simple Storage Service (Amazon S3).

Real-time CDC from Aurora PostgreSQL to Amazon S3 Tables using Debezium and Firehose aws.amazon.com

RSS Hunter • 10 июн.

За пределами JSON-блобов: Реализация типа данных VARIANT в Apache Iceberg V3

Этот пост — первая часть серии из двух частей. Мы рассмотрим основы: создание таблицы Iceberg V3 со столбцом VARIANT, вставку полуструктурированных данных и их запрос с помощью variant_get(). Во второй части мы масштабируемся до миллионов строк и сравним VARIANT с традиционным хранением строк. Мы измерим разницу в производительности запросов и объеме занимаемого места.

Beyond JSON blobs: Implementing the VARIANT data type in Apache Iceberg V3 aws.amazon.com

RSS Hunter • 9 июн.

Обновление PySpark с Spark 3.5 до Spark 4.0 с помощью AWS Spark Upgrade Agent

В этой статье мы подробно рассмотрим практическую миграцию PySpark с Spark 3.5 на Spark 4.0 на Amazon EMR Serverless с использованием AWS Spark Upgrade Agent. Вы увидите, как агент итеративно проверяет ваше приложение на реальном приложении Amazon EMR Serverless, автоматически диагностируя и устраняя сбои из журналов Amazon CloudWatch до тех пор, пока задание не будет успешно выполнено.

Upgrade PySpark from Spark 3.5 to Spark 4.0 with AWS Spark Upgrade Agent aws.amazon.com

RSS Hunter • 9 июн.

Анонс Spark Connect на Amazon EMR Serverless: Интерактивная разработка PySpark, где угодно

Сегодня AWS объявляет о поддержке Spark Connect на Amazon EMR Serverless с выпуском EMR 7.13 (Apache Spark 3.5.6) и более поздними версиями. Теперь вы можете создавать и отлаживать приложения Spark из предпочитаемой локальной среды, выполняя полномасштабные операции Spark на EMR Serverless.

Announcing Spark Connect on Amazon EMR Serverless: Interactive PySpark development, anywhere aws.amazon.com

RSS Hunter • 9 июн.

Создание stateful потоковых приложений с помощью Apache Spark 4.0 на Amazon EMR Serverless

В этой статье мы покажем, как создать готовое к эксплуатации решение для мониторинга IoT-устройств, используя API transformWithState Spark 4.0 на Amazon EMR Serverless. Этот пример демонстрирует ключевые возможности обработки потоков с сохранением состояния и предоставляет шаблон, который вы можете адаптировать для своих собственных сценариев использования.

Build stateful streaming applications with Apache Spark 4.0 on Amazon EMR Serverless aws.amazon.com

RSS Hunter • 9 июн.

Объявлено о всеобщей доступности Apache Spark 4.0 на Amazon EMR

С этим объявлением об общедоступности Spark 4.0 теперь поддерживается в бессерверных инстансах Amazon EMR, Amazon EMR на EC2 и Amazon EMR на EKS. В этой статье вы узнаете о ключевых возможностях Spark 4.0, доступных в Amazon EMR, включая Spark Connect, тип данных Variant, SQL-скриптинг, улучшения API Python и улучшения потоковой передачи, а также об изменениях в инфраструктуре в новом выпуске emr-spark-8.0.

Announcing general availability of Apache Spark 4.0 on Amazon EMR aws.amazon.com

RSS Hunter • 9 июн.

Снизьте затраты с помощью инкрементного выставления счетов за снимки для Amazon Redshift Serverless и Amazon Redshift RG

Начиная с 8 июня 2026 года, Amazon Redshift внедряет модель инкрементального биллинга снимков для Amazon Redshift Serverless и Amazon Redshift RG (подготовленные экземпляры на базе AWS Graviton). Благодаря этому усовершенствованию вы будете платить только за уникальные блоки данных в ваших активных ручных снимках в вашей учетной записи. Это обеспечивает значительную экономию затрат для клиентов, у которых есть несколько снимков, содержащих в основном идентичные блоки данных. В этой статье вы узнаете, как работает новая модель инкрементального биллинга снимков, какие сценарии использования она охватывает, и как она помогает оптимизировать затраты при одновременном улучшении вашей целевой точки восстановления (RPO).

Unlock cost savings with incremental snapshot billing for Amazon Redshift Serverless and Amazon Redshift RG aws.amazon.com

RSS Hunter • 8 июн.

Мигрируйте JMS-приложения на Amazon MQ для RabbitMQ с минимальными изменениями

В этой статье показано, как перенести ваши JMS-приложения, и подробно описана полная настройка: от создания брокера до отправки и получения сообщений. Вы также увидите реальный сценарий: миграцию существующей рабочей нагрузки Apache ActiveMQ на брокер Amazon MQ под управлением RabbitMQ. В статье рассматриваются изменения конфигурации, мониторинг с помощью Amazon CloudWatch и шаги проверки, чтобы убедиться в успешности вашей миграции.

Migrate JMS applications to Amazon MQ for RabbitMQ with minimal changes aws.amazon.com

RSS Hunter • 8 июн.

Запрос в Amazon Redshift с использованием естественного языка с помощью Kiro

В этой статье вы узнаете, как настроить Kiro с сервером Amazon Redshift MCP для запроса вашего хранилища данных на естественном языке. Вы изучите обнаружение кластеров, просмотр схем, аналитические запросы, межкластерные сравнения и проверки качества данных, и все это без необходимости писать SQL с нуля или переключаться между инструментами.

Query Amazon Redshift using natural language with Kiro aws.amazon.com

RSS Hunter • 4 июн.

Создайте панели управления для Amazon SageMaker Catalog с помощью Amazon Quick

В предыдущем посте мы показали, как запрашивать метаданные Amazon SageMaker Catalog с помощью SQL, используя функцию экспорта метаданных. Этот пост развивает эту основу, демонстрируя, как создавать панели управления для управления данными с помощью Amazon Quick.

Build governance dashboards for Amazon SageMaker Catalog with Amazon Quick aws.amazon.com

RSS Hunter • 4 июн.

Ускорьте разработку SQL с помощью SageMaker Data Agent в Query Editor

В этом посте вы узнаете, как использовать Data Agent в Query Editor для исследования данных, построения многоэтапных анализов, восстановления после ошибок и обобщения результатов с использованием общедоступного набора данных по образованию.

Accelerate SQL development with SageMaker Data Agent in Query Editor aws.amazon.com

RSS Hunter • 4 июн.

Планирование запусков блокнотов в Amazon SageMaker Unified Studio

В этой статье мы расскажем о новых возможностях планирования и оркестрации для ноутбуков в Amazon SageMaker Unified Studio.

Schedule notebook runs in Amazon SageMaker Unified Studio aws.amazon.com

RSS Hunter • 3 июн.

Сервис Amazon OpenSearch: Механизмы защиты вашего домена

В этой статье представлен обзор механизмов безопасности, доступных для Amazon OpenSearch Service, охватывающих аутентификацию и авторизацию, шифрование и средства контроля сетевого доступа. Вы узнаете, как реализовать детальный контроль доступа, управлять ролями AWS Identity and Access Management (IAM) и обеспечивать безопасность данных как при передаче, так и в состоянии покоя для доменов с публичным доступом и доступом через виртуальное частное облако (VPC).

Amazon OpenSearch Service: Mechanisms to secure your domain aws.amazon.com

RSS Hunter • 3 июн.

Захват происхождения данных заданий Amazon EMR Spark в Amazon SageMaker Unified Studio

В этой статье вы найдете практический пошаговый пример, демонстрирующий, как собирать и отслеживать происхождение данных из заданий Spark, выполняемых на Amazon EMR, непосредственно в Amazon SageMaker Catalog с использованием OpenLineage. Вы увидите, как метаданные происхождения данных передаются автоматически, и изучите взаимосвязи и зависимости данных в ваших рабочих процессах в Amazon SageMaker Unified Studio.

Capture data lineage of Amazon EMR spark jobs into Amazon SageMaker Unified Studio aws.amazon.com

RSS Hunter • 1 июн.

Amazon OpenSearch Serverless нового поколения: создано с нуля для агентов

Сегодня мы анонсируем полную переработку архитектуры Amazon OpenSearch Serverless, которая обеспечивает до 20 раз более быстрое автоматическое масштабирование, масштабирование до нуля и до 60% более низкую стоимость, чем при выделении кластеров для пиковой нагрузки. Amazon OpenSearch Service — это полностью управляемая поисковая система с открытым исходным кодом, которая объединяет векторный, лексический, гибридный и агентный поиск, обеспечивая низкую задержку, точные и релевантные результаты. Amazon OpenSearch Serverless — это опция автоматического масштабирования развертывания. Новая архитектура отделяет вычисления от хранилища. Сервис предоставляет инфраструктуру за секунды, а не минуты, и масштабирует вычисления до нуля, когда ваше приложение простаивает. В этой статье мы рассмотрим новую архитектуру, что она означает для ваших приложений и как начать работу с практическим руководством.

The next generation of Amazon OpenSearch Serverless: Built from the ground up for agents aws.amazon.com

RSS Hunter • 28 мая

Как Buildkite обрабатывает аналитику тестов в огромных масштабах с помощью Amazon MSK и Amazon Managed Service for Apache Flink

В этой статье мы рассмотрим, как Buildkite использует Amazon Managed Streaming for Apache Kafka (Amazon MSK) и Amazon Managed Service for Apache Flink для масштабирования потоковой аналитической архитектуры Test Engine.

How Buildkite Operates Test Analytics at Massive Scale with Amazon MSK and Amazon Managed Service for Apache Flink aws.amazon.com

RSS Hunter • 27 мая