더 빠르고 비용 효율적인 데이터 통합을 위한 AWS Glue 6.0 소개

AWS Glue 6.0이 출시되어 AWS Glue 가격을 30% 인하하고, Apache Spark 4.1의 AWS 최적화 빌드를 추가했으며, 엔터프라이즈 채택에 적합한 Apache Iceberg V3 기능을 도입했습니다. 이 게시물에서는 주요 기능과 성능 이점을 다루고, 시작하는 데 도움이 되는 코드 예제를 제공합니다.

Introducing AWS Glue 6.0 for faster and more cost-effective data integration aws.amazon.com

+1

RSS Hunter • 어제

AI 기반 Spark 업그레이드를 통해 AWS Glue 작업을 Glue 6.0으로 업그레이드

Apache Spark를 위한 생성형 AI 업그레이드를 사용하여 AWS Glue 5.1에서 AWS Glue 6.0으로 PySpark ETL 작업을 업그레이드하는 과정을 살펴보세요. 업그레이드 분석은 비호환성을 자동으로 감지하고, 수정을 적용하며, 데이터 품질 검사를 통해 결과를 검증합니다.

Upgrade AWS Glue jobs to Glue 6.0 with AI-powered Spark upgrades aws.amazon.com

+1

RSS Hunter • 어제

Amazon S3 테이블을 사용한 Amazon Redshift의 장기 시스템 테이블 보존

Amazon Redshift 시스템 테이블 통합은 Amazon S3 테이블에 Apache Iceberg 형식으로 시스템 테이블 로그를 자동으로 전달합니다. 맞춤형 ETL 파이프라인이나 클러스터 리소스 소비 없이도 규정 준수, 감사 및 크로스 웨어하우스 가시성을 위해 7일 제한을 훨씬 초과하여 이 데이터를 보존할 수 있습니다.

Long-term system tables retention in Amazon Redshift with Amazon S3 Tables aws.amazon.com

+1

RSS Hunter • 8월 20일

SageMaker Unified Studio 프로젝트 비용을 사용자 지정 태그 및 AWS CUR로 추적

사용자 지정 태그를 사용하여 Amazon SageMaker Unified Studio 프로젝트 비용을 추적하는 방법을 알아보세요. 이 서버리스 솔루션은 사용자 지정 프로젝트 태그로 AWS Cost and Usage Report(CUR) 데이터를 강화하고 Amazon Quick Sight 대시보드에서 CostCenter, Team 또는 Environment별로 비용을 시각화합니다.

Track SageMaker Unified Studio project costs with custom tags and AWS CUR aws.amazon.com

+1

RSS Hunter • 8월 20일

SAML 및 조건부 정책으로 SageMaker Unified Studio 액세스 보안 강화

Okta와 같은 외부 SAML ID 공급자와 통합하여 Amazon SageMaker Unified Studio를 안전하게 보호하는 방법을 알아보세요. 이 게시물에서는 데이터 및 AI 워크로드에 대한 장치 규정 준수, IP 기반 제한 및 다단계 인증을 시행하는 조건부 액세스 정책을 적용하는 방법을 보여줍니다.

Secure SageMaker Unified Studio access with SAML and conditional policies aws.amazon.com

+1

RSS Hunter • 8월 19일

Amazon OpenSearch Service의 최적화된 엔진을 사용하여 SQL 및 PPL로 원시 로그 데이터를 쿼리

Amazon OpenSearch Service에서 PPL과 SQL을 사용하여 원시 로그 및 추적 데이터에 대해 직접 빠른 분석 쿼리를 실행하는 방법을 알아보세요. 단일 인시던트 조사를 쿼리별로 따라가면서 새로운 최적화된 엔진이 각 질문에 원시 스팬에서 직접 응답하는 것을 확인하세요.

Querying raw log data using SQL and PPL with the optimized engine in Amazon OpenSearch Service aws.amazon.com

+1

RSS Hunter • 8월 18일

더 신선한 통찰력, 더 빠른 결정: AWS 및 Google Cloud 전반에 걸친 talabat의 거의 실시간 분석

중동 및 북아프리카 지역의 선도적인 일상 앱인 talabat은 Amazon S3 Tables에 스트리밍 데이터의 단일 Apache Iceberg 복사본을 유지하면서 Google BigQuery가 이를 제자리에서 쿼리할 수 있도록 하여 클라우드 간 데이터 중복 및 스키마 동기화 오버헤드를 제거하는 하이브리드 멀티 클라우드 레이크하우스를 구축했습니다.

Fresher insights, faster decisions: talabat’s near-real-time analytics across AWS and Google Cloud aws.amazon.com

+1

RSS Hunter • 8월 18일

AWS에서 실시간 스트리밍 데이터로 에이전트 AI에 동력을 공급

Agentic AI 애플리케이션은 이제 프로덕션 환경에서 스트리밍 데이터를 관찰하고, 추론하며, 이에 기반하여 행동합니다. 본 게시물은 agentic AI 시대를 위한 통합 스트리밍 백본을 구성하는 세 가지 아키텍처 패턴을 제시합니다: 실시간 추론을 포함한 스트리밍 피처 엔지니어링, 이벤트 기반 에이전트 호출, 실시간 컨텍스트 동기화.

Powering agentic AI with real-time streaming data on AWS aws.amazon.com

+1

RSS Hunter • 8월 18일

Amazon MSK는 맞춤형 도메인 이름 설정을 간소화합니다

Amazon MSK를 사용하면 ZooKeeper와 KRaft 모두에서 동일하게 작동하는 단일 구성 속성을 사용하여 프로비저닝된 클러스터에 대한 사용자 지정 도메인 이름을 구성할 수 있습니다. 도메인을 한 번 정의하면 Amazon MSK가 클러스터의 모든 브로커에 적용하므로 클러스터가 확장될 때 사용자 지정 도메인 이름이 계속 작동합니다.

Amazon MSK simplifies configuring custom domain names aws.amazon.com

+1

RSS Hunter • 8월 18일

Zepto가 OpenSearch Service OR2 인스턴스를 사용하여 초당 미만의 검색을 지원하는 방법

인도의 빠르게 성장하는 퀵커머스 플랫폼인 Zepto가 수백 개의 배송 허브에 걸쳐 초당 미만(sub-second)의 상품 검색을 확장하기 위해 Amazon OpenSearch Service를 OpenSearch Optimized (OR2) 인스턴스로 마이그레이션하여, 동일한 워크로드를 3분의 2의 데이터 노드로 처리하면서 인덱싱 처리량 100% 이상 향상 및 비용 30% 절감을 달성한 방법을 알아보세요.

How Zepto powers sub-second search using OpenSearch Service OR2 instances aws.amazon.com

+1

RSS Hunter • 8월 17일

Amazon MQ for RabbitMQ를 위한 OAuth 2.0을 이용한 IAM 인증

IAM 인증과 OAuth 2.0을 사용하면 클라이언트는 정적인 브로커 로컬 자격 증명 대신 기존 IAM ID를 사용하여 Amazon MQ for RabbitMQ에 연결할 수 있습니다. 이 게시물에서는 AWS IAM을 OAuth 2.0 공급자로 사용하는 데 필요한 주요 rabbitmq.conf 구성을 다루고, IAM 역할 및 브로커 범위 별칭으로 적용되는 vhost 격리를 포함하는 멀티 테넌트 예제를 보여줍니다.

IAM authentication with OAuth 2.0 for Amazon MQ for RabbitMQ aws.amazon.com

+1

RSS Hunter • 8월 17일

Amazon MQ for RabbitMQ용 OAuth 2.0, LDAP 및 HTTP 인증

Amazon MQ for RabbitMQ는 OAuth 2.0, LDAP 및 HTTP 기반 인증 백엔드를 지원하므로 이미 사용 중인 ID 인프라에 브로커를 연결할 수 있습니다. 이 게시물에서는 각 접근 방식이 어떻게 작동하는지 설명하고 사용 사례에 가장 적합한 것을 결정하는 데 도움을 드립니다.

OAuth 2.0, LDAP, and HTTP auth for Amazon MQ for RabbitMQ aws.amazon.com

+1

RSS Hunter • 8월 17일

Amazon MQ for RabbitMQ를 위한 상호 TLS 및 SSL 인증서 인증

Amazon MQ for RabbitMQ에 인증서 기반 ID 확인을 추가하는 방법을 알아보세요. 이 게시물에서는 EXTERNAL SASL 메커니즘을 통한 암호 없는 로그인에 대한 SSL 인증서 인증 및 양방향 인증서 확인을 위한 상호 TLS(mTLS)를 설명하고, 주요 rabbitmq.conf 설정을 강조하며, 규정 준수 요구 사항에 맞는 접근 방식을 결정하는 데 도움을 줍니다.

Mutual TLS and SSL certificate authentication for Amazon MQ for RabbitMQ aws.amazon.com

+1

RSS Hunter • 8월 17일

Amazon MQ for RabbitMQ의 인증 및 권한 부여 옵션

Amazon MQ for RabbitMQ는 여러 인증 및 권한 부여 방법을 지원하므로 기존에 사용 중인 ID 인프라에 브로커를 연결할 수 있습니다. 이 게시물에서는 사용 가능한 옵션을 소개하고 사용 사례에 적합한 옵션을 선택하는 데 도움을 드립니다.

Authentication and authorization options for Amazon MQ for RabbitMQ aws.amazon.com

+1

RSS Hunter • 8월 17일

NaranjaX는 IDP에서 AWS RAM 및 Route 53을 사용하여 여러 계정의 여러 Amazon MSK Serverless 클러스터를 관리합니다.

NaranjaX가 AWS Resource Access Manager와 Amazon Route 53 Resolver를 사용하여 Amazon MSK Serverless를 위한 교차 계정, 다대다 연결 모델을 구축한 방법을 알아보세요. 이를 통해 40개 이상의 AWS 계정에 걸쳐 있는 팀들이 중앙 집중식 내부 개발 플랫폼에서 이벤트 기반 아키텍처를 채택할 수 있습니다.

NaranjaX manages multiple Amazon MSK Serverless clusters in different accounts from their IDP using AWS RAM and Route 53 aws.amazon.com

+1

RSS Hunter • 8월 17일

Autodesk가 Migration Assistant와 지능형 라우팅을 사용하여 23억 개의 문서를 Amazon OpenSearch Service로 마이그레이션한 방법

이 게시물은 Amazon OpenSearch Service의 단일 인덱스 Elasticsearch 7.1.1 도메인을 네 개의 멀티 인덱스 OpenSearch Service 도메인으로 재아키텍처링하는 과정을 Amazon OpenSearch Service용 마이그레이션 도우미와 각 쿼리를 해당 쿼리의 데이터를 보유한 샤드로 안내하는 라우팅 계층을 사용하여 설명합니다.

How Autodesk migrated 2.3 billion documents to Amazon OpenSearch Service using Migration Assistant and intelligent routing aws.amazon.com

+1

RSS Hunter • 8월 14일

Amazon OpenSearch Service에서 블레임 그래프를 사용하여 연쇄적인 결정 실패를 추적

여러 AI 에이전트가 협력하여 의사결정을 내렸는데 잘못되었을 경우, 표준 로그로는 어떤 에이전트가 원인인지 알 수 없습니다. 이 게시물에서는 에이전트 간의 영향을 측정하고 실패한 결정에서 거슬러 올라가 근본 원인을 찾는 방법을 Amazon OpenSearch Service와 Amazon Bedrock을 사용하여 블레임 그래프를 구축하는 방법을 보여줍니다.

Trace cascading decision failures with a blame graph on Amazon OpenSearch Service aws.amazon.com

+1

RSS Hunter • 8월 14일

AppFolio가 Amazon MSK Express 브로커로 데이터 스트리밍 아키텍처를 혁신한 방법

AppFolio가 Amazon MSK Express 브로커를 채택하여 데이터 스트리밍 아키텍처를 어떻게 혁신했는지 알아보세요. 몇 시간씩 걸리던 재조정 및 수동 스토리지 계획을 워크로드 격리 클러스터 전반에 걸쳐 자동 확장되는 플랫폼으로 대체했습니다.

How AppFolio transformed its data streaming architecture with Amazon MSK Express brokers aws.amazon.com

+1

RSS Hunter • 8월 13일

Amazon OpenSearch Service에서 GPU 가속이 수십억 규모의 벡터 인덱스를 구축하는 방법

Amazon OpenSearch Service 및 OpenSearch Serverless의 GPU 가속 벡터(k-NN) 인덱싱을 통해 수십억 개의 벡터 인덱스를 수일이 아닌 수 시간 내에 구축할 수 있습니다. 이 게시물에서는 분리된 GPU 아키텍처, CAGRA-to-HNSW 변환, 10억 개 벡터 벤치마크 및 프로덕션을 위한 운영 모범 사례에 대해 심층적으로 다룹니다.

How GPU acceleration builds billion-scale vector indexes on Amazon OpenSearch Service aws.amazon.com

+1

RSS Hunter • 8월 11일

100개 이상의 AWS 계정에 대한 중앙 집중식 CloudTrail 모니터링

Terraform으로 전체 스택을 관리하면서 Amazon OpenSearch Service에서 중앙 집중식 AWS CloudTrail 모니터링 솔루션을 구축하는 방법을 알아보세요. 이 솔루션은 100개 이상의 계정에서 하루 200GB의 로그를 처리하고, 자동화된 위협 탐지를 제공하며, 주문형 SOC 2, PCI DSS 및 HIPAA 규정 준수 보고서를 제공하고, 네 개의 팀에 격리된 액세스를 제공합니다.

Centralized CloudTrail monitoring across 100+ AWS accounts aws.amazon.com

+1

RSS Hunter • 8월 11일

Epic Games 팀이 Fortnite 분석을 위해 Amazon OpenSearch Service를 튜닝한 방법

Fortnite 분석을 위해 Epic Games 팀이 Amazon OpenSearch Service 클러스터를 어떻게 튜닝했는지 알아보세요. 이 게시물은 Epic Games가 AWS와 협력하여 인스턴스 크기를 조정하고, 샤드를 재조정하고, 인덱스 매핑을 최적화하고, 엔진 및 Graviton 버전을 업그레이드하여 쿼리 지연 시간과 처리량을 개선하면서 비용을 절감한 방법을 자세히 설명합니다.

How a team at Epic Games tuned Amazon OpenSearch Service for Fortnite analytics aws.amazon.com

+1

RSS Hunter • 8월 10일

Amazon Kinesis Data Streams를 위한 AI 기반 비용 최적화 에이전트

Amazon Bedrock 기반의 오픈 소스 AI 기반 에이전트를 배포하는 방법을 알아보세요. 이 에이전트는 계정 내의 모든 Amazon Kinesis Data Streams 스트림을 자동으로 분석하고, 세 가지 용량 모드 간의 비용을 비교하며, 선택한 일정에 따라 스트리밍 비용을 60% 이상 절감하는 데 도움이 되는 최적의 모드를 추천합니다.

AI-powered cost optimization agent for Amazon Kinesis Data Streams aws.amazon.com

+1

RSS Hunter • 8월 10일

Amazon OpenSearch Service, 버전 수명 주기 지원 기간 연장

2024년 11월, Amazon OpenSearch Service의 레거시 Elasticsearch 및 OpenSearch 버전에 대한 표준 및 확장 지원 날짜를 발표했습니다. 이러한 버전에 대한 보안 및 운영 체제 패치 적용 범위를 12개월 연장하여 2027년 11월 7일까지 제공하며, 추가 Elasticsearch 및 OpenSearch 버전에 대한 지원 날짜를 발표합니다.

Amazon OpenSearch Service extends version lifecycle support timelines aws.amazon.com

+1

RSS Hunter • 8월 7일

SageMaker Unified Studio와 AWS Lake Formation을 사용하여 엔터프라이즈 레이크하우스의 세분화된 액세스 제어 확장

비즈니스 도메인 및 지역에 걸쳐 수천 개의 테이블로 엔터프라이즈 레이크하우스가 확장됨에 따라 세분화된 액세스 제어는 거버넌스 병목 현상이 됩니다. 이 게시물은 AWS IAM Identity Center, AWS Lake Formation 태그 기반 액세스 제어 및 Amazon SageMaker Unified Studio의 신뢰할 수 있는 ID 전파를 결합하여 자동화되고 감사 가능하며 최소 권한 액세스를 구현하는 방법을 보여줍니다.

Scaling fine-grained access control for enterprise lakehouse using SageMaker Unified Studio and AWS Lake Formation aws.amazon.com

+1

RSS Hunter • 8월 6일

Amazon MWAA와 Airflow 3.0을 이용한 이벤트 기반 파이프라인 오케스트레이션

여러 AWS 계정에서 Apache Airflow를 운영하는 데이터 엔지니어링 팀은 별도의 Amazon MWAA 환경 간 워크플로우를 조정할 수 있는 내장 기능이 없습니다. Amazon MWAA의 Airflow 3.0을 사용하면 에셋 기반 스케줄링과 Amazon SQS를 사용한 에셋 워처를 활용하여 이벤트 기반의 교차 계정 오케스트레이션을 구축할 수 있으며, 이는 폴링을 거의 실시간 트리거로 대체합니다.

Event-driven pipeline orchestration with Amazon MWAA and Airflow 3.0 aws.amazon.com

+1

RSS Hunter • 8월 6일

Delivery Hero의 검색 혁신: OpenSearch Service로의 마이그레이션 여정과 Radial Search

이 게시물에서는 Delivery Hero가 시맨틱 검색 인프라를 Amazon OpenSearch Service로 마이그레이션한 과정, 기존 k-최근접 이웃(k-NN) 검색 대신 방사형 검색을 선택한 이유, 그리고 시스템을 빠르고 비용 효율적이며 실험에 유연하게 만든 최적화에 대해 살펴봅니다.

Transforming search at Delivery Hero: A migration journey to OpenSearch Service with radial search aws.amazon.com

+1

RSS Hunter • 8월 4일

아마존 레드시프트 다중 지역 재해 복구

이 게시물에서는 크로스 리전 재해 복구의 핵심 개념을 살펴보고, 요구 사항 평가를 위한 프레임워크를 소개한 다음, Amazon Redshift에 대한 세 가지 주요 DR 전략인 Active-Passive, Active-Active 및 하이브리드 접근 방식을 자세히 살펴봅니다. 각 전략에 대해 아키텍처, 장단점, 구현 지침 및 비용 고려 사항을 다루어 워크로드에 대한 정보에 입각한 결정을 내릴 수 있도록 합니다.

Amazon Redshift multi-Region disaster recovery aws.amazon.com

+1

RSS Hunter • 8월 3일

Amazon MSK용 Agent Skills로 Apache Kafka 클러스터 운영 및 마이그레이션을 간소화하세요

Amazon MSK용 Agent Skills는 Apache Kafka 클러스터를 운영하고 마이그레이션하는 데 브로커 유형을 인지하는 전문 지식을 제공합니다. 이 게시물에서는 managing-amazon-msk 및 migrate-to-msk 스킬을 설치하고, 성능 문제를 진단하고, 비용 분석을 통해 클러스터를 크기 조정하고, 자체 관리 Kafka에서 Amazon MSK로의 마이그레이션을 계획하는 방법을 보여줍니다.

Streamline Apache Kafka cluster operations and migrations with Agent Skills for Amazon MSK aws.amazon.com

+1

RSS Hunter • 8월 3일

Amazon EMR on EKS를 위한 Apache Spark 문제 해결 에이전트 소개

이 게시물에서는 Amazon EKS에서 Amazon EMR 에이전트를 설정하는 방법을 보여주고 실패한 작업 실행을 문제 해결하는 과정을 안내합니다. Amazon EMR 콘솔과 AI 어시스턴트 모두에서 워크플로우를 시연하며, AI 어시스턴트를 외부 도구 및 데이터에 연결하기 위한 개방형 표준인 Model Context Protocol(MCP)을 지원합니다.

Introducing Apache Spark troubleshooting agent for Amazon EMR on EKS aws.amazon.com

+1

RSS Hunter • 8월 3일

Amazon Redshift DC2 클러스터를 새로운 Amazon Redshift RG로 업그레이드

Amazon Redshift DC2 클러스터를 AWS Graviton 기반 RG 인스턴스로 업그레이드하면 관리형 스토리지, 데이터 공유, 제로 ETL 및

Upgrade Amazon Redshift DC2 clusters to the new Amazon Redshift RG aws.amazon.com

+1

RSS Hunter • 8월 3일

Amazon MSK Express 브로커를 사용하여 Apache Iceberg의 스트리밍 테이블로 Apache Kafka 데이터를 전달

Amazon MSK Express 브로커에 대한 Apache Iceberg 스트리밍 테이블로의 제공을 발표합니다. 이는 Amazon S3 테이블에 쿼리 가능한 Iceberg 테이블로 Kafka 스트리밍 데이터를 지속적으로 구현하는 완전 관리형 기능입니다. 관리할 커넥터, Flink 작업 또는 사용자 지정 소비자 없이 코드를 작성할 필요가 없습니다.

Deliver Apache Kafka data to streaming tables for Apache Iceberg with Amazon MSK Express brokers aws.amazon.com

+1

RSS Hunter • 7월 30일

EMR Spark 작업에서 AWS KMS 복호화 API 비용 절감

Amazon EMR 및 Apache Spark를 사용하여 Amazon S3에서 암호화된 데이터를 처리하면 객체 수가 증가함에 따라 AWS KMS 복호화 API 비용이 증가할 수 있습니다. 이 게시물에서는 암호화를 손상시키지 않고 해당 비용을 절감하는 세 가지 기법을 보여줍니다. 파일 형식 최적화(Apache Iceberg 포함), 데이터 집계, AWS Glue Data Catalog 파티션 인덱스 사용입니다.

Lowering AWS KMS decrypt API costs in EMR Spark jobs aws.amazon.com

+1

RSS Hunter • 7월 30일

더 큰 워커와 셔플 최적화 디스크로 EMR Serverless에서 Spark 가속화

Amazon EMR Serverless가 이제 가장 까다로운 Spark 작업에 대해 32 vCPU / 244 GB 워커 구성을 지원합니다. 126개의 TPC-DS 및 TPC-H 쿼리 전반에 걸쳐 더 큰 워커는 평균 29% 더 빠른 쿼리 실행과 29% 더 낮은 비용을 제공했으며, 가장 큰 성능 향상은 셔플 집약적이고 여러 테이블 조인 쿼리에서 나타났습니다.

Accelerate Spark on EMR Serverless with larger workers and shuffle-optimized disks aws.amazon.com

+1

RSS Hunter • 7월 29일

AWS Spark Upgrade Agent를 사용하여 Spark Scala 마이그레이션을 4.x로 자동화

AWS Spark Upgrade Agent를 사용하여 Amazon EMR에서 Apache Spark 3.x에서 4.0으로의 Scala 마이그레이션을 자동화하는 방법을 알아보세요. 이 게시물에서는 API 사용 중단, 동작 변경, 빌드 구성 업데이트 및 작업 유효성 검사를 다루며, 수개월의 수동 작업을 몇 시간으로 단축합니다.

Automate Spark Scala migration to 4.x with AWS Spark Upgrade Agent aws.amazon.com

+1

RSS Hunter • 7월 28일

Amazon OpenSearch를 사용하여 계약 준수 검색 시스템 구축

이 게시물에서는 Amazon OpenSearch Service에서 의미론적 검색과 의미론적 하이라이팅을 결합한 계약 준수 검색 시스템을 구축합니다. 두 개의 AWS CloudFormation 스택을 사용하여 솔루션을 배포하고, 합성 계약 문서로 테스트하며, 단일 쿼리가 올바른 계약과 그 안의 올바른 조항을 모두 어떻게 찾아내는지 확인합니다.

Build a contract compliance search system with Amazon OpenSearch aws.amazon.com

+1

RSS Hunter • 7월 28일

AWS에서 확장 가능한 개인 맞춤 추천 시스템 구축: 배치에서 실시간까지

Amazon MWAA를 사용한 오케스트레이션, Amazon SageMaker를 사용한 학습 및 벡터 검색, AWS Lake Formation을 사용한 거버넌스 데이터 액세스를 위한 배치 우선 아키텍처를 사용하여 AWS에서 확장 가능한 개인화 추천 플랫폼을 구축한 Everyday Essentials 팀의 경험을 알아보세요. 그런 다음 Amazon MemoryDB를 사용하여 실시간으로 확장했습니다.

Building a scalable personalized recommendation system on AWS: From batch to real-time aws.amazon.com

+1

RSS Hunter • 7월 27일

데이터 메시 사용 사례를 위한 AWS SDK를 사용하여 AWS Glue Data Catalog 뷰 생성을 자동화

이 게시물에서는 Catalog objects API의 CreateTable()을 사용하여 교차 계정 IAM definer 역할을 통해 프로그래밍 방식으로 ATHENA 및 SPARK 방언을 생성하는 방법과, 이전에 SPARK 방언으로만 생성된 뷰에 대해 프로그래밍 방식으로 ATHENA 방언을 추가하는 방법을 보여줍니다.

Automate creating AWS Glue Data Catalog views with AWS SDK for data mesh use case aws.amazon.com

+1

RSS Hunter • 7월 24일

Amazon OpenSearch Service 데이터 스트림을 이용한 효율적인 로그 관리

이 게시물에서는 Amazon OpenSearch Service에서 Index State Management(ISM)를 사용하여 데이터 스트림을 구현하는 방법을 보여줍니다. 이 접근 방식은 시계열 데이터 수명 주기를 자동으로 관리하고 성능과 비용을 모두 최적화합니다. 데이터 스트림은 들어오는 데이터를 여러 백업 인덱스에 분산시켜 단일 인덱스 병목 현상을 줄이는 데 도움이 되며, ISM 정책은 롤오버, 보존 및 스토리지 티어링을 자동화하여 비용 관리에 도움을 줍니다.

Efficient log management with Amazon OpenSearch Service data streams aws.amazon.com

+1

RSS Hunter • 7월 23일

Alight Solutions가 Amazon OpenSearch Service로 55%의 비용 절감을 달성한 방법

이 게시물에서는 Alight Solutions가 자체 관리형 Elasticsearch에서 Amazon OpenSearch Service로 마이그레이션한 방법을 공유합니다. 마이그레이션을 통해 비용을 55% 절감하고, 연간 약 2,000시간의 운영 오버헤드를 줄였으며, Alight는 이전에 우선순위를 두지 못했던 고급 관찰 가능성 기능에 액세스할 수 있게 되었습니다.

How Alight Solutions achieved 55% cost savings with Amazon OpenSearch Service aws.amazon.com

+1

RSS Hunter • 7월 20일

Amazon SageMaker Unified Studio를 사용하여 여러 계정에서 Amazon Redshift 데이터 웨어하우스를 관리합니다.

이 게시물에서는 Amazon SageMaker Unified Studio를 사용하여 데이터 메시 원칙에 따라 Amazon Redshift에서 교차 계정 데이터 공유를 구현하는 방법을 보여줍니다. 운영 부담을 줄이면서 AWS 계정 간의 안전하고 감사 가능한 데이터 공유를 지원하는 확장 가능한 데이터 메시 아키텍처를 구축하는 방법을 시연합니다.

Govern Amazon Redshift Data Warehouses Data Across Accounts using Amazon SageMaker Unified Studio aws.amazon.com

+1

RSS Hunter • 7월 20일

Apache Solr에서 Amazon OpenSearch Serverless로 마이그레이션

이 게시물에서는 OpenSearch Serverless의 운영 용이성과 네이티브 AI 기능을 활용하여 Solr에서 마이그레이션해야 하는 이유를 알아보겠습니다.

Migrate from Apache Solr to Amazon OpenSearch Serverless aws.amazon.com

+1

RSS Hunter • 7월 16일

Apache Celeborn을 이용한 Amazon EMR의 고성능 원격 셔플 서비스

이 게시물에서는 Apache Celeborn이 Amazon EMR on EKS 및 Amazon EMR on EC2의 이러한 절충점을 어떻게 해결하여 작업 안정성을 개선하고 추가 비용 절감을 달성하는지 보여줍니다.

High-performance Remote Shuffle Service on Amazon EMR with Apache Celeborn aws.amazon.com

+1

RSS Hunter • 7월 15일

AWS Glue Data Catalog의 Iceberg REST 엔드포인트를 사용하여 Salesforce Data 360에서 Amazon S3의 Apache Iceberg 테이블에 대한 Zero Copy 액세스

이 게시물에서는 AWS 및 Salesforce 고객이 제로 카피 파일 연합을 사용하여 Salesforce Data 360에서 AWS의 엔터프라이즈 데이터 레이크에 액세스하는 방법을 보여줍니다.

Zero Copy access to Apache Iceberg tables in Amazon S3 from Salesforce Data 360 using the Iceberg REST endpoint from AWS Glue Data Catalog aws.amazon.com

+1

RSS Hunter • 7월 15일

패치 완벽: Amazon Redshift 패치 테스트 자동화

이 게시물에서는 Amazon Redshift 클러스터를 패치, 재부팅 또는 수정 후에 자동으로 검증하는 자동화된 테스트 스위트를 시연합니다. 실제 워크로드 패턴에 대해 표준 드라이버를 사용하여 패치가 적용되는 것과 프로덕션에 도달하는 것 사이의 검증된 게이트를 제공합니다.

Patch perfect: Automating Amazon Redshift patch testing aws.amazon.com

+1

RSS Hunter • 7월 14일

AWS에서 에이전틱 AI를 위한 멀티 클라우드 레이크하우스 아키텍처, 파트 1: 아키텍처 및 모범 사례

이 게시물은 AWS에서 오픈 레이크하우스 아키텍처를 구축하기 위한 아키텍처 접근 방식을 설명하는 데 중점을 두며, AI 에이전트가 액세스할 수 있도록 공급업체 전반의 메타데이터 카탈로그를 통합합니다. 또한 아키텍처의 트레이드오프와 모범 사례를 강조합니다.

Multi-cloud lakehouse architecture on AWS for Agentic AI, Part 1: Architecture and best practices aws.amazon.com

+1

RSS Hunter • 7월 13일

Razorpay는 Amazon MSK를 사용하여 실시간 이상 탐지 시스템을 구축한 방법

이 게시물에서는 Amazon Managed Streaming for Apache Kafka(Amazon MSK) 및 기타 AWS 서비스를 사용하여 Razorpay의 이상 탐지 및 알림 플랫폼(ADA) 아키텍처를 살펴봅니다. Razorpay에 따르면 이 시스템은 30초 이내에 거래 이상을 탐지하고, 수천 개의 판매자 수준 알림을 지원하며, 모니터링 비용을 약 80% 절감했습니다. 이 플랫폼은 월 5억 건 이상의 거래에 대해 99.99%의 가동 시간을 유지합니다.

How Razorpay Built Real-Time Anomaly Detection with Amazon MSK aws.amazon.com

+1

RSS Hunter • 7월 13일

Amazon OpenSearch Service의 쓰기 가능한 웜 스토리지로 비용을 절감하고 운영을 간소화하세요

이 게시물에서는 쓰기 가능한 웜 스토리지(writable warm storage)가 비용이 많이 드는 마이그레이션 주기를 어떻게 제거하는지 보여드립니다. 인프라 비용을 최대 48%까지 절감하고 몇 시간 대신 몇 초 만에 기록 데이터를 업데이트할 수 있습니다. 실제 비용 비교 및 성능 벤치마크를 살펴보고 쓰기 가능한 웜 스토리지와 UltraWarm 중 언제 사용해야 할지 결정하는 데 도움을 드리겠습니다.

Cut costs and simplify operations with writable warm storage in Amazon OpenSearch Service aws.amazon.com

+1

RSS Hunter • 7월 8일

AWS Glue 인터랙티브 세션에서 Apache Spark Connect 지원 소개

Apache Spark Connect는 이 두 세계의 간극을 메웁니다. 즉, 로컬 Python에서 개발하지만 실제 데이터에 대해 AWS Glue에서 실행합니다. 오늘날 AWS Glue 대화형 세션은 Spark Connect를 네이티브로 지원합니다. VS Code, PyCharm, Amazon SageMaker Unified Studio 노트북 및 독립형 Python 애플리케이션을 포함하여 PySpark remote() API를 지원하는 모든 환경에서 연결할 수 있습니다. 전문 커널을 설치하거나 클러스터 인프라를 관리할 필요가 없습니다.

Introducing Apache Spark Connect support in AWS Glue interactive sessions aws.amazon.com

+1

RSS Hunter • 7월 7일

인도 전역의 번개처럼 빠른 식료품 배달을 지원하기 위해 BigBasket이 AWS에서 Iceberg 기반 레이크하우스 아키텍처를 활용하는 방법

이 게시물에서는 BigBasket이 AWS에서 레이크하우스 아키텍처를 구현한 방법, 아키텍처 결정, 구현 접근 방식, 그리고 유사한 현대화를 통해 기대할 수 있는 측정 가능한 비즈니스 결과를 보여줍니다. 확장성 문제에 직면했거나 자체 레이크하우스 구현을 계획 중이라면, 이 청사진은 조직에 적용할 수 있는 실행 가능한 통찰력을 제공합니다.

How BigBasket uses the Iceberg based lakehouse architecture on AWS to power lightning-fast grocery delivery across India aws.amazon.com

+1

RSS Hunter • 7월 6일

AWS Glue와 Apache Iceberg materialized views를 이용한 대규모 로그 분석 가속화

이 게시물에서는 Amazon CloudWatch Logs, AWS Lambda, Amazon Data Firehose, AWS Glue 및 Apache Iceberg materialized tables를 사용하여 프로덕션용 애플리케이션 로그 파이프라인을 구축하는 방법을 알아봅니다. 그런 다음 materialized views를 사용하여 쿼리 성능을 가속화합니다. 이 솔루션은 지속적인 데이터 레이크 새로 고침을 관리할 필요 없이 대규모 로그 데이터에 대한 쿼리 응답 시간을 단축하는 데 도움이 됩니다.

Accelerating log analytics at scale with AWS Glue and Apache Iceberg materialized views aws.amazon.com

+1

RSS Hunter • 7월 2일