AWS Big Data Blog 한국어 팔로우 이 사이트는 아마존의 클라우드 컴퓨팅 플랫폼인 AWS에서 제공합니다. '블로그'에서 최신 컴퓨팅, AI, 머신 러닝, 분석 및 기타 많은 주제에 대한 기사를 포함하는 인사이트를 찾을 수 있습니다. 특정 블로그는 또한 AWS에서 빅데이터에 대한 정보를 포함합니다. 방문객들은 AWS 고객, 스타트업, 과학 연구자, 교육 기관 및 기타 전문가들의 커뮤니티에서 인사이트를 찾을 수 있습니다. AWS Big Data Blog aws.amazon.com RSS aws.amazon.com
데이터 메시 사용 사례를 위한 AWS SDK를 사용하여 AWS Glue Data Catalog 뷰 생성을 자동화 이 게시물에서는 Catalog objects API의 CreateTable()을 사용하여 교차 계정 IAM definer 역할을 통해 프로그래밍 방식으로 ATHENA 및 SPARK 방언을 생성하는 방법과, 이전에 SPARK 방언으로만 생성된 뷰에 대해 프로그래밍 방식으로 ATHENA 방언을 추가하는 방법을 보여줍니다. Automate creating AWS Glue Data Catalog views with AWS SDK for data mesh use case aws.amazon.com
Amazon OpenSearch Service 데이터 스트림을 이용한 효율적인 로그 관리 이 게시물에서는 Amazon OpenSearch Service에서 Index State Management(ISM)를 사용하여 데이터 스트림을 구현하는 방법을 보여줍니다. 이 접근 방식은 시계열 데이터 수명 주기를 자동으로 관리하고 성능과 비용을 모두 최적화합니다. 데이터 스트림은 들어오는 데이터를 여러 백업 인덱스에 분산시켜 단일 인덱스 병목 현상을 줄이는 데 도움이 되며, ISM 정책은 롤오버, 보존 및 스토리지 티어링을 자동화하여 비용 관리에 도움을 줍니다. Efficient log management with Amazon OpenSearch Service data streams aws.amazon.com
Alight Solutions가 Amazon OpenSearch Service로 55%의 비용 절감을 달성한 방법 이 게시물에서는 Alight Solutions가 자체 관리형 Elasticsearch에서 Amazon OpenSearch Service로 마이그레이션한 방법을 공유합니다. 마이그레이션을 통해 비용을 55% 절감하고, 연간 약 2,000시간의 운영 오버헤드를 줄였으며, Alight는 이전에 우선순위를 두지 못했던 고급 관찰 가능성 기능에 액세스할 수 있게 되었습니다. How Alight Solutions achieved 55% cost savings with Amazon OpenSearch Service aws.amazon.com
Amazon SageMaker Unified Studio를 사용하여 여러 계정에서 Amazon Redshift 데이터 웨어하우스를 관리합니다. 이 게시물에서는 Amazon SageMaker Unified Studio를 사용하여 데이터 메시 원칙에 따라 Amazon Redshift에서 교차 계정 데이터 공유를 구현하는 방법을 보여줍니다. 운영 부담을 줄이면서 AWS 계정 간의 안전하고 감사 가능한 데이터 공유를 지원하는 확장 가능한 데이터 메시 아키텍처를 구축하는 방법을 시연합니다. Govern Amazon Redshift Data Warehouses Data Across Accounts using Amazon SageMaker Unified Studio aws.amazon.com
Apache Solr에서 Amazon OpenSearch Serverless로 마이그레이션 이 게시물에서는 OpenSearch Serverless의 운영 용이성과 네이티브 AI 기능을 활용하여 Solr에서 마이그레이션해야 하는 이유를 알아보겠습니다. Migrate from Apache Solr to Amazon OpenSearch Serverless aws.amazon.com
Apache Celeborn을 이용한 Amazon EMR의 고성능 원격 셔플 서비스 이 게시물에서는 Apache Celeborn이 Amazon EMR on EKS 및 Amazon EMR on EC2의 이러한 절충점을 어떻게 해결하여 작업 안정성을 개선하고 추가 비용 절감을 달성하는지 보여줍니다. High-performance Remote Shuffle Service on Amazon EMR with Apache Celeborn aws.amazon.com
AWS Glue Data Catalog의 Iceberg REST 엔드포인트를 사용하여 Salesforce Data 360에서 Amazon S3의 Apache Iceberg 테이블에 대한 Zero Copy 액세스 이 게시물에서는 AWS 및 Salesforce 고객이 제로 카피 파일 연합을 사용하여 Salesforce Data 360에서 AWS의 엔터프라이즈 데이터 레이크에 액세스하는 방법을 보여줍니다. Zero Copy access to Apache Iceberg tables in Amazon S3 from Salesforce Data 360 using the Iceberg REST endpoint from AWS Glue Data Catalog aws.amazon.com
패치 완벽: Amazon Redshift 패치 테스트 자동화 이 게시물에서는 Amazon Redshift 클러스터를 패치, 재부팅 또는 수정 후에 자동으로 검증하는 자동화된 테스트 스위트를 시연합니다. 실제 워크로드 패턴에 대해 표준 드라이버를 사용하여 패치가 적용되는 것과 프로덕션에 도달하는 것 사이의 검증된 게이트를 제공합니다. Patch perfect: Automating Amazon Redshift patch testing aws.amazon.com
AWS에서 에이전틱 AI를 위한 멀티 클라우드 레이크하우스 아키텍처, 파트 1: 아키텍처 및 모범 사례 이 게시물은 AWS에서 오픈 레이크하우스 아키텍처를 구축하기 위한 아키텍처 접근 방식을 설명하는 데 중점을 두며, AI 에이전트가 액세스할 수 있도록 공급업체 전반의 메타데이터 카탈로그를 통합합니다. 또한 아키텍처의 트레이드오프와 모범 사례를 강조합니다. Multi-cloud lakehouse architecture on AWS for Agentic AI, Part 1: Architecture and best practices aws.amazon.com
Razorpay는 Amazon MSK를 사용하여 실시간 이상 탐지 시스템을 구축한 방법 이 게시물에서는 Amazon Managed Streaming for Apache Kafka(Amazon MSK) 및 기타 AWS 서비스를 사용하여 Razorpay의 이상 탐지 및 알림 플랫폼(ADA) 아키텍처를 살펴봅니다. Razorpay에 따르면 이 시스템은 30초 이내에 거래 이상을 탐지하고, 수천 개의 판매자 수준 알림을 지원하며, 모니터링 비용을 약 80% 절감했습니다. 이 플랫폼은 월 5억 건 이상의 거래에 대해 99.99%의 가동 시간을 유지합니다. How Razorpay Built Real-Time Anomaly Detection with Amazon MSK aws.amazon.com
Amazon OpenSearch Service의 쓰기 가능한 웜 스토리지로 비용을 절감하고 운영을 간소화하세요 이 게시물에서는 쓰기 가능한 웜 스토리지(writable warm storage)가 비용이 많이 드는 마이그레이션 주기를 어떻게 제거하는지 보여드립니다. 인프라 비용을 최대 48%까지 절감하고 몇 시간 대신 몇 초 만에 기록 데이터를 업데이트할 수 있습니다. 실제 비용 비교 및 성능 벤치마크를 살펴보고 쓰기 가능한 웜 스토리지와 UltraWarm 중 언제 사용해야 할지 결정하는 데 도움을 드리겠습니다. Cut costs and simplify operations with writable warm storage in Amazon OpenSearch Service aws.amazon.com
AWS Glue 인터랙티브 세션에서 Apache Spark Connect 지원 소개 Apache Spark Connect는 이 두 세계의 간극을 메웁니다. 즉, 로컬 Python에서 개발하지만 실제 데이터에 대해 AWS Glue에서 실행합니다. 오늘날 AWS Glue 대화형 세션은 Spark Connect를 네이티브로 지원합니다. VS Code, PyCharm, Amazon SageMaker Unified Studio 노트북 및 독립형 Python 애플리케이션을 포함하여 PySpark remote() API를 지원하는 모든 환경에서 연결할 수 있습니다. 전문 커널을 설치하거나 클러스터 인프라를 관리할 필요가 없습니다. Introducing Apache Spark Connect support in AWS Glue interactive sessions aws.amazon.com
인도 전역의 번개처럼 빠른 식료품 배달을 지원하기 위해 BigBasket이 AWS에서 Iceberg 기반 레이크하우스 아키텍처를 활용하는 방법 이 게시물에서는 BigBasket이 AWS에서 레이크하우스 아키텍처를 구현한 방법, 아키텍처 결정, 구현 접근 방식, 그리고 유사한 현대화를 통해 기대할 수 있는 측정 가능한 비즈니스 결과를 보여줍니다. 확장성 문제에 직면했거나 자체 레이크하우스 구현을 계획 중이라면, 이 청사진은 조직에 적용할 수 있는 실행 가능한 통찰력을 제공합니다. How BigBasket uses the Iceberg based lakehouse architecture on AWS to power lightning-fast grocery delivery across India aws.amazon.com
AWS Glue와 Apache Iceberg materialized views를 이용한 대규모 로그 분석 가속화 이 게시물에서는 Amazon CloudWatch Logs, AWS Lambda, Amazon Data Firehose, AWS Glue 및 Apache Iceberg materialized tables를 사용하여 프로덕션용 애플리케이션 로그 파이프라인을 구축하는 방법을 알아봅니다. 그런 다음 materialized views를 사용하여 쿼리 성능을 가속화합니다. 이 솔루션은 지속적인 데이터 레이크 새로 고침을 관리할 필요 없이 대규모 로그 데이터에 대한 쿼리 응답 시간을 단축하는 데 도움이 됩니다. Accelerating log analytics at scale with AWS Glue and Apache Iceberg materialized views aws.amazon.com
Amazon Athena에서 Apache Spark 엔진을 사용한 서버리스 분석 파이프라인 이 게시물은 개발자, 데이터 엔지니어, 분석가가 Apache Spark를 사용하여 Athena의 보안 Spark Connect 엔드포인트에 연결하는 방법을 보여줍니다. 클러스터 수명 주기 또는 확장을 관리할 필요 없이 Jupyter 노트북, VS Code 또는 Apache Airflow와 함께 dbt와 같은 선호하는 도구를 사용할 수 있습니다. Serverless analytics pipelines using the Apache Spark engine in Amazon Athena aws.amazon.com
MDAA로 몇 분 안에 최신 데이터 플랫폼을 배포하세요 이 게시물에서는 MDAA가 구성 중심 인프라와 내장된 거버넌스를 통해 데이터 아키텍처 개발을 수개월의 수동 코딩에서 프로덕션 준비 배포로 어떻게 전환하는지 살펴보고, 실제 고객 사례를 검토하며, 자체 데이터 현대화 여정을 위한 명확한 구현 경로를 제공합니다. Deploy modern data platforms in minutes with MDAA aws.amazon.com
Amazon Redshift RG: 더 빠르고 저렴한 Graviton 기반 이 게시물에서는 RG 인스턴스를 훨씬 더 빠르게 만드는 혁신에 대해 설명합니다. 또한 RG가 다른 선도적인 데이터 웨어하우스보다 최대 4.2배 더 나은 가격 대비 성능을 제공한다는 벤치마크 결과를 공유합니다. Amazon Redshift RG: Faster and lower cost, Graviton-powered aws.amazon.com
Amazon OpenSearch Service의 새로운 엔진으로 비용의 일부만으로 로그 분석을 실행하세요 Amazon OpenSearch Service를 위한 목적 기반 로그 분석 엔진을 출시합니다. 이 새로운 엔진은 최대 4배의 가격 대비 성능, 2배 빠른 데이터 수집, 최대 2배 빠른 분석 쿼리, 그리고 최대 70% 낮은 스토리지 비용을 제공합니다. 동일한 데이터에 대한 검색 기능을 희생하지 않고 이 모든 것을 얻을 수 있습니다. 이 게시물에서는 이러한 이점을 활용하는 방법, 시작하는 방법, 그리고 10억 개 문서 규모에서의 벤치마크 결과를 검토하는 방법을 배웁니다. Run log analytics for a fraction of the cost with the new engine for Amazon OpenSearch Service aws.amazon.com
Amazon Redshift를 위한 AI 기반 성능 추천 이 게시물에서는 원격 측정 데이터를 수집하고, 성능 신호를 사전 계산하며, CloudWatch와 상관시키고, Amazon Bedrock을 사용하여 우선순위가 지정된 권장 사항을 생성하는 AI 기반 솔루션을 구축하는 방법을 배웁니다. AI-powered performance recommendations for Amazon Redshift aws.amazon.com
Amazon Redshift 멀티 웨어하우스 강화 기능으로 분석 규모 확장 이 게시물에서는 Amazon Redshift의 새로운 기능들을 소개합니다. 이 기능들은 저희의 멀티 웨어하우스 및 확장 기능을 강화합니다. 원격 머티리얼라이즈드 뷰(MV) 작업, 원격 테이블 DDL 지원, 그리고 제로 ETL 및 S3 이벤트 통합을 위한 동시성 확장 기능이 그것입니다. 이러한 기능들은 Amazon Redshift에서 더욱 확장 가능하고 성능이 뛰어난 분산 분석 아키텍처를 구축하는 데 도움이 됩니다. Scale analytics with Amazon Redshift multi-warehouse enhancements aws.amazon.com
Amazon Redshift는 BI 대시보드 및 실시간 분석에 대해 더 빠른 성능을 제공합니다. 오늘, Amazon Redshift의 새로운 성능 최적화를 발표하게 되어 기쁩니다. 이 최적화는 실시간 분석 애플리케이션이나 BI 대시보드에서 생성되는 것과 같은 저지연 SQL 쿼리의 응답 시간을 개선합니다. 이 개선을 통해 Amazon Redshift가 SQL 쿼리를 실행 준비하는 데 소요되는 시간을 줄여 쿼리 지연 시간을 개선할 수 있습니다. SQL 쿼리가 더 빨리 시작되므로 결과를 더 빠르게 반환합니다. Amazon Redshift delivers faster performance for BI dashboards and real-time analytics aws.amazon.com
Amazon Redshift Serverless와 Tableau 통합 최적화 이 게시물에서는 Tableau의 관계형 데이터 모델과 Amazon Redshift Serverless 아키텍처를 사용하여 모든 Redshift Processing Unit(RPU)을 최대한 활용하면서 초당 응답 속도의 인사이트를 제공하는 방법에 대한 가이드를 제공합니다. 또한 최적의 쿼리 성능을 위한 데이터 모델 아키텍처, 보안 구성 및 액세스 제어, 스마트 구성을 통한 성능 최적화, 비용 관리 전략, 쿼리 및 조인 최적화 기법의 다섯 가지 주요 영역에 대한 지침을 제공합니다. Optimize your Tableau integration with Amazon Redshift Serverless aws.amazon.com
Amazon OpenSearch Serverless 차세대 기능으로 멀티 테넌트 검색 구현 이 게시물에서는 차세대 OpenSearch Serverless 아키텍처가 멀티 테넌트 검색을 위해 테넌트별 컬렉션 모델을 실용적으로 만드는 방법을 보여줍니다. Implement multi-tenant search with Amazon OpenSearch Serverless next generation aws.amazon.com
Amazon Redshift 및 S3 테이블에 대한 다중 리전 ID 기반 액세스 이 시리즈의 1부에서는 Amazon S3 Access Grants와 Amazon Redshift 통합을 사용하여 엔터프라이즈 데이터 액세스를 간소화하는 방법을 보여드렸습니다. 이 게시물에서는 해당 솔루션을 AWS 리전 전반으로 확장합니다. 글로벌 운영을 하는 조직이 AWS IAM Identity Center Multi-Region을 사용하여 리전 전반의 Amazon Redshift 및 Amazon S3 Tables에 대한 일관된 ID 기반 액세스를 설정하는 방법을 설명하기 위해 가상의 회사인 AnyCompany Global을 소개합니다. Multi-Region identity-based access to Amazon Redshift and S3 Tables aws.amazon.com
AWS DevOps Agent 및 Apache Spark Troubleshooting Agent를 이용한 메달리온 아키텍처의 자율 문제 해결 이 게시물에서는 Apache Spark Troubleshooting Agent를 MCP 서버로 통합한 AWS DevOps Agent를 사용하여 수 분 내에 다층 메달리온 아키텍처 파이프라인 오류를 진단하는 방법을 보여줍니다. Autonomous troubleshooting for Medallion Architecture with AWS DevOps Agent and Apache Spark Troubleshooting Agent aws.amazon.com
톰볼라가 Amazon Redshift에 Graviton 기반 RG 인스턴스를 선택한 이유 이 게시물에서는 tombola가 엄격한 엔지니어링 원칙을 어떻게 따랐는지 배웁니다. 즉, 증거 없이는 프로덕션에 변경을 가하지 않는다는 원칙입니다. 이는 실제 워크로드에서 RA3와 RG의 헤드 투 헤드 비교를 의미했습니다. 또한 Amazon S3 Tables의 벤치마크 결과와 RA3에서 RG 인스턴스로의 마이그레이션도 볼 수 있습니다. Why tombola chose Graviton-powered RG instances for Amazon Redshift aws.amazon.com
SageMaker Data Agent를 사용하여 Snowflake 및 AWS 전반에서 사기 패턴 탐지 Amazon SageMaker Data Agent가 Amazon SageMaker Unified Studio 노트북에 세 가지 새로운 기능을 출시합니다. Snowflake 데이터 소스에 대한 SQL 분석, 구체화된 뷰 관리, 대화형 차트 작성입니다. 실무자는 이를 함께 사용하여 AWS 데이터와 함께 Snowflake를 쿼리하고, 반복적인 집계를 미리 계산하고 예약하며, 보일러플레이트 코드를 작성하거나 도구를 전환하지 않고도 단일 노트북에서 자연어 프롬프트로 대화형 시각화를 만들 수 있습니다. 이 게시물에서는 이러한 기능이 해결하는 과제를 설명하고, 각 기능을 소개하며, 엔드투엔드 조사 워크플로에서 함께 작동하는 것을 보여주는 사기 분석 시나리오를 살펴봅니다. Detecting fraud patterns across Snowflake and AWS using SageMaker Data Agent aws.amazon.com
AI를 활용한 IT 지원 자동화: Nexthink가 OpenSearch Service를 활용하여 셀프 서비스 문제 해결을 강화하는 방법 이 게시물에서는 Nexthink가 Amazon OpenSearch Service 벡터 검색, Amazon Bedrock 및 코드형 인프라를 결합하여 Spark 에이전트의 검색 계층을 구현한 방법을 살펴봅니다. Automating IT support with AI: How Nexthink uses OpenSearch Service to power self-service issue resolution aws.amazon.com
Amazon MQ용 프라이버럴 네트워킹 도입 이 게시물에서는 Amazon MQ for RabbitMQ의 Private Networking이 어떻게 작동하는지 설명하고 설정 과정을 안내합니다. 프라이빗 ID 공급자를 보안 처리하든, 브로커 간 메시지를 연계하든, 또는 자체 호스팅 RabbitMQ에 연결하든, 이제 브로커는 공개적으로 노출하지 않고도 프라이빗 대상에 도달할 수 있습니다. Introducing Private Networking for Amazon MQ for RabbitMQ aws.amazon.com
Kiro와 SageMaker Unified Studio를 활용한 AI 기반 데이터 개발 Visual Studio Code용 AWS Toolkit을 사용하면 Kiro, VS Code 또는 Cursor를 Amazon SageMaker Unified Studio에 직접 연결할 수 있습니다. 이 게시물에서는 Kiro를 사용하여 통합을 시연합니다. 동일한 원격 액세스 연결은 VS Code 및 Cursor에서도 작동합니다. 이 게시물은 이 통합으로 무엇을 할 수 있는지 보여주는 것으로 시작합니다. 즉, 자연어를 사용하여 관리 환경에서 데이터를 탐색하고 분석하는 것입니다. 그런 다음 직접 시도해 볼 수 있도록 설정을 안내합니다. AI-assisted data development with Kiro and SageMaker Unified Studio aws.amazon.com
Amazon Redshift 현대화: RA3로의 RG 마이그레이션 모범 사례 이 게시물에서는 Amazon Redshift RA3 클러스터를 Graviton 기반 RG 인스턴스로 마이그레이션하는 방법을 알아봅니다. 원활한 마이그레이션을 지원하기 위한 주요 고려 사항 및 모범 사례와 함께 Elastic Resize, Classic Resize, Snapshot/Restore 마이그레이션 전략을 비교합니다. 또한 클러스터의 크기를 적절하게 조정하는 데 도움이 되는 RA3에서 RG로의 매핑 지침을 제공합니다. Modernize Amazon Redshift: RA3 to RG Migration best practices aws.amazon.com
AWS Lake Formation 권한을 사용하여 Amazon S3 데이터 파일에 직접 액세스 이 게시물에서는 EMR의 Apache Spark 작업을 사용하여 Lake Formation 관리 S3 위치에서 읽고 쓰는 방법을 보여줍니다. S3 위치 액세스를 위한 Lake Formation 자격 증명 발급은 EMR 릴리스 레이블 7.13 이상, Boto3 1.42.29 이상, AWS Java SDK 2.41.32 이상, AWS Command Line Interface(AWS CLI) 버전 2.33.1 이상에서 사용할 수 있습니다. Access Amazon S3 data files directly using AWS Lake Formation permissions aws.amazon.com
Amazon Bedrock AgentCore Runtime 및 Amazon OpenSearch Service를 사용하여 AI 쇼핑 에이전트 구축 이 게시물에서는 온라인 쇼핑 AI 에이전트를 구축하는 방법을 살펴봅니다. Amazon OpenSearch Service, Amazon Bedrock AgentCore 및 Strands Agents를 사용한 아키텍처와 구현에 중점을 둡니다. Amazon Bedrock AgentCore는 인프라를 관리하지 않고도 에이전트와 도구를 안전하게 대규모로 배포하고 운영할 수 있는 에이전트 플랫폼입니다. Building AI shopping agent using Amazon Bedrock AgentCore Runtime and Amazon OpenSearch Service aws.amazon.com
사용 사례에 맞는 워크플로 오케스트레이션 서비스 선택: Amazon MWAA와 AWS Step Functions 이 게시물은 특정 사용 사례 요구 사항에 따라 올바른 워크플로 오케스트레이션 서비스를 선택하는 방법을 탐구합니다. 주요 워크플로 특성을 살펴보고, 실제 시나리오를 제시하며, 특정 요구에 맞는 정보에 입각한 결정을 내리는 데 도움이 되는 실용적인 지침을 제공합니다. Choosing the right workflow orchestration service for your use case: Amazon MWAA and AWS Step Functions aws.amazon.com
Debezium 및 Firehose를 사용한 Aurora PostgreSQL에서 Amazon S3 테이블로의 실시간 CDC 이 게시물에서는 쿼리 준비가 된 Iceberg 테이블을 직접 제공하는 CDC 파이프라인을 구축하는 방법을 보여줍니다. 이 파이프라인은 Aurora PostgreSQL에서 삽입, 업데이트 및 삭제를 캡처하여 Amazon Simple Storage Service(Amazon S3)의 기능인 Amazon S3 테이블에 행 수준 작업으로 적용합니다. Real-time CDC from Aurora PostgreSQL to Amazon S3 Tables using Debezium and Firehose aws.amazon.com
JSON 블롭을 넘어서: Apache Iceberg V3에서 VARIANT 데이터 타입 구현 이 게시물은 2부작 시리즈의 1부입니다. VARIANT 열이 있는 Iceberg V3 테이블 생성, 반정형 데이터 삽입, variant_get()을 사용한 쿼리 등 기본 사항을 살펴봅니다. 2부에서는 수백만 행으로 확장하고 VARIANT와 기존 문자열 저장소를 벤치마킹합니다. 쿼리 성능과 스토리지 공간의 차이를 측정합니다. Beyond JSON blobs: Implementing the VARIANT data type in Apache Iceberg V3 aws.amazon.com
AWS Spark Upgrade Agent를 사용하여 PySpark를 Spark 3.5에서 Spark 4.0으로 업그레이드 이 게시물에서는 AWS Spark Upgrade Agent를 사용하여 Amazon EMR Serverless에서 Spark 3.5에서 Spark 4.0으로의 실습 PySpark 마이그레이션을 진행합니다. 에이전트가 라이브 Amazon EMR Serverless 애플리케이션에서 애플리케이션을 반복적으로 검증하고, 작업이 성공할 때까지 Amazon CloudWatch 로그에서 발생하는 오류를 자동으로 진단하고 해결하는 과정을 볼 수 있습니다. Upgrade PySpark from Spark 3.5 to Spark 4.0 with AWS Spark Upgrade Agent aws.amazon.com
Amazon EMR Serverless에 Spark Connect 발표: 어디서든 가능한 대화형 PySpark 개발 오늘 AWS는 EMR 릴리스 7.13(Apache Spark 3.5.6) 및 이후 버전에서 Amazon EMR Serverless에 대한 Spark Connect 지원을 발표합니다. 이제 EMR Serverless에서 전체 규모의 Spark 작업을 실행하면서 선호하는 로컬 환경에서 Spark 애플리케이션을 구축하고 디버그할 수 있습니다. Announcing Spark Connect on Amazon EMR Serverless: Interactive PySpark development, anywhere aws.amazon.com
Amazon EMR Serverless에서 Apache Spark 4.0으로 상태 저장 스트리밍 애플리케이션 구축 이 게시물에서는 Amazon EMR Serverless에서 Spark 4.0의 transformWithState API를 사용하여 프로덕션 준비가 된 IoT 장치 모니터링 시스템을 구축하는 방법을 보여줍니다. 이 예제는 상태 저장 스트리밍의 핵심 기능을 보여주며, 자체 사용 사례에 맞게 조정할 수 있는 템플릿을 제공합니다. Build stateful streaming applications with Apache Spark 4.0 on Amazon EMR Serverless aws.amazon.com
Amazon EMR에서 Apache Spark 4.0의 일반 공급 발표 이번 일반 공급 발표를 통해 Spark 4.0은 Amazon EMR Serverless, Amazon EMR on EC2, Amazon EMR on EKS 배포 옵션 전반에서 지원됩니다. 이 게시물에서는 Spark Connect, Variant 데이터 타입, SQL 스크립팅, Python API 개선 사항, 스트리밍 개선 사항을 포함하여 Amazon EMR에서 현재 사용 가능한 주요 Spark 4.0 기능과 새로운 emr-spark-8.0 릴리스의 인프라 변경 사항에 대해 알아보겠습니다. Announcing general availability of Apache Spark 4.0 on Amazon EMR aws.amazon.com
Amazon Redshift Serverless 및 Amazon Redshift RG에 대한 증분 스냅샷 과금으로 비용 절감 효과를 누리세요. 2026년 6월 8일부터 Amazon Redshift는 Amazon Redshift Serverless 및 Amazon Redshift RG(AWS Graviton 기반 프로비저닝 인스턴스)에 대한 증분 스냅샷 과금 모델을 도입합니다. 이 개선 사항을 통해 계정 내 활성 수동 스냅샷 간의 고유한 데이터 블록에 대해서만 비용을 지불하게 됩니다. 이는 대부분 동일한 데이터 블록을 포함하는 여러 스냅샷을 보유한 고객에게 상당한 비용 절감을 제공합니다. 이 게시물에서는 새로운 증분 스냅샷 과금 모델이 작동하는 방식, 해결하는 고객 사용 사례, 그리고 복구 시점 목표(RPO)를 개선하면서 비용을 최적화하는 데 어떻게 도움이 되는지 알아보겠습니다. Unlock cost savings with incremental snapshot billing for Amazon Redshift Serverless and Amazon Redshift RG aws.amazon.com
최소한의 변경으로 JMS 애플리케이션을 Amazon MQ for RabbitMQ로 마이그레이션 이 게시물에서는 JMS 애플리케이션을 마이그레이션하는 방법을 보여주고 브로커 생성부터 메시지 송수신까지 전체 설정을 안내합니다. 또한 실제 시나리오를 살펴보겠습니다. 기존 Apache ActiveMQ 워크로드를 RabbitMQ를 실행하는 Amazon MQ 브로커로 마이그레이션하는 것입니다. 이 게시물은 구성 변경, Amazon CloudWatch를 사용한 모니터링, 마이그레이션 성공을 보장하기 위한 검증 단계를 다룹니다. Migrate JMS applications to Amazon MQ for RabbitMQ with minimal changes aws.amazon.com
Kiro를 이용한 자연어로 Amazon Redshift 조회 이 게시물에서는 Amazon Redshift MCP 서버와 Kiro를 설정하여 자연어를 사용하여 데이터 웨어하우스를 쿼리하는 방법을 배웁니다. SQL을 처음부터 작성하거나 도구 간에 전환할 필요 없이 클러스터 검색, 스키마 탐색, 분석 쿼리, 교차 클러스터 비교 및 데이터 품질 검사를 살펴봅니다. Query Amazon Redshift using natural language with Kiro aws.amazon.com
Amazon QuickSight를 사용하여 Amazon SageMaker Catalog에 대한 거버넌스 대시보드를 구축합니다. 이전 게시물에서는 메타데이터 내보내기 기능을 사용하여 SQL로 Amazon SageMaker Catalog 메타데이터를 쿼리하는 방법을 보여드렸습니다. 이 게시물은 Amazon Quick을 사용하여 거버넌스 대시보드를 만드는 방법을 시연함으로써 해당 기반을 확장합니다. Build governance dashboards for Amazon SageMaker Catalog with Amazon Quick aws.amazon.com
SageMaker Data Agent를 사용하여 Query Editor에서 SQL 개발 가속화 이 게시물에서는 Query Editor의 Data Agent를 사용하여 공개 교육 데이터셋을 활용해 데이터를 탐색하고, 다단계 분석을 구축하며, 오류를 복구하고, 결과를 요약하는 방법을 배웁니다. Accelerate SQL development with SageMaker Data Agent in Query Editor aws.amazon.com
Amazon SageMaker Unified Studio에서 노트북 실행 예약 이 게시물에서는 Amazon SageMaker Unified Studio의 새로운 노트북 예약 및 오케스트레이션 기능에 대해 안내해 드립니다. Schedule notebook runs in Amazon SageMaker Unified Studio aws.amazon.com
Amazon OpenSearch Service: 도메인 보안 메커니즘 이 게시물은 Amazon OpenSearch Service에서 사용할 수 있는 보안 메커니즘에 대한 개요를 제공하며, 인증 및 권한 부여, 암호화, 네트워크 액세스 제어를 다룹니다. 세분화된 액세스 제어를 구현하는 방법, AWS Identity and Access Management(IAM) 역할을 관리하는 방법, 공개 및 가상 프라이빗 클라우드(VPC) 액세스 도메인 모두에 대해 전송 중 및 저장 중인 데이터를 보호하는 방법을 배웁니다. Amazon OpenSearch Service: Mechanisms to secure your domain aws.amazon.com
Amazon EMR spark 작업의 데이터 계보를 Amazon SageMaker Unified Studio로 캡처 이 게시물에서는 Amazon EMR에서 실행되는 Spark 작업의 데이터 계보를 OpenLineage를 사용하여 Amazon SageMaker Catalog로 직접 캡처하고 추적하는 방법을 보여주는 실용적인 단계별 예제를 살펴보겠습니다. 계보 메타데이터가 자동으로 흐르는 방식을 확인하고 Amazon SageMaker Unified Studio에서 워크플로 전반의 데이터 관계 및 종속성을 탐색할 수 있습니다. Capture data lineage of Amazon EMR spark jobs into Amazon SageMaker Unified Studio aws.amazon.com
차세대 Amazon OpenSearch Serverless: 에이전트(agents)를 위해 처음부터 구축되었습니다. 오늘, 저희는 Amazon OpenSearch Serverless의 전면적인 재아키텍처링을 발표합니다. 이는 최대 20배 빠른 자동 확장, 제로 스케일링, 그리고 피크 로드를 위한 클러스터 프로비저닝 대비 최대 60% 낮은 비용을 제공합니다. Amazon OpenSearch Service는 벡터, 렉시컬, 하이브리드, 그리고 에이전트 검색을 통합하는 완전 관리형 오픈 소스 검색 엔진으로, 낮은 지연 시간으로 정확하고 관련성 높은 결과를 제공합니다. Amazon OpenSearch Serverless는 자동 확장되는 배포 옵션입니다. 새로운 아키텍처는 컴퓨팅과 스토리지를 분리합니다. 이 서비스는 몇 분이 아닌 몇 초 안에 인프라를 프로비저닝하며, 애플리케이션이 유휴 상태일 때 컴퓨팅을 제로까지 확장합니다. 이 게시물에서는 새로운 아키텍처, 귀하의 애플리케이션에 미치는 영향, 그리고 실습 튜토리얼을 통해 시작하는 방법을 살펴봅니다. The next generation of Amazon OpenSearch Serverless: Built from the ground up for agents aws.amazon.com
Buildkite는 Amazon MSK와 Amazon Managed Service for Apache Flink를 사용하여 대규모로 테스트 분석을 운영하는 방법 이 게시물에서는 Buildkite가 Amazon Managed Streaming for Apache Kafka (Amazon MSK)와 Amazon Managed Service for Apache Flink를 사용하여 Test Engine의 스트리밍 우선 분석 아키텍처를 대규모로 구현하는 방법을 살펴봅니다. How Buildkite Operates Test Analytics at Massive Scale with Amazon MSK and Amazon Managed Service for Apache Flink aws.amazon.com
