오늘, Amazon SageMaker AI Async Inference에 대한 인라인 페이로드 지원을 발표합니다. 고객은 이제 각 호출 전에 Amazon Simple Storage Service(Amazon S3)에 입력 데이터를 업로드할 필요 없이 InvokeEndpointAsync API의 요청 본문에 직접 추론 페이로드를 보낼 수 있습니다.

오늘, Quick은 더욱 강력해집니다: 귀사를 대신하여 지속적으로 작업하는 새로운 자율 에이전트, 가장 중요한 작업을 우선순위화하는 데 도움이 되는 활동 피드, 그리고 비즈니스가 실행되는 모든 데이터 소스에서 단일 질문으로 인사이트를 찾을 수 있는 기능이 제공됩니다.

에이전트는 자신이 추론할 수 있는 컨텍스트만큼만 지능적입니다. 오늘날 그 컨텍스트는 데이터 레이크, 데이터 웨어하우스, 레이크하우스, 데이터베이스, 스트림 전반에 걸쳐 흩어져 있으며, 기록되지 않은 기관 지식에도 존재합니다. AI 에이전트가 내린 결정을 신뢰하고 싶겠지만, 에이전트가 컨텍스트를 갖기 전까지는 불가능합니다. 신뢰할 수 있는 결정을 내리는 데 필요한 컨텍스트에 안전하게 액세스할 수 있는 방법을 에이전트에게 제공했을 때 무엇이 가능해지는지 상상해 보세요. 이것이 바로 AWS Summit New York City에서 데이터 및 AI 에이전트의 지능을 대규모로 제공하는 일련의 혁신을 발표하는 이유입니다.

오늘 저희는 에이전트를 구축, 연결 및 최적화하는 플랫폼인 Amazon Bedrock AgentCore의 새로운 기능을 소개합니다. 이 게시물에서는 이러한 기능이 각 격차를 어떻게 해소하는지 다룹니다. 즉, 에이전트를 조직, 웹 및 유료 지식에 연결하고, 팀이 프로덕션에서 잘못된 부분을 찾고 수정하도록 지원하며, 에이전트가 더 유능해짐에 따라 확장되는 제어를 시행합니다. 이러한 기능들은 함께 더 유능한 에이전트를 더 빠르게 구축하고, 확장 가능한 제어로 에이전트를 관리하며, 지속적으로 개선하는 데 도움이 됩니다.

오늘, Amazon Bedrock Guardrails와 함께 새로운 API를 발표합니다. 이 API를 사용하면 가드레일 리소스를 생성하지 않고도 에이전트 AI 애플리케이션의 어느 지점에서든 개별 안전 장치, 즉 안전 검사를 적용할 수 있습니다. 이 게시물에서는 InvokeGuardrailChecks API가 어떻게 작동하는지, 그리고 이를 사용하여 안전하고 다중 턴 에이전트 AI 애플리케이션을 구축하는 방법을 살펴봅니다.

오늘, Amazon SageMaker AI 추론을 위한 컨테이너 이미지 캐싱을 발표하게 되어 기쁩니다. 이는 저희의 더 빠른 확장 최적화 여정에서 다음 주요 발전입니다. 이는 확장 이벤트 중 생성형 AI 모델의 엔드투엔드 지연 시간을 최대 2배까지 단축합니다.

이 게시물은 Amazon SageMaker AI 내에서 P-EAGLE을 직접 사용하는 방법을 안내합니다. SageMaker JumpStart 카탈로그에서 호환 가능한 모델을 선택하고, 병렬 초안 작성 사양을 구성하며, 생성형 AI 애플리케이션을 가속화하기 위해 고도로 최적화된 실시간 SageMaker AI 엔드포인트를 배포하는 방법을 보여줍니다.

오늘, Amazon Bedrock에서 Gemma 4 제품군을 사용할 수 있게 되었음을 발표합니다. Google DeepMind에서 개발하고 Apache 2.0 라이선스로 출시된 Gemma 4는 광범위한 배포 시나리오에서 파라미터당 지능에 중점을 두고 설계된 오픈 웨이트 모델 제품군입니다. 이 제품군에는 세 가지 명령어 튜닝 변형이 포함됩니다: Gemma 4 31B, Gemma 4 26B-A4B, Gemma 4 E2B. 이들은 요청당 모델 파라미터의 일부만 활성화되는 밀집(dense) 및 전문가 혼합(mixture-of-experts, MoE) 아키텍처를 포함합니다. 이 변형들은 텍스트와 이미지 전반에 걸쳐 내장된 추론, 네이티브 함수 호출, 멀티모달 입력을 제공합니다.

이 게시물에서는 실제 에이전트 오류를 진단하기 위해 탐지기 함수를 호출하는 방법을 안내합니다. 구조화된 출력 해석 방법을 배우게 됩니다. 범주화된 오류와 신뢰도 점수, 근본 원인과 다운스트림 증상을 연결하는 인과 관계 사슬, 시스템 프롬프트 또는 도구 정의에 속하는 변경 사항을 지정하는 수정 권장 사항을 배웁니다. 또한 모든 테스트 실행에서 자동화된 진단을 위해 탐지를 평가 파이프라인에 통합하는 방법을 배우게 됩니다.

이 게시물에서는 이 패턴을 엔드 투 엔드로 보여주는 경쟁 연구 에이전트를 구축합니다. 이 가이드워크는 에이전트에 대한 격리된 실행 환경이 필요한 다단계 AI 워크플로우를 구축하는 개발자를 대상으로 합니다. 노트북의 파트 2에서는 AgentCore CLI를 사용하여 이 동일한 에이전트를 Bedrock AgentCore Runtime에 배포할 수 있으므로 관리되는 세션 격리 서비스로 실행됩니다.

이 게시물에서는 Rocket Close가 Strands Agents, 대규모 언어 모델(LLM), Amazon Bedrock, Amazon Bedrock Knowledge Bases, Model Context Protocol(MCP) 도구를 사용하여 솔루션을 구축한 방법을 살펴봅니다. 솔루션 기능, 기술 스택에 대한 근거, 얻은 교훈, 그리고 Rocket Close에서의 비즈니스 영향에 대해 다룹니다.

이 게시물은 Amazon Quick과 Cisco Webex MCP 서버를 사용하여 맞춤형 회의 준비 및 후속 조치 도우미를 구축하는 방법을 보여줍니다. 단일 프롬프트에서 에이전트는 예정된 Webex 회의를 찾고, 이전 회의 요약 및 녹취록을 검토하며, 관련 Vidcast 하이라이트 및 녹취록 컨텍스트를 가져옵니다. 그런 다음 해결되지 않은 후속 조치를 위해 Webex 메시지 스레드를 검색하고 간결한 준비 브리핑을 만듭니다. 회의 후 동일한 도우미가 토론을 요약하고 실행 항목을 식별할 수 있습니다. 또한 관련 Vidcast 업데이트를 찾고 올바른 Webex 공간에 대한 후속 메시지를 초안 작성할 수 있습니다.

이 게시물은 Amazon Bedrock 및 해당 기능을 활용하여 AWS에서 비용 효율적이고 확장 가능한 지능형 문서 처리 파이프라인의 개발을 설명합니다. BDA는 Amazon Bedrock 내의 관리형 서비스로, 문서에서 인사이트 추출을 자동화합니다. BDA가 문서 콘텐츠를 추출하고 분석하는 방법과 Amazon Bedrock AgentCore Runtime에서 호스팅되는 Strands Agent가 전문화된 처리 작업을 조정하고, Amazon Bedrock Knowledge Base가 여러 문서에 걸쳐 맥락적 이해를 가능하게 하는 방법을 보여줍니다. 이러한 기능을 통합 아키텍처 내에서 결합함으로써 조직은 최소한의 개발 노력으로 문서 처리 워크플로우를 혁신할 수 있습니다.

AWS Professional Services(AWS ProServe)는 기존 프로세스에 인공지능(AI) 도구를 추가하는 방식이 아니라, 내부에서부터 제공 방식을 근본적으로 재구축함으로써 참여 기간을 몇 달에서 며칠로 단축했습니다. 이 게시물에서는 AWS ProServe가 어떻게 프론티어 팀이 되었는지, 이를 가능하게 한 실천 방법, 그리고 귀사의 엔지니어링 조직이 저희 경험에서 얻을 수 있는 점을 공유합니다.

이 게시물은 Amazon Bedrock에서 온디맨드 추론과 배치 추론 옵션을 모두 포함하는 지능형 문서 처리 파이프라인을 보여주며, 문서 처리 시간과 비용에 대한 유연성을 제공합니다.

Agent-EvalKit은 Claude Code, Kiro CLI, Kilo Code를 포함한 AI 코딩 어시스턴트와 통합하여 이 평가 인프라를 사용할 수 있게 해주는 오픈 소스 툴킷(Apache 2.0)입니다. 이 게시물에서는 Strands Agents SDK와 Amazon Bedrock으로 구축된 여행 조사 에이전트를 실행 예제로 사용하여 Agent-EvalKit이 6가지 평가 단계를 거쳐 작동하는 방식을 살펴봅니다.

오늘, Quick Sight 대시보드를 더욱 표현력 있고 비즈니스에 부합하도록 만드는 두 가지 새로운 기능인 스파크라인과 컨트롤에 대한 사용자 지정 정렬을 발표하게 되어 기쁩니다. 이 게시물에서는 두 기능 모두, 기능이 무엇인지, 언제 사용해야 하는지, 그리고 어떻게 구성하는지에 대해 실제 시나리오를 통해 실용적이고 의사 결정 준비가 된 대시보드에서 함께 활용하는 방법을 살펴봅니다.

Blueprint instruction optimization은 추출 지침을 자동으로 개선하여 이 문제를 직접 해결하는 BDA 기능입니다. 예상 값을 포함한 3~10개의 예시 문서를 제공하면 BDA가 몇 주가 아닌 몇 분 안에 정확도를 개선하기 위해 blueprint 지침을 개선합니다. 별도의 모델 미세 조정은 필요하지 않습니다. 이 게시물 끝에서는 blueprint를 최적화하여 정확도를 개선하고, Amazon Bedrock 콘솔 또는 API를 통해 최적화 워크플로우를 실행하고, 예시 및 ground truth 선택을 위한 모범 사례를 적용할 수 있습니다.

프론티어 팀은 단순히 AI를 사용하여 코딩 속도를 높이는 것이 아닙니다. 그들은 소프트웨어 구축 방식을 재설계하고 있습니다. 그 결과 일부 경우에는 4.5배, 때로는 10배 이상의 생산성 향상을 이루고 있습니다.

오늘, 저희는 AWS Trainium 및 AWS Inferentia 기반으로 개발하는 개발자들을 위해 Neuron Agentic Development 기능을 발표합니다. 이 기능은 AI 에이전트와 스킬의 모음으로, 이를 가능하게 합니다. 본 게시물에서는 Neuron Agentic Development 기능이 커널 개발 워크플로우를 어떻게 가속화하는지 설명합니다.

이 게시물에서는 Amazon Bedrock AgentCore를 사용하여 농부와 현장 기술자가 자연어를 통해 장비 문제를 진단하고, 필요한 부품을 식별하며, 제조업체 승인 수리 절차에 액세스할 수 있도록 지원하는 AI 기반 장비 수리 도우미를 구축합니다. 이 솔루션은 Strands Agents SDK가 포함된 AgentCore Runtime, 기반 모델로 Amazon Nova 2 Lite, 검색 증강 생성(RAG)을 위한 Amazon Bedrock Knowledge Base, 대화 지속성을 위한 AgentCore Memory를 사용합니다.

이 게시물에서는 Amazon SageMaker AI의 NVIDIA Isaac Lab을 사용하여 Unitree H1 휴머노이드 로봇 정책을 두 가지 컴퓨팅 옵션, 즉 Amazon SageMaker HyperPod 및 Amazon SageMaker Training Jobs에서 훈련하는 방법을 보여줍니다.

이 게시물에서는 도메인 추론을 위해 Strands Agents SDK로 구축된 에이전트와 실시간 포털 상호 작용을 위한 Amazon Bedrock AgentCore Browser Tool을 결합한 핸즈프리 FNOL 인테이크 시스템을 시연합니다. 이 접근 방식은 반복적인 화면 작업을 제거하면서 인간의 전문성을 보존합니다.

이 게시물은 엔지니어링 팀이 가장 시간 제약이 심한 엔지니어링 워크플로우 중 하나인 인시던트 트리아지에 해당 원칙을 적용하는 방법을 보여줍니다. Amazon Quick을 사용하여 사용자 정의 인시던트 트리아지 어시스턴트 에이전트를 구축하게 되며, 이 에이전트는 New Relic Model Context Protocol (MCP) Server 및 Asana와 네이티브 통합을 통해 응답을 조정합니다. 단일 프롬프트에서 Amazon Quick 에이전트는 인시던트를 조사하고, 증거 링크가 포함된 근본 원인 분석(RCA) 브리프를 작성하며, 인계 준비가 된 추적 가능한 Asana 작업을 생성합니다.

최신 생성형 AI 모델과 높은 글로벌 수요를 보이는 고성능 가속 컴퓨팅에 대한 액세스를 통해 AWS 고객은 보안 및 개인 정보 보호 요구 사항을 충족하면서 여러 AWS 리전에 걸쳐 모델 가용성 및 용량을 활용할 수 있는 도구가 필요합니다. Amazon Bedrock의 cross-Region Inference(CRIS)는 여러 [...]에 걸쳐 요청을 자동으로 라우팅하여 이러한 요구를 충족합니다.

Amazon Bedrock AgentCore Runtime은 각 에이전트 세션에 자체 격리된 마이크로VM을 제공하며, 영구적인 워크스페이스, Gateway를 통한 안전한 도구 액세스, 내장된 관찰 기능을 갖추고 있어 Claude Code, Codex, Kiro, Cursor를 비밀 정보, 포트 또는 파일 시스템을 공유하지 않고 병렬로 실행할 수 있습니다. 노트북 덮개를 닫고 저녁 식사를 하러 갔다가 다음 날 중단했던 부분부터 다시 시작할 수 있습니다.

이 게시물에서는 수학적 최적화를 소개하고, 이것이 더 넓은 AI 환경에 어떻게 부합하는지 설명하며, 혁신 센터가 고객과 협력하여 구체적인 결과를 도출한 실제 성공 사례를 보여드리겠습니다.

이 블로그에서는 이전에 "Enable fully homomorphic encryption with Amazon SageMaker endpoints for secure, real-time inferencing"이라는 게시물에서 ML 추론을 위한 FHE에 대해 논의했지만, 이 게시물은 그보다 조금 더 나아갑니다. 이전 게시물에서는 SEAL이라는 저수준 라이브러리를 사용하여 선형 회귀 알고리즘을 수작업으로 구현하여 FHE 기반 추론을 '처음부터' 구현하는 방법을 보여주었습니다. 대신, 이 게시물에서는 FHE 기반 추론을 위해 특별히 구축된 고수준 라이브러리인 concrete-ml을 기반으로 훨씬 더 유연하고 고수준의 접근 방식을 보여줍니다. 이 라이브러리는 몇 가지 일반적인 유형의 모델을 '즉시' 지원하며, 잘 알려진 ML 라이브러리인 scikit-learn과 API 호환성도 갖추고 있습니다.

이 게시물에서는 Amazon Quick ARNs의 구조를 다루고, 이를 활용하기 위한 실용적인 사고 모델을 제공합니다. 이를 통해 ARN을 보고 마이그레이션 전략에 대한 의미를 즉시 이해하고, 권한 문제를 더 빠르게 진단하며, 멀티 테넌트 아키텍처를 자신 있게 설계할 수 있습니다.

이 게시물에서는 이 두 가지 문제를 해결하기 위해 저희가 구축한 오픈 소스 프레임워크인 Nova Sonic Test Harness를 소개합니다. 이 프레임워크는 시스템 프롬프트 및 도구 구성을 조정하기 위한 빠른 반복 도구(대화 실행, 결과 확인, 조정, 반복) 역할을 하며, 대규모 음성 에이전트 품질을 검증하기 위한 포괄적인 평가 프레임워크 역할도 합니다. Amazon Nova Sonic과 완전한 다중 턴 대화를 자동으로 실행하고, LLM-as-judge 기법을 사용하여 평가하며, 모델의 오디오 출력이 텍스트 출력과 일치하지 않는 경우(오디오 환각)를 감지할 수도 있습니다. 마이크가 필요하지 않습니다.

Amazon SageMaker JumpStart에 NVIDIA Nemotron 3 Ultra를 배포하세요. 이 최첨단 추론 모델로 에이전트 AI 워크로드에 대해 5배 빠른 추론과 30% 낮은 비용을 확보하세요.

이 게시물에서는 Amazon Bedrock Ops Alert를 소개합니다. 이 솔루션은 운영 문제를 사전에 감지하고, 경보 임계값을 동적으로 조정하며, 경보를 범주별로 분류하고, 상황 인식 지원 사례를 자동으로 생성하며, 동일한 경보 범주에 대한 미해결 사례가 이미 활성 상태일 때 중복 사례를 방지하는 데 도움을 주고, AI SRE 팀에 상황에 맞는 알림을 제공하는 3계층 자동화 모니터링 솔루션입니다. 솔루션 아키텍처와 자체 환경에 배포하는 방법을 안내합니다.

이 게시물에서는 Amazon SageMaker JumpStart에서 NEXUS를 시작하는 방법, 배포 프로세스, 그리고 엔터프라이즈 데이터셋에 대한 예측 실행 방법을 보여드립니다.

이 게시물에서는 공개적으로 사용 가능한 딥러닝 AMI 및 컨테이너에서 SOCI를 사용하는 방법, 도구에서 제공하는 다양한 SOCI 모드를 언제 사용해야 하는지, 그리고 오늘날 워크로드에서 이 도구를 빠르고 효율적으로 사용하는 방법을 살펴봅니다.

이 게시물에서는 Supervised Fine-Tuning(SFT)과 Direct Preference Optimization(DPO)을 함께 사용하여 소형 언어 모델(SLM)의 도구 호출 정확도를 개선하는 방법을 배웁니다. 이 예시에서는 Amazon SageMaker AI 학습 작업을 사용하므로 자체 학습 인프라를 관리하는 대신 학습 코드에 집중할 수 있습니다. 또한 도구 호출 정확도를 평가하고 기본 모델과 여러 미세 조정된 변형을 비교하는 방법을 배워 모델 품질에 대한 데이터 기반 결정을 내릴 수 있습니다.

도메인별 작업에 대한 미세 조정은 모델의 일반적인 기능을 저하시키지 않고 한 영역의 성능을 개선하는 것을 의미하며, 이 균형을 올바르게 맞추는 것은 생각보다 어렵습니다. 이 게시물에서는 데이터 및 작업에 맞는 올바른 사용자 지정 전략 선택부터 학습률, 배치 크기 및 체크포인팅과 같이 결과에 가장 큰 영향을 미치는 훈련 매개변수 구성에 이르기까지 해당 균형을 탐색하는 방법을 안내합니다. 또한 훈련 실행 낭비로 이어지는 일반적인 실수와 이를 조기에 감지하는 방법을 다루므로, 일반적인 기능을 저하시키거나 피할 수 있는 실패로 인해 컴퓨팅 자원을 소모하지 않고 도메인 성능을 개선할 수 있습니다. 이를 통해 일반적인 기능을 저하시키지 않고 도메인 성능을 개선하는 방법과 균형을 잘못 맞춰 발생하는 값비싼 실패를 피하는 방법을 알게 될 것입니다.

이 게시물에서는 Amazon Nova 2 Lite를 사용하여 객체 탐지를 구현하는 과정을 살펴보겠습니다. Amazon Bedrock, AWS Lambda 및 Amazon API Gateway를 사용하여 객체 탐지 애플리케이션을 배포하는 방법을 배우게 됩니다. 또한 효과적인 프롬프트를 작성하고, 구조화된 JSON 출력을 처리하며, 결과를 시각화하는 방법을 배우게 됩니다. 제조, 농업 및 물류 전반에 걸친 실제 애플리케이션을 탐구합니다.

이 게시물은 Baz가 Amazon Bedrock과 Amazon Bedrock AgentCore를 사용하여 Spec Review 에이전트를 구축한 과정을 살펴봅니다. 아키텍처 결정, 구현 세부 정보, 그리고 이 AWS 서비스를 활용하여 코드 검토 프로세스를 자동화함으로써 달성한 비즈니스 성과를 다룰 것입니다.

이 게시물은 Amazon Bedrock AgentCore Gateway에 호스팅된 MCP 서버에 대한 인바운드 인증 메커니즘으로 Open Authorization (OAuth) Code flow를 구현하는 방법을 보여줍니다. 이 가이드가 끝나면 각 AI 어시스턴트 요청이 조직의 ID 공급자에서 발급된 유효한 사용자 ID 토큰으로 인증되는 프로덕션 준비 상태를 갖추게 됩니다.

오늘, AgentCore Identity에 대한 AWS Secrets Manager의 비밀 참조 기능을 발표하게 되어 기쁩니다. 이를 통해 자체적으로 사전 구성된 Secrets Manager의 비밀을 참조하고 관리 방식을 완전히 제어할 수 있습니다. 이 기능을 통해 조직의 기존 비밀 거버넌스 프로세스를 AgentCore로 확장할 수 있습니다. 자격 증명 공급자 리소스와 함께 사용할 사전 구성된 AWS Secrets Manager 비밀을 제공할 수 있습니다. Secrets Manager의 다른 비밀을 관리하는 것과 마찬가지로 암호화 구성, 회전, 복제, 태그 및 리소스 정책을 완전히 제어할 수 있습니다. 동일한 AWS 리전 내의 다른 AWS 계정에서 비밀을 선택할 수도 있지만, 리전 간 비밀 공유는 지원되지 않습니다. 또한 AWS Secrets Manager 외부 커넥터를 통해 가져온 비밀도 지원하므로 타사 비밀 관리자와의 통합이 가능합니다.

이 게시물에서는 희귀암 연구를 위해 생물의학 데이터 소스를 통합하는 방법을 Amazon Quick Research를 사용하여 살펴봅니다. 이 워크스루는 소아 육종을 연구 도메인으로 사용하며 PubMed 및 기타 공개 생물의학 저장소의 공개적으로 사용 가능한 데이터 세트를 활용합니다. 연구 목표 정의, 데이터 소스 구성, AI 생성 연구 계획 검토, 조사 실행, 수정 및 버전 관리 시스템을 사용한 결과 반복 등 엔드투엔드 워크플로를 다룹니다.

GPT-5.5, GPT-5.4, 그리고 Codex가 Amazon Bedrock에서 이제 일반적으로 사용 가능합니다. Bedrock의 고성능 추론 엔진에서 오늘 프로덕션 애플리케이션 및 에이전트에 배포하십시오.

프로덕션 환경에서 Model Context Protocol (MCP) 서버를 배포할 때, 기업은 서버 전반에 걸친 세분화된 액세스 제어, 어떤 팀이 어떤 도구를 사용하는지에 대한 가시성, 데이터 유출에 대한 보안 보장, 그리고 중앙 집중식 자격 증명 관리를 모두 대규모로 필요로 합니다. Amazon Bedrock AgentCore Gateway는 MCP 서버와 이를 사용하는 클라이언트 사이에 위치하여 자격 증명 관리, 가시성, 그리고 보안 […]

이 게시물에서는 lakehouse 데이터 에이전트를 사용하여 Policy를 통해 결정론적 액세스 제어를 구현하는 방법과 Lambda 인터셉터를 통해 동적 유효성 검사를 구현하는 방법을 보여줍니다. 그런 다음 Lambda 인터셉터와 Policy를 결합하여 동적 유효성 검사와 결정론적 액세스 제어가 모두 필요한 지리 기반 액세스 제어를 구현하는 방법을 보여줍니다.

이 게시물에서는 에이전트 기반 결제 시스템을 설계할 때 발생하는 몇 가지 주요 위험과 AgentCore 결제 기능을 사용하여 이러한 위험을 해결하는 방법을 다룹니다.

에이전트 기반 AI 솔루션을 구축할 때 고유한 운영상의 어려움에 직면하게 됩니다. 에이전트는 예측 불가능한 결정을 내리고, 비용이 예상치 못하게 급증하며, 비결정론적 실패를 디버깅하는 것은 불가능해 보입니다. 에이전트 기반 AI 애플리케이션은 단순히 미리 정해진 워크플로우를 실행하는 것이 아닙니다. 추론하고, 적응하며, 자율적인 결정을 내리므로 DevOps 관행을 조정해야 합니다. 여기서 AgentOps가 등장합니다. 프로덕션 환경에서 AI 에이전트를 배포, 관리 및 지속적으로 개선하기 위한 운영 규율입니다.

AWS GPU 인스턴스에 대규모 언어 모델(LLM)을 배포하는 작업을 반복하고 있다면, GPU 고대역폭 메모리(HBM)에 로드해야 하는 모델이 클수록 GPU가 추론 준비가 될 때까지 고통스러운 기다림이 길어진다는 것을 아마도 알아차렸을 것입니다. 모델이 수천억 개의 매개변수로 커지고 GPU 환경이 점점 더 커짐에 따라 [...]

이 게시물에서는 KDB-X MCP 서버와 Amazon Quick의 통합을 사용한 실용적인 구현을 살펴보고, 트레이더와 분석가가 대화형 언어를 사용하여 질문하고 데이터 세트에서 실행 가능한 통찰력을 얻는 방법을 보여줍니다. 시간 시리즈 통찰력에 대한 액세스를 단순화해야 하는 금융 시장 분석, IoT 센서 모니터링, DevOps 성능 대시보드 등 다양한 도메인에 이와 동일한 통합 패턴을 적용할 수 있습니다.

이 게시물은 Amazon SageMaker AI 엔드포인트에서 추론 구성 요소로 제공되는 LLM의 품질과 수량 모두에 대한 전체적인 보기를 제공하는 Amazon Managed Grafana 대시보드를 사용한 포괄적인 관찰 가능성 솔루션을 보여줍니다.

아제르바이잔의 선도적인 통신 제공업체인 Azercell Telecom LLC는 통신 사용 사례와 고객 대면 챗봇을 위해 Amazon SageMaker AI에서 아제르바이잔 대규모 언어 모델(LLM)을 구축하고자 했습니다. 과제는 형태론적으로 풍부하고 훈련 데이터가 제한적인 언어에 기반 모델(FM)을 적용하는 것이었고, 아제르바이잔어 LLM 훈련을 위한 기존 청사진이 없었습니다. 6주간의 협업을 통해 Azercell은 AWS Generative AI Innovation Center와 협력하여 Amazon SageMaker AI에서 프로덕션 준비 프레임워크를 구축했습니다.