Amazon CloudWatch, 생성형 AI 관찰 기능 추가 (미리 보기)

"Amazon CloudWatch가 이제 Amazon Bedrock AgentCore(프리뷰)와 함께 배포 및 운영되는 에이전트를 포함한 생성형 AI 애플리케이션 및 워크로드를 관찰할 수 있도록 지원하며, AI 성능, 상태 및 정확성에 대한 인사이트를 제공합니다. AI 워크로드의 지연 시간, 사용량 및 오류에 대한 즉시 사용 가능한 보기를 통해 모델 호출 및 에이전트와 같은 구성 요소의 문제를 더 빠르게 감지할 수 있습니다. 또한, 지식 기반, 도구 및 모델과 같은 구성 요소의 엔드투엔드 프롬프트 추적을 사용하여 문제를 더 빠르게 찾을 수 있습니다. 이 기능은 Strands Agents, LangChain 및 LangGraph와 같은 인기 있는 생성형 AI 오케스트레이션 프레임워크와 호환되어 프레임워크 선택에 유연성을 제공합니다. 이 새로운 기능을 통해 Amazon CloudWatch는 생성형 AI 애플리케이션의 구성 요소 전반에 걸쳐 원격 분석 데이터를 분석하여 오류 소스를 신속하게 파악할 수 있도록 지원합니다. 예를 들어, 벡터 DB의 격차 또는 불완전한 RAG 시스템 재시도에서 비롯된 부정확한 응답의 소스를 엔드투엔드 프롬프트 추적, 큐레이션된 메트릭 및 로그를 사용하여 정확히 파악할 수 있습니다. 구성 요소 상호 작용의 이러한 연결된 보기는 개발자가 워크로드를 더 빠르게 최적화하여 높은 수준의 가용성, 정확성, 안정성 및 품질을 제공하는 데 도움이 됩니다. 개발자는 한 곳에서 에이전트 플릿을 모니터링하고 평가하여 AI 에이전트를 원활하게 실행할 수 있습니다. 에이전트 큐레이션 보기는 CloudWatch 콘솔의 "AgentCore" 탭에서 GenAI 관찰 가능성을 위해 사용할 수 있습니다. 생성형 AI 관찰 가능성은 Application Signals, Alarms, Dashboards, Sensitive Data Protection 및 Logs Insights와 같은 다른 CloudWatch 기능과 통합되어 기존 관찰 가능성 도구를 생성형 AI 워크로드 모니터링으로 원활하게 확장할 수 있도록 지원합니다. 이 기능은 US East (N.Virginia), US West (Oregon), Europe (Frankfurt) 및 Asia Pacific (Sydney)의 4개 지역에서 프리뷰로 제공됩니다. 자세한 내용은 문서를 방문하십시오. 수집 및 저장된 원격 분석 데이터에 CloudWatch 요금이 적용됩니다."