Amazon EKS 오토 모드와 NVIDIA NIM을 ... 노트

Amazon EKS 오토 모드와 NVIDIA NIM을 활용한 RAG 챗봇 어시스턴트 구축

이 글에서는 최신 기술 스택을 사용하여 실용적인 RAG(Retrieval-Augmented Generation) 기반 챗봇 어시스턴트를 구현하는 방법을 시연합니다. 이 솔루션은 LLM 추론 및 텍스트 임베딩 서비스 모두에 NVIDIA NIM을 사용하며, NIM Operator가 이러한 서비스의 배포 및 관리를 담당합니다. 아키텍처는 유사성 검색을 위한 고차원 벡터 임베딩을 저장하고 쿼리하기 위해 Amazon OpenSearch Serverless를 통합합니다.
CdXz5zHNQW_iWl7ggU6iC.png