在 Amazon EKS 自动模式和 NVIDIA NIMs... 笔记

在 Amazon EKS 自动模式和 NVIDIA NIMs 上构建基于 RAG 的聊天助手

在这篇文章中,我们将演示如何使用一套全面的现代技术栈来实现一个实用的基于RAG的聊天助手。该解决方案同时使用了 NVIDIA NIMs 进行 LLM 推理和文本嵌入服务,并由 NIM Operator 负责它们的部署和管理。该架构还集成了 Amazon OpenSearch Serverless,用于存储和查询高维向量嵌入以进行相似性搜索。
CdXz5zHNQW_iWl7ggU6iC.png