Construyendo un asistente de c... Nota

Construyendo un asistente de chat basado en RAG en Amazon EKS en modo automático y NVIDIA NIMs

En esta publicación, demostramos la implementación de un asistente práctico basado en chat RAG utilizando un conjunto completo de tecnologías modernas. La solución utiliza NIMs de NVIDIA tanto para la inferencia de LLM como para los servicios de incrustación de texto, con el NIM Operator gestionando su despliegue y administración. La arquitectura incorpora Amazon OpenSearch Serverless para almacenar y consultar incrustaciones vectoriales de alta dimensión para la búsqueda de similitud.
CdXz5zHNQW_iWl7ggU6iC.png