Amazon EKS Auto ModeとNVIDIA NI... ノート

Amazon EKS Auto ModeとNVIDIA NIMを活用したRAGチャットボットアシスタントの構築

この投稿では、最新テクノロジーの包括的なスタックを使用して、実用的なRAGベースのチャットアシスタントの実装を実証します。このソリューションは、LLM推論とテキスト埋め込みサービスの両方にNVIDIA NIMを使用し、NIMオペレーターがそれらのデプロイと管理を処理します。アーキテクチャは、Amazon OpenSearch Serverlessを組み込み、類似性検索のために高次元ベクトル埋め込みを保存およびクエリします。
CdXz5zHNQW_iWl7ggU6iC.png