Amazon BedrockとLiteLLMでセルフサービス... ノート

Amazon BedrockとLiteLLMでセルフサービスLLMゲートウェイを構築する

LiteLLM を使用して AWS Fargate 上にセルフサービス LLM ゲートウェイを構築し、Amazon Bedrock の基盤モデルを OpenAI 互換 API の背後に配置します。開発者は単一の API キーで即座にアクセスでき、プラットフォームチームはユーザーごとのコスト管理、クォータ分離、オブザーバビリティを獲得できます。
CdXz5zHNQW_1HC07iV3W4.png