Recent Announcements 日本語 フォロー Amazon SageMaker AI は、リアルタイム推論エンドポイントで KV キャッシュを認識したルーティングをサポートするようになりました。 Amazon SageMaker AI は、リアルタイム推論エンドポイントで KV キャッシュ対応ルーティングをサポートするようになり、LLM ワークロードで長いプロンプトや繰り返しプロンプトの初回トークンまでの時間を短縮できるようになりました。vLLM のようなサービングエンジンは、計算されたキーバリュー (KV) キャッシュを、共有システムプロンプト、ドキュメント、会話履歴などの繰り返しプロンプトの開始部分に保存し、繰り返し作業をスキップします。複数のインスタンスにまたがって、キャッシュが存在しない場所にリクエストが着地した場合、再計算されます。高負荷時には、インスタンスは GPU メモリを解放するために、共有プロンプトや以前の会話ターンを含むキャッシュブロックをエビクトします。KV キャッシュ対応ルーティングは、各リクエストを、プロンプトの最も長い一致部分をキャッシュに保持しているインスタンスに送信します。vLLM コンテナは、保存およびエビクトしたキャッシュブロックを報告し、SageMaker はそのライブビューでルーティングします。ルックアップが遅い場合や一致が見つからない場合は、エンドポイントは負荷対応ルーティングにフォールバックするため、リクエストは引き続き提供されます。プレフィックス対応ルーティングは、安定した共有プロンプト、短いプロンプト、または中程度の負荷に適しています。KV キャッシュ対応ルーティングは、長いプロンプト、高負荷、および限られた GPU メモリに適しています。お客様は、本番環境バリアントで RoutingStrategy を KV_AWARE に設定し、コンテナがキャッシュイベントを報告するための環境変数を追加することで、この機能を有効にできるようになりました。お客様は、同じ API と OpenAI 互換のペイロードでエンドポイントを呼び出すことができます。GPU インスタンス上の LoRA アダプターを含む、単一モデルのエンドポイントおよび推論コンポーネントをサポートします。AWS vLLM Deep Learning Container バージョン 0.33.0 以降と、少なくとも 2 つのインスタンスまたは推論コンポーネントのコピーが必要です。詳細なオブザーバビリティメトリクスは、KV キャッシュヒット率を示します。KV キャッシュ対応ルーティングに追加料金はかかりません。KV キャッシュ対応ルーティングは、Amazon SageMaker AI が利用可能なすべての AWS リージョンで本日より利用可能です。開始するには、最新の AWS SDK または CLI に更新してください。詳細については、Amazon SageMaker AI 推論ページを参照し、API ドキュメントを確認してください。 Amazon SageMaker AI now supports KV cache-aware routing for real-time inference endpoints aws.amazon.com Recent Announcements 日本語 RSS thenote.app
RoutingStrategyをKV_AWAREに設定し、コンテナがキャッシュイベントを報告するための環境変数を追加することで、この機能を有効にできるようになりました。お客様は、同じ API と OpenAI 互換のペイロードでエンドポイントを呼び出すことができます。GPU インスタンス上の LoRA アダプターを含む、単一モデルのエンドポイントおよび推論コンポーネントをサポートします。AWS vLLM Deep Learning Container バージョン 0.33.0 以降と、少なくとも 2 つのインスタンスまたは推論コンポーネントのコピーが必要です。詳細なオブザーバビリティメトリクスは、KV キャッシュヒット率を示します。KV キャッシュ対応ルーティングに追加料金はかかりません。KV キャッシュ対応ルーティングは、Amazon SageMaker AI が利用可能なすべての AWS リージョンで本日より利用可能です。開始するには、最新の AWS SDK または CLI に更新してください。詳細については、Amazon SageMaker AI 推論ページを参照し、API ドキュメントを確認してください。