Amazon SageMaker HyperPod は、LLM 推論の最適化のために Disaggregated Prefill and Decode (DPD) を提供するようになりました。DPD は、LLM 推論のプリフィルとデコードのフェーズを個別の GPU プールに分離します。キー・バリュー・キャッシュ・データは、EFA と GPU-Direct RDMA を使用してこれらのプール間で転送されます。これにより、共有 GPU が長コンテキストのリクエストによって他のリクエストを遅延させるという問題が解決されます。GPU を計算バウンドなプリフィルとメモリ帯域幅バウンドなデコードに割り当てることで、リソース競合が排除されます。DPD は、厳密なレイテンシ要件に対して、より一貫したトークンあたりのレイテンシと高いスループットを提供します。また、ワークロードの分布に基づいて、プリフィルとデコードの容量を独立してスケーリングすることもできます。インテリジェントルーターは、長コンテキストのリクエストをディサグリゲーテッドパスに、短いプロンプトをデコーダーに直接ルーティングします。DPD は、既存の InferenceEndpointConfig リソースに pdSpec を追加することで有効になります。この機能は、すべてのサポートされている AWS リージョンで、EFA 対応インスタンス上の EKS を使用する SageMaker HyperPod クラスターで利用できます。