Amazon Bedrock でオープンウェイトモデルのプロ... ノート

Amazon Bedrock でオープンウェイトモデルのプロンプトキャッシュを使用する

多くの生成AIアプリケーションは、リクエストごとに同じ長いコンテキストを再送信します。プロンプトキャッシュにより、Amazon Bedrock上のオープンウェイトモデルはそれを再利用して、入力コストとレイテンシを削減できます。この記事では、Chat Completions APIを介した暗黙的および明示的なキャッシュを示し、OpenCodeコーディングエージェントセッションにキャッシュを適用します。
CdXz5zHNQW_fArwIXpzJC.gif