Amazon BedrockにおけるAnthropic Cl... ノート

Amazon BedrockにおけるAnthropic Claudeモデルのキャッシュ管理の簡素化

Amazon Bedrock は、Anthropic の Claude モデルのプロンプトキャッシュを更新し、Claude 3.5 Haiku、Claude 3.7、Claude 4 モデルの使いやすさを向上させました。以前は、開発者はキャッシュポイントを手動で管理し、どのキャッシュセグメントを再利用すべきかを把握する必要がありました。キャッシュ管理の簡略化により、リクエストの最後にキャッシュブレークポイントを設定するだけでよくなりました。システムは、以前にキャッシュされた最も長いプレフィックスから自動的に読み取られるため、再利用するセグメントを手動で指定する必要がなくなり、キャッシュロジックの管理に必要な労力が軽減されます。適切なキャッシュコンテンツを自動的に特定して適用することで、キャッシュ管理の簡略化は手動の労力を削減するだけでなく、キャッシュの読み取りトークンはトークン/分 (TPM) クォータに含まれないため、より多くのトークンを解放するのに役立ちます。これにより、マルチターンワークフローやリサーチアシスタントの構築が容易になり、パフォーマンスとコスト効率の両方が向上します。キャッシュ管理の簡略化は、Amazon Bedrock で Anthropic Claude 3.5 Haiku、Claude 3.7、Claude 4 モデルが提供されているすべてのリージョンで本日より利用可能です。開始するには、Amazon Bedrock 開発者ガイドを確認し、モデル呼び出しでキャッシュを有効にしてください。