コストに影響を与える4つのAmazon Bedrock推論の... ノート

コストに影響を与える4つのAmazon Bedrock推論の選択肢

Amazon Bedrock の推論料金は、プロンプトやアプリケーションロジックを調整した後でも増加し続ける可能性があります。4 つのリクエストレベルの選択肢(キャッシュ期間、サービスティア、推論努力、maxTokens)は、サービスが処理するトークン数と適用されるレートを変更します。ここでは、それぞれをどのようにテストしたか、そしてその効果をどのように検証するかを示します。
CdXz5zHNQW_UhGzVQeuh4.jpeg