Recent Announcements на русском
Подписаться
Упрощенное управление кэшем для моделей Claude от Anthropic в Amazon Bedrock
Amazon Bedrock обновил кэширование подсказок для моделей Claude от Anthropic, чтобы упростить использование моделей Claude 3.5 Haiku, Claude 3.7 и Claude 4.Ранее разработчикам приходилось вручную управлять точками кэширования и отслеживать, какие кэшированные сегменты следует использовать повторно. Благодаря упрощенному управлению кэшем вам нужно только установить точку остановки кэширования в конце вашего запроса. Система автоматически читает из самого длинного ранее кэшированного префикса, что устраняет необходимость вручную указывать, какие сегменты следует использовать повторно, и снижает усилия, необходимые для управления логикой кэширования.Автоматически определяя и применяя правильный кэшированный контент, упрощенное управление кэшем не только помогает сократить ручной труд, но и освобождает больше токенов, поскольку токены чтения кэша не учитываются в ваших квотах "токенов в минуту" (TPM). Это может упростить создание многоэтапных рабочих процессов и исследовательских помощников, одновременно повышая производительность и экономическую эффективность.Упрощенное управление кэшем доступно сегодня во всех регионах, где модели Anthropic Claude 3.5 Haiku, Claude 3.7 и Claude 4 предлагаются на Amazon Bedrock. Чтобы начать работу, ознакомьтесь с Руководством разработчика Amazon Bedrock и включите кэширование в вызовах вашей модели.