Vereinfachte Cache-Verwaltung ... Notiz

Vereinfachte Cache-Verwaltung für Anthropic's Claude-Modelle in Amazon Bedrock

Amazon Bedrock hat das Prompt-Caching für Anthropics Claude-Modelle aktualisiert, um die Benutzerfreundlichkeit für Claude 3.5 Haiku, Claude 3.7 und Claude 4 Modelle zu verbessern.Zuvor mussten Entwickler Cache-Punkte manuell verwalten und nachverfolgen, welche gecachten Segmente wiederverwendet werden sollten. Mit der vereinfachten Cache-Verwaltung müssen Sie nur noch einen Cache-Breakpoint am Ende Ihrer Anfrage setzen. Das System liest automatisch aus dem längsten zuvor gecachten Präfix, was die Notwendigkeit eliminiert, manuell anzugeben, welche Segmente wiederverwendet werden sollen, und reduziert den Aufwand, der für die Verwaltung der Cache-Logik erforderlich ist.Durch die automatische Identifizierung und Anwendung des richtigen gecachten Inhalts hilft die vereinfachte Cache-Verwaltung nicht nur, den manuellen Aufwand zu reduzieren, sondern auch, mehr Token freizumachen, da Cache-Lese-Tokens nicht auf Ihre Token-pro-Minute-(TPM)-Kontingente angerechnet werden. Dies kann es erleichtern, Multi-Turn-Workflows und Forschungsassistenten zu erstellen, während sowohl die Leistung als auch die Kosteneffizienz verbessert werden.Die vereinfachte Cache-Verwaltung ist heute in allen Regionen verfügbar, in denen Anthropic Claude 3.5 Haiku, Claude 3.7 und Claude 4 Modelle auf Amazon Bedrock angeboten werden. Um loszulegen, überprüfen Sie den Amazon Bedrock-Entwicklerleitfaden und aktivieren Sie das Caching in Ihren Modellaufrufen.