Les bases de connaissances Amazon Bedrock prennent désormais en charge l'inférence inter-régions

Amazon Bedrock Knowledge Bases annonce le support de l'inférence inter-régions, une fonctionnalité facultative qui permet aux développeurs de gérer en toute transparence les pics de trafic en utilisant des ressources de calcul dans différentes régions AWS. En utilisant l'inférence inter-régions, les clients d'Amazon Bedrock Knowledge Base utilisant l'API RetrieveAndGenerate pourront bénéficier de limites de débit plus élevées et d'une résilience améliorée pendant les périodes de forte demande. En optant pour cette fonctionnalité, les développeurs n'ont plus besoin de passer du temps et des efforts à prédire les fluctuations de la demande. À la place, l'inférence inter-régions achemine dynamiquement le trafic vers plusieurs régions, garantissant une disponibilité optimale pour chaque requête et des performances plus fluides pendant les périodes de forte utilisation. Pour utiliser l'inférence inter-régions, les clients doivent spécifier un profil d'inférence en tant que « modelARN » dans la requête de l'API RetrieveAndGenerate. Il n'y a pas de coût supplémentaire pour l'acheminement lié à l'utilisation de l'inférence inter-régions et vous serez facturé en fonction de la région à partir de laquelle vous avez effectué la requête (région source). Vous trouverez la liste des modèles pris en charge et des régions prédéfinies ici. Pour en savoir plus sur cette fonctionnalité et pour commencer, veuillez consulter la documentation d'Amazon Bedrock ou ce blog.