Réglage fin de la mise à l'échelle automatique pour vos pipelines Dataflow Streaming

Le traitement en continu fournit des informations en temps réel sur les données, utilisées dans des applications telles que la détection de fraudes et l'IoT. Dataflow offre des fonctionnalités de mise à l'échelle automatique pour ajuster automatiquement la capacité de calcul des tâches en continu. Ces fonctionnalités incluent la mise à l'échelle automatique horizontale et verticale, Streaming Engine assurant une mise à l'échelle plus fluide en réponse aux changements de volume de données. Les clients peuvent avoir besoin de personnaliser les paramètres de mise à l'échelle automatique, comme ajuster le nombre minimal et maximal de workers pendant l'exécution. Pour répondre à ce besoin, Dataflow a introduit des mises à jour de tâches en cours d'exécution pour une mise à l'échelle automatique étalonnée par l'utilisateur. Cette fonctionnalité permet aux utilisateurs de mettre à jour les limites des workers pendant l'exécution sans provoquer de retards de traitement, ce qui garantit le respect de la latence. Elle est disponible via la console Google Cloud ou l'API Dataflow Update. Yahoo a implémenté avec succès cette fonctionnalité pour mettre à jour ses pipelines en continu sans violer les accords de niveau de service (SLA), ce qui réduit les pics de latence et optimise les coûts. Dataflow offre diverses fonctionnalités de mise à l'échelle automatique, dont Streaming Engine et les mises à jour des tâches en cours d'exécution, ce qui permet aux utilisateurs d'affiner la mise à l'échelle automatique en fonction de leurs besoins spécifiques. La mise à l'échelle automatique est cruciale pour garantir une faible latence et optimiser les coûts. Dataflow fournit des fonctionnalités complètes de mise à l'échelle automatique pour simplifier ce processus. Contactez l'équipe commerciale de Google Cloud pour plus d'informations et des mises à jour sur les futures améliorations.