Maestro : l'Orchestrateur de Flux de Travail de Netflix
Maestro, l'orchestrateur de flux de travail open-source de Netflix, est conçu pour les pipelines de données à grande échelle et les workflows d'apprentissage automatique. Il prend en charge à la fois les workflows acycliques et cycliques, y compris des modèles réutilisables comme les boucles foreach, les sous-workflows et les embranchements conditionnels. Maestro offre une scalabilité horizontale pour gérer un grand nombre de workflows et de travaux au sein d'un seul workflow. Il propose un format de définition de workflow flexible en JSON, combinant les champs fournis par l'utilisateur et gérés par Maestro. Les stratégies d'exécution des workflows de Maestro comprennent les modes séquentiel, strictement séquentiel, premier-seul, dernier-seul et parallèle avec des options de limitation de concurrence. Le langage d'expression et les paramètres de Maestro permettent des paramètres dynamiques, l'injection de code et la partage d'état entre les workflows et les étapes. Il fournit également des paramètres de sortie pour l'exécution d'étapes appelables et des workflows paramétrés pour une flexibilité et une facilité de gestion accrues. Maestro inclut des blocs de construction courants comme le support foreach, les sous-workflows et les embranchements conditionnels, permettant de définir facilement les modèles de flux de données et d'autres modèles de workflow.