Construire un consommateur SQS évolutif en Go

" Dans ce billet, l'auteur partage son expérience d'implémentation d'un consommateur SQS robuste en Go pour gérer les événements d'inscription des utilisateurs pour Keycloak. La solution utilise le modèle de concurrence fan-out/fan-in pour traiter les messages de manière efficace sans surcharger les ressources système. Le modèle fan-out/fan-in est parfait pour ce cas d'utilisation car il maintient un pool fixe de goroutines travailleuses, répartit le travail de manière équitable entre les travailleuses, empêche l'épuisement des ressources et offre une meilleure maîtrise des opérations concurrentes. L'implémentation se compose de trois composants principaux : Récepteur de messages, Pool de travailleuses et Canal de messages. Les paramètres de configuration clés incluent MaxNumberOfMessages, WaitTimeSeconds et VisibilityTimeout. Le pool de travailleuses est où le modèle fan-out entre en jeu, en démarrant 10 travailleuses pour traiter les messages en parallèle. La gestion des messages dupliqués est assurée à l'aide d'un sync.Map. Les meilleures pratiques et les enseignements comprennent la gestion des erreurs, la nettoyage des messages, la fermeture gracieuse et la surveillance. Les considérations de performance impliquent de choisir le bon nombre de travailleuses, la taille de lot et le délai de visibilité. Les améliorations futures pourraient inclure la mise à l'échelle dynamique des travailleuses, un disjoncteur, la collecte de métriques, la gestion de la file d'attente morte et les réessais. Le modèle fan-out/fan-in offre une solution élégante pour traiter les messages SQS en grande quantité en Go, en maintenant un pool de travailleuses fixe pour éviter l'épuisement des ressources et assurer le traitement efficace des messages.