Infrastructure Ray à Pinterest
En 2023, Pinterest a commencé à intégrer Ray dans son infrastructure, rencontrant des défis tels que l'accès limité à l'API K8s, la journalisation et les métriques éphémères, et les exigences d'authentification. Pour répondre à ces défis, Pinterest a développé un contrôleur de cluster Ray et une passerelle API pour gérer la mise en place de clusters Ray et traiter l'authentification. Ils ont également créé une interface utilisateur dédiée pour la journalisation et les métriques persistantes, et ont intégré avec leur base de données chronologique maison (Goku) pour la visualisation des métriques. Pinterest propose plusieurs interfaces de développement pour les applications Ray, y compris Jupyter, Dev server et Spinner workflow. Des frameworks de test unitaire et d'intégration sont offerts pour le développement et le test des applications. L'analyse de données hors ligne est rendue possible en exportant les métriques de cluster au format de données volumineuses pour l'analyse hors ligne. L'infrastructure Ray de Pinterest intègre les meilleures pratiques de Ray et répond aux besoins uniques de l'entreprise, y compris la sécurité, les paramètres de trafic et les intégrations de service. La plateforme offre un contrôle centralisé sur la gestion des clusters Ray et simplifie le processus pour les utilisateurs.