Inférence Ray Batch sur Pinter... Note

Inférence Ray Batch sur Pinterest (Partie 3)

Alex Wang, Lei Pan, Raymond Lee, Saurabh Vishwas Joshi et Chia-Wei Chen ont discuté de l'utilisation de Ray en tant que cadre de traitement de données de dernière étape chez Pinterest. Ils ont décrit comment Ray a été intégré dans leur infrastructure ML et comment il a résolu des problèmes commerciaux critiques. Dans cet article, ils ont discuté d'un deuxième type d'application populaire de Ray chez Pinterest : l'inférence par lots hors ligne de modèles ML. Ils ont également partagé comment leur implémentation a pu offrir une augmentation de débit de 4,5 fois et des économies de coûts de 30 fois.