RSS Stories by Pinterest Engineering on Medium
Подписаться
Инфраструктура Ray в Pinterest
В 2023 году Pinterest начал интегрировать Ray в свою инфраструктуру, столкнувшись с такими проблемами, как ограниченный доступ к API K8s, временные журналы и метрики, а также требования к аутентификации. Чтобы преодолеть эти препятствия, Pinterest разработал Ray Cluster Controller и API Gateway для управления развертыванием Ray Cluster и обработки аутентификации. Они также создали отдельный интерфейс пользователя для постоянного журналирования и метрик, и интегрировались с внутренней базой временных рядов (Goku) для визуализации метрик. Pinterest предлагает несколько интерфейсов разработки для приложений Ray, включая Jupyter, Dev сервер и Spinner workflow. Предоставляются фреймворки для разработки и тестирования приложений, включая модульные и интеграционные тесты. Оффлайн-анализ данных возможен благодаря экспорту метрик кластера в формат больших данных для оффлайн-анализа. Инфраструктура Ray в Pinterest включает в себя лучшие практики из Ray и решает уникальные требования компании, включая безопасность, настройки трафика и интеграцию с сервисами. Платформа обеспечивает централизованное управление развертыванием Ray Cluster и упрощает процесс для пользователей.