ピンタレストのRay インフラストラクチャー ノート

ピンタレストのRay インフラストラクチャー

2023年、PinterestはRayをインフラストラクチャーに統合し始めましたが、K8s APIアクセスの制限、ephemeral loggingとmetrics、認証要件など、幾つかの課題に遭遇しました。これらの問題に対処するために、PinterestはRay Cluster ControllerとAPI Gatewayを開発し、Ray Clusterのプロビジョニングと認証を管理しました。彼らはまた、永続的なログとmetricsのための専用のUIを構築し、時間系列データベース(Goku)との統合でmetricsの可視化を実現しました。Pinterestは、Rayアプリケーションの開発者向けに、Jupyter、Dev server、Spinner workflowなど、複数の開発インターフェースを提供しています。アプリケーションの開発とテストのためのユニットテストと統合テストフレームワークも提供されています。オフラインでのデータ分析は、クラスターメトリクスを大規模データ形式にエクスポートし、オフライン分析を可能にしています。PinterestのRay Infrastructureは、Rayのベストプラクティスと、セキュリティ、トラフィック設定、サービス統合など、会社の固有の要件を組み合わせています。このプラットフォームは、Ray Clusterの管理を中央で制御し、ユーザーがRayを使用するプロセスを簡略化します。