Pinterestで、我々は大規模なオンライン機械学習推論システムを運営しており、特徴キャッシュが最適な効率を達成するために臨む役割を果たしています。メタ・オープン・ソースのCachelibプロジェクトを採用し、拡張機能を追加して高スループットかつ柔軟な特徴キャッシュを構築しました。私たちのシステムは、ML特徴を効果的に提供するためにキャッシュ・システムに大きく依存しており、システム内のキャッシュの配置が非常に重要です。ML推論プラットフォームがCPUからGPUサーバーに移行するにつれて、システム・アーキテクチャーも進化しました。3つの異なるキャッシュ・アーキテクチャーを試験しました：Sharded DRAM Cache、Single Node Hybrid DRAM + NVM Cache、Separate Cache and Inference Nodes。新しいノードがトラフィックを開始する前に、冷たいキャッシュを温めるためのパイプラインも実装しました。このパイプラインは、特徴リクエストのログ記録、S3へのログのアップロード、新しいノードでのリクエストのリプレイを含みます。