Medium上のPinterest EngineeringによるRSSストーリー フォロー PinterestにおけるAWS EC2でのネットワーク帯域制限の対処 Pinterestはビジュアル検索エンジンとしてAWS上で稼働しており、コンピューティング基盤にはAmazon EC2インスタンスを使用しています。同社は、EC2インフラストラクチャ、特にオンラインストレージシステムの管理において、EC2のネットワークパフォーマンスとそのアプリケーションの信頼性とパフォーマンスへの影響に関する明確な洞察が不足しているという大きな課題に直面していました。この問題に対処するため、PinterestはEC2フリートのネットワークパフォーマンス監視を開発し、ネットワークバーストを管理するための手法を実装することで、重要なオンラインサービスワークロードの信頼性の高いネットワークパフォーマンスを確保しました。同社は、ユーザーシーケンスの提供において問題を抱えており、これは大きなユーザーエンゲージメントの向上をもたらしましたが、同時にサービスレイテンシとアプリケーションタイムアウトを引き起こしました。EC2インスタンスの移行中、Pinterestは多くのクラスタでパフォーマンスの著しい低下を経験し、アプリケーションタイムアウトが発生しました。同社は、ネットワーク許容量を超えるマイクロバーストが原因で、EC2インスタンスがネットワークスロットリングを受けていることを発見しました。EC2ネットワークスロットリングの動作をより透明にするため、Pinterestはethtoolなどのツールを使用して、EC2インスタンスで生のカウンターにアクセスできるようにインスタンスをアップグレードしました。同社は内部メトリクス収集エージェントを修正し、これらのカウンターをスクレイピングしてメトリクスストレージに取り込みました。これらのENAメトリクスをEC2フリート全体に展開することで、PinterestはAWSトラフィックシェーピングに関する前例のない可視性を獲得し、ネットワークスロットリングを軽減するための様々な最適化を実装しました。同社はまた、きめ細かいS3レート制限、データバックアップチューニング、ネットワーク圧縮など、ネットワークバーストを処理するための手法も検討しました。 Handling Network Throttling with AWS EC2 at Pinterest medium.com
ethtoolなどのツールを使用して、EC2インスタンスで生のカウンターにアクセスできるようにインスタンスをアップグレードしました。同社は内部メトリクス収集エージェントを修正し、これらのカウンターをスクレイピングしてメトリクスストレージに取り込みました。これらのENAメトリクスをEC2フリート全体に展開することで、PinterestはAWSトラフィックシェーピングに関する前例のない可視性を獲得し、ネットワークスロットリングを軽減するための様々な最適化を実装しました。同社はまた、きめ細かいS3レート制限、データバックアップチューニング、ネットワーク圧縮など、ネットワークバーストを処理するための手法も検討しました。