Umgang mit Netzwerk-Drosselung... Notiz

Umgang mit Netzwerk-Drosselung bei AWS EC2 bei Pinterest

Pinterest, eine visuelle Suchmaschine, läuft auf AWS und nutzt Amazon EC2-Instanzen für seine Rechenkapazität. Das Unternehmen identifizierte eine erhebliche Herausforderung bei der Verwaltung seiner EC2-Infrastruktur, insbesondere der Online-Speichersysteme, aufgrund mangelnder Transparenz bezüglich der Netzwerkperformance von EC2 und deren Auswirkungen auf die Zuverlässigkeit und Performance der Anwendungen. Um dies zu beheben, entwickelte Pinterest ein Netzwerk-Performance-Monitoring für seine EC2-Flotte und implementierte Techniken zur Steuerung von Netzwerk-Spitzen, um eine zuverlässige Netzwerkperformance für kritische Online-Serving-Workloads sicherzustellen. Das Unternehmen hatte Probleme mit dem User-Sequence-Serving, was zwar zu erheblichen Gewinnen bei der Nutzerbindung führte, aber auch zu Latenzen und Anwendungsausfällen führte. Während einer Migration von EC2-Instanzen erlebte Pinterest eine deutliche Performance-Verschlechterung über viele Cluster hinweg, was zu Anwendungsausfällen führte. Das Unternehmen stellte fest, dass die EC2-Instanzen aufgrund von Mikrobursts, die die Netzwerkkapazität überschritten, Netzwerk-Drosselungen erlebten. Um das Verhalten der EC2-Netzwerkdrosselung transparenter zu gestalten, aktualisierte Pinterest seine Instanzen, um über Tools wie ethtool auf Rohdaten-Zähler einer EC2-Instanz zuzugreifen. Das Unternehmen modifizierte seinen internen Metrikerfassungsprozess, um diese Zähler auszulesen und in seinen Metrikspeicher zu importieren. Durch die Einführung dieser ENA-Metriken in seine gesamte EC2-Flotte erlangte Pinterest beispiellose Einblicke in das AWS Traffic Shaping und implementierte verschiedene Optimierungen zur Minderung von Netzwerk-Drosselungen. Das Unternehmen untersuchte auch Techniken zur Behandlung von Netzwerk-Spitzen, darunter fein granulare S3-Ratenbegrenzung, Optimierung der Datensicherung und Netzwerkkompression.
CdXz5zHNQW_DGfWhUSLvs.jpeg