Airbnbs Key-Value-Store Mussel verwendete ursprünglich ein einfaches QPS-Rate-Limiting, um zu verhindern, dass einzelne Clients das System überlasten. Als der Datenverkehr wuchs und komplexer wurde, erwies sich dieser Ansatz aufgrund von Kostenabweichungen und Traffic-Skew als unzureichend. Um dies zu beheben, entwickelte sich Mussel zu einem mehrschichtigen Quality-of-Service (QoS)-System. Die erste Schicht, Resource-Aware Rate Control (RARC), berechnet Anfragen in Request Units (RU), die Zeilen, Bytes und Latenz berücksichtigen und die tatsächlichen Backend-Kosten widerspiegeln. Dieses System verwendet Token-Buckets mit statischen RU-Quoten für jeden Aufrufer.Die zweite Schicht, Load Shedding, bietet Echtzeitschutz, wenn die Kapazität überlastet ist oder Hotspots entstehen. Es kombiniert die Kritikalität des Datenverkehrs, ein Latenzverhältnis, das die Systembelastung anzeigt, und eine von CoDel inspirierte Warteschlangenrichtlinie. Dies ermöglicht es, dass der Datenverkehr mit hoher Priorität reaktionsfähig bleibt und anderen Datenverkehr sanft zurückweist, wenn die Latenz zunimmt. Die dritte Schicht, Hot-Key-Erkennung und DDoS-Abwehr, identifiziert und mildert Anstiege identischer Anfragen, die auf bestimmte Daten abzielen. Sie verwendet einen In-Memory-Top-k-Zähler zur Echtzeiterkennung, lokales Caching auf Dispatcher-Pods und Request Coalescing, um nur eine Anfrage an die Speicherschicht für doppelte Hot-Key-Lookups zu senden.Diese mehrschichtigen Kontrollen haben die Fähigkeit von Mussel, Traffic-Spitzen zu bewältigen und die Zuverlässigkeit zu erhalten, erheblich verbessert. Zu den wichtigsten Erkenntnissen gehören der Wert des frühen Impacts für die Validierung von Konzepten, die Bevorzugung lokaler Kontrollschleifen für die Skalierbarkeit und der Einsatz von Mechanismen, die auf unterschiedlichen Zeitskalen arbeiten. Dieser ausgeklügelte QoS-Stack stellt sicher, dass Mussel auch unter extremen und volatilen Verkehrsbedingungen schnell und zuverlässig bleibt.