Хранилище "ключ-значение" Airbnb, Mussel, изначально использовало простое ограничение скорости QPS, чтобы предотвратить перегрузку системы отдельными клиентами. По мере роста трафика и его усложнения этот подход оказался недостаточным из-за разницы в стоимости и перекоса трафика. Для решения этой проблемы Mussel развился до реализации многоуровневой системы качества обслуживания (QoS). Первый уровень, Resource-Aware Rate Control (RARC), взимает плату за запросы в Request Units (RU), которые учитывают строки, байты и задержку, отражая фактическую стоимость бэкенда. Эта система использует токенные корзины со статическими квотами RU для каждого вызывающего абонента.Второй уровень, сброс нагрузки, обеспечивает защиту в реальном времени при перегрузке емкости или возникновении горячих точек. Он сочетает в себе критичность трафика, коэффициент задержки, указывающий на нагрузку на систему, и политику очереди, вдохновленную CoDel. Это позволяет высокоприоритетному трафику оставаться отзывчивым и плавно снижать нагрузку на другой трафик при увеличении задержки. Третий уровень, обнаружение горячих ключей и защита от DDoS, выявляет и смягчает всплески идентичных запросов, нацеленных на конкретные данные. Он использует счетчик top-k в памяти для обнаружения в реальном времени, локальное кэширование на модулях диспетчера и объединение запросов, чтобы отправлять только один запрос на уровень хранения для дублирующихся поисков горячих ключей.Эти многоуровневые элементы управления значительно улучшили способность Mussel справляться со скачками трафика и поддерживать надежность. Основные выводы включают ценность раннего воздействия для проверки концепций, предпочтение локальных контуров управления для масштабируемости и использование механизмов, работающих в разных временных масштабах. Этот сложный стек QoS гарантирует, что Mussel остается быстрым и надежным даже в экстремальных и нестабильных условиях трафика.