Piqama: Экосистема управления ... Заметка

Piqama: Экосистема управления квотами Pinterest

Pinterest разработал Piqama, универсальную платформу управления квотами, для контроля использования ресурсов в различных системах. Piqama управляет всем жизненным циклом квот, включая управление схемами, проверку и авторизацию обновлений через централизованный портал. Платформа предоставляет стратегии принудительного исполнения и наказания по умолчанию, позволяя настраивать их с помощью логики, специфичной для приложений. Функции управления и оптимизации включают сбор статистики использования и включение автоматического изменения размеров для эффективного распределения ресурсов. Бюджеты и квоты взаимосвязаны, при этом системы возмещения затрат влияют на настройки квот и распределение ресурсов. Piqama реализована в двух областях: управление квотами на основе емкости для платформы обработки больших данных и квоты ограничения скорости для онлайн-хранилища. В платформе обработки больших данных Piqama управляет памятью, vcore и одновременными приложениями, с автоматической и ручной настройкой квот. Платформа обработки больших данных использует Yunikorn и базу данных ресурсов для точного расчета и применения квот. Внедрена новая структура ограничения скорости для онлайн-хранилища для улучшения распределения системных ресурсов и контроля затрат. Структура ограничения скорости направлена на оптимизацию управления жизненным циклом, связывание ограничения скорости с использованием ресурсов и использование Piqama в качестве плоскости управления. Этот подход предлагает надежное, гибкое и централизованное решение для управления ресурсами на различных платформах Pinterest, чтобы избежать каких-либо ручных настроек.
CdXz5zHNQW_acxjx5IRwX.png