Бариста: обеспечение большей гибкости в развертывании моделей машинного обучения

Развертывание моделей машинного обучения (МО) включает переход от экспериментов к строгим инженерным ограничениям, что создает проблемы в достижении баланса между гибкостью и стабильностью. Команда платформы машинного обучения Etsy использует Kubernetes для масштабирования и оркестрации моделей, а Barista управляет развертыванием моделей. Изначально конфигурации моделей управлялись как код, что обеспечивало тесный контроль, но приводило к задержкам и узким местам. Чтобы решить эти проблемы, конфигурации были отделены и хранены в базе данных, что позволило делать мгновенные изменения через CLI. Однако CLI требовал технических навыков, что привело к разработке пользовательского интерфейса веб-интерфейса для управления моделями. Веб-интерфейс Barista предоставляет полный контроль над развертываниями, интегрируется с разными API и упрощает процесс развертывания. Увеличившиеся темпы развертывания моделей вызвали беспокойство по поводу затрат и неправильных конфигураций, что привело к внедрению Kube Downscaler для автоматического масштабирования неработающих развертываний. Сфера внимания сместилась от удовлетворения основных технических требований к созданию полного продукта, который позволяет пользователям МО. Сейчас усилия направлены на улучшение связности услуг и автоматизацию для оптимизации настройки инфраструктуры и дальнейшего уменьшения затрат на облачные ресурсы. Поскольку практика МО растет, платформа должна продолжать развиваться, чтобы удовлетворять растущим потребностям команды.