Развертывание моделей машинного обучения (МО) включает переход от экспериментов к строгим инженерным ограничениям, что создает проблемы в достижении баланса между гибкостью и стабильностью.Команда платформы машинного обучения Etsy использует Kubernetes для масштабирования и оркестрации моделей, а Barista управляет развертыванием моделей.Изначально конфигурации моделей управлялись как код, что обеспечивало тесный контроль, но приводило к задержкам и узким местам.Чтобы решить эти проблемы, конфигурации были отделены и хранены в базе данных, что позволило делать мгновенные изменения через CLI.Однако CLI требовал технических навыков, что привело к разработке пользовательского интерфейса веб-интерфейса для управления моделями.Веб-интерфейс Barista предоставляет полный контроль над развертываниями, интегрируется с разными API и упрощает процесс развертывания.Увеличившиеся темпы развертывания моделей вызвали беспокойство по поводу затрат и неправильных конфигураций, что привело к внедрению Kube Downscaler для автоматического масштабирования неработающих развертываний.Сфера внимания сместилась от удовлетворения основных технических требований к созданию полного продукта, который позволяет пользователям МО.Сейчас усилия направлены на улучшение связности услуг и автоматизацию для оптимизации настройки инфраструктуры и дальнейшего уменьшения затрат на облачные ресурсы.Поскольку практика МО растет, платформа должна продолжать развиваться, чтобы удовлетворять растущим потребностям команды.