Apparate: модели раннего завершения работы для оптимизации задержки и пропускной способности машинного обучения — проектирование

Apparate — это комплексная система, которая автоматически интегрирует ранние выходы в модели и управляет их работой на протяжении всего процесса вывода. Ее главная цель — оптимизировать задержки по каждому запросу, соблюдая строгие ограничения по точности и производительности. Кроме того, Apparate вводит два параметра: агрессивность и Os’, которые работают поверх существующих платформ обслуживания.