Apparate: модели раннего завершения для оптимизации задержки и пропускной способности машинного обучения — проблемы

Несмотря на множество предложений по эффективному использованию ресурсов (EE) от сообщества машинного обучения, несколько проблем затрудняют их практическое применение, что приводит к низким показателям внедрения. Хотя выходные точки могут позволить некоторым входным данным избежать последующих вычислений модели, они накладывают две новые накладные расходы на обслуживание модели. Например, DeeBERT увеличивает общие требования к памяти на 6,56% по сравнению с BERTbase.