RSS HackerNoon

Apparate: модели раннего завершения для оптимизации задержки и пропускной способности машинного обучения — подготовка моделей

Идея состоит в том, что такие рампы используют все доступные выходы данных от обработки исходной модели, чтобы повысить точность своих предсказаний. Apparate принимает модель в формате ONNX — широко используемый ПП, который представляет вычисления в виде ориентированного ациклического графа 6. После получения Apparate сначала должна определить кандидатные слои для добавления рампы.
hackernoon.com
Apparate: Early-Exit Models for ML Latency and Throughput Optimization - Preparing Models