Apparate: модели раннего выхода для оптимизации задержки и пропускной способности машинного обучения — модели раннего выхода

«Модели раннего выхода 53,57 представляют собой альтернативный способ решения этого противоречия путем переосмысления точности вывода. Ключевая предпосылка состоит в том, что некоторым „легким“ входным данным может не потребоваться полной предсказательной силы модели для получения точного результата. В таких случаях отказаться от выполнения модели может привести к пропорциональному сокращению как задержки на запрос, так и объема вычислений».