Для специалистов по машинному обучению естественно ожидать, что новая модель машинного обучения, показывающая многообещающие результаты в офлайн-тестировании, будет успешной и в продакшене. Но часто это не так. Модели машинного обучения, которые превосходят другие на тестовых данных, могут показывать худшие результаты для реальных пользователей в продакшене. Это расхождение между офлайн- и онлайн-метриками часто является большой проблемой в прикладных [...]