Большая проблема обычных экспериментов или A/B-тестирования заключается в том, что эффект лечения может меняться со временем и зависеть от всей истории лечения. Обычные сравнения упускают этот момент.
Андреа Бронзини указывает на эту статью и пишет: Я работаю над инструментами для экспериментов и написал краткую заметку о режиме сбоя, который я постоянно вижу: A/B-тесты, которые "выигрывают", часто теряют прирост после внедрения. Мое утверждение заключается в том, что типичная настройка...
