Проверка A/B теста до тех пор, пока он не достигнет p < 0,05, может превратить номинальную частоту ложноположительных результатов в 5 процентов почти в 28 процентов. Я использую симуляцию с начальным значением, чтобы показать, насколько велик ущерб, и сравнить исправления, которые сохраняют честность ранней остановки.