Байесовское тестирование А/В не оправдывает ожиданий

Автор утверждает, что байесовское тестирование А/В часто неправильно понимается и может привести к завышению ложноположительных результатов, смещению и сложным результатам. Байесовская статистика включает в себя предыдущие знания или убеждения, обновляя эту предыдущую информацию с новыми данными для получения постериорного распределения. В байесовском тестировании А/В тест предназначен для расчета вероятности того, что вариант лечения лучше, чем контрольный вариант, и принятие решения основано на этом показателе. Три распространенных аргумента в пользу байесовских тестов - возможность остановить эксперимент рано, использование предыдущих знаний и интуитивный язык и терминология. Однако автор утверждает, что эти аргументы ошибочны. Возможность остановить рано не является уникальной для байесовского тестирования, а просмотр данных может привести к завышению ложноположительных результатов. Использование предыдущих знаний может быть вводящим в заблуждение и может не добавлять значительной ценности эксперименту. Фактически, использование сильного приора может привести к меньшему указанию на разницу между вариантами. Автор предлагает, что последовательные тестовые фреймворки в подходе частотников могут помочь смягчить проблемы просмотра данных, сохраняя контроль над ложноположительными результатами. В конечном итоге, автор заключает, что байесовское тестирование А/В не является по своей сути лучше, чем тестирование частотников, и что его популярность может быть связана с непониманием его преимуществ.