Ошибки в проведении A/B-тестов: проблема подглядывания
Проблема подглядывания заключается в принятии решения по эксперименту раньше, чем наберется необходимая выборка. В результате таких решений возрастает вероятность ошибки первого рода. Как следствие, бизнес принимает больше неверных решений.
Об этой проблеме знают и говорят многие. Тем не менее, я часто сталкиваюсь с подобной проблемой при работе даже с опытными менеджерами и C-level’ом. Симптомы зачастую типичные:
«Прокрасилась, не будем ждать, раскатываем!»
«Не прокрашивается, зачем ждать, проверяем следующую гипотезу!»
«Почему эти метрики прокрашиваются, если логически не должны были? И что что выборка не набралась?»
Мотивы руководства можно понять: чем быстрее принимаем решения – тем потенциально больше можем заработать или меньше потерять. Но при несоблюдении методологии проведения A/B-тестов выходит ровно наоборот.
В таких случаях, как опытному специалисту, вам следует прояснить руководству риски такого подхода. В своем обосновании обязательно опирайтесь не только на сухую методологию, но и факты из предыдущего опыта проведения экспериментов в компании.
A/B-тесты
Хочешь глубже разобраться в аналитике?
Посмотри программу курса по продуктовой аналитике и экспериментам.