Упала метрика после запуска
Что проверяет: диагностика падения метрики в тесте, подглядывание, проверка здоровья
🧪 Крайне популярная задача на АБ с собеседований
Эту задачу я встречал на продуктовых секциях в самых разных компаниях и формулировках. Её суть следующая:
Мы запустили АБ эксперимент. Ключевая метрика – конверсия из регистрации в покупку. До эксперимента она стабильно колебалась от дня к дню в диапазоне 10±1%.
Тест планировалось проводить 2 недели. Но через 3 дня прибегает продуктовый менеджер и говорит:
«В контрольной группе конверсия осталась в том же диапазоне, а в тесте - упала до 7±1%! Мы теряем деньги! Давайте останавливать тест!»
Как бы вы подошли к такой ситуации? Согласились остановить эксперимент и признали бы его неудачным? Или настояли продолжить собирать выборку, чтобы выдержать методологию?