Чеклист A/B-эксперимента
от идеи до финального решения

• Обозначена проблематика
• Сформулирована продуктовая гипотеза
• Есть понимание масштаба и направления изменения ключевой метрики
• Есть оценка экономической целесообразности изменения (посчитана точка безубыточности)
• Есть оценка рисков
• Есть оценка ограничений
• Есть понимание, что нужен именно A/B-тест
• Есть понимание, какой именно нужен эксперимент (учтён сетевой эффект, оффлайн и т. д.)
• Сформулирован бизнес-критерий успеха
• Составлен план действий по бизнес-решению

Подготовка

• Изучены макеты продуктового изменения
• Изучена техническая реализация изменения
• Заведены все необходимые события для логирования

Сплитование

• Чётко определён сегмент эксперимента и его ограничения
• Указан способ формирования (например, по юзерам) и балансировки выборки (на какой слой, слот)
• Нет вероятности пересечений и конфликтов с другими экспериментами

Метрики и риски

• Определена ключевая метрика, связанная с гипотезой
• Подобраны прокси-метрики (если нужно)
• Есть оценка рисков эксперимента
• Подобраны заградительные метрики (которые не хотим просадить)
• Подобраны информационные метрики (не влияющие на решения, но которые хотелось бы посмотреть)
• Чётко обозначены красные линии эксперимента для остановки

Статистика

• Выбраны статистические критерии для каждой метрики
• Отношение групп и механизм раскатки подобраны оптимально (90/10, 50/50 и т. д.)
• Для метрик оптимально подобран MDE, определены альфа и бета, посчитан размер выборки
• Определена длительность эксперимента

Поправки

• Учтён эффект новизны и сопротивления новому
• Учтена возможность подглядывания в результаты теста
• Учтена внутренняя сезонность
• Учтено окно конверсии
• Учтены потенциальные выбросы
• Учтены поправки на множественные сравнения

Ускорение

• Определено, нужно ли ускорение теста или повышение чувствительности
• Подобранные прокси-метрики дают достаточную чувствительность
• Чётко определён способ ускорения теста

Проверки

• Критерий проверен на исторических данных (симуляция 1000 A/A-тестов для каждой новой метрики)
• Изменение технически реализовано так, как было заявлено
• Продукт прошёл тестирование пользовательских сценариев изменения перед выкладкой
• На момент запуска и проведения не будет пересечений и конфликтов с другими экспериментами

Финал

• План действий уточнён с учётом метрик
• Всех стейкхолдеров устраивает дизайн (особенно: длительность, метрики, MDE, риски)

Запуск

• Нововведение технически работает как надо
• Проверена корректность логирования
• Нет проблем в репрезентативности
• Нет несоответствия в соотношении выборок (SRM)
• Нет резкого падения или роста в метриках
• Нет перетекания пользователей между группами

Проведение

• Нет проблем в репрезентативности
• Нет несоответствия в соотношении выборок (SRM)
• В динамике поведения метрик нет странностей
• Нет перетекания пользователей между группами
• Проведена проверка появления эффектов новизны и сопротивления новому. Проработано их влияние
• Эксперимент не останавливался без сбоя

Анализ результатов

• Все пункты из «проведения» теста
• Определены статистически значимые изменения метрик
• Есть чёткие ответы по первоначальной гипотезе
• Есть понимание, как результаты соотносятся с другими тестами и видением продукта
• Ёмко сформулированы и зафиксированы результаты
• Оглашены результаты, проведена презентация
• Есть не только выводы, но и конкретные предложения по дальнейшим действиям

Завершение эксперимента

• Выполнен первоначальный action-план — эксперимент раскатили или откатили
• Результаты теста внесены в базу знаний
• Поставлены задачи на выпил эксперимента из кода продукта
• После раскатки метрики ведут себя как ожидалось