Программы
Подготовка к собеседованиямA/B-тесты для аналитиковML и Causal InferenceA/B-тесты для менеджеровОбучение для командБаза знанийОтзывыО проектеОставить заявку
Дорожная карта · A/B-тестирование

Roadmap по A/B-тестированиюот базы до продвинутых экспериментов

Пошаговая карта изучения A/B: культура экспериментов, статистика, дизайн теста, платформы, ускорение, A/B без A/B и сетевые эффекты.

  • базовая статистика и дизайн теста
  • запуск, анализ и типовые ошибки
  • CUPED, sequential, Bayesian, A/B без A/B
Как проходить роадмап
01–04База: культура + статистика
05–09Практика: дизайн, запуск, анализ
10–14Продвинутый уровень
14 глав
20+ тем
102 материала
83 статьи
14 видео
4 книги и курса
Павел Бухтик

Собрал этот роадмап как карту самостоятельного погружения в A/B: от статистики и дизайна эксперимента до ускорения тестов, A/B без A/B и сетевых эффектов. Есть сильный материал — присылай, добавлю.

Павел Бухтик
Есть материал по теме?

Если знаешь крутой материал по A/B, которого нет в роадмапе — присылай, добавлю.

Прислать →
01 / Оглавление

Выбери уровень и переходи к материалам

Как проходить роадмап

01
База

Пойми, зачем нужны эксперименты, как работает статистика и как устроено сплитование.

02
Практика A/B

Научись проектировать тест, запускать его, считать результат и не ошибаться с ratio-метриками.

03
Продвинутый уровень

Разбери кейсы, где классический A/B не работает: sequential, Bayesian, CUPED и сетевые эффекты.

Хочешь пройти этот путь системно?

На авторском курсе разбираем все главы роадмапа с практикой: дизайн тестов, статистику, платформы, ускорение A/B и типовые ошибки.

Смотреть курс по A/B →
02 / Материалы

Материалы по главам

Все 102Статьи 83Видео 14Книги 2Курсы 2Калькуляторы 1

Фильтруй по формату — статьи, видео, книги, курсы и калькуляторы

02

Статистические основы A/B тестирования

База, без которой сложно корректно проектировать тесты: репрезентативность выборки, статистические критерии, размер выборки, bootstrap и дисбаланс.

03

A/B платформы и сплитование

Как устроены A/B-платформы изнутри: hash-функции, сплитование и распределение трафика. Проверка корректности через А/А-тесты, SRM и SSRM.

06

Запуск и проведение A/B

Паттерны надёжного эксперимента во время его проведения. Selection bias, novelty-эффект и primacy-эффект в A/B-тестах.

07

Подведение итогов A/B

Постэкспериментальный анализ и типичные ошибки интерпретации результатов. Как не сделать ложные выводы из данных теста.

09

Множественное сравнение

Проблема множественного тестирования: как контролировать Family-Wise Error Rate и False Discovery Rate в продуктовых экспериментах.

10

A/B без A/B

Causal inference и наблюдательные методы для ситуаций, когда рандомизация невозможна или нецелесообразна.

13

Ускорение A/B

Как ускорить A/B-тесты без потери корректности: прокси-метрики, стратификация, CUPED, CUPAC, VWE и ранговая трансформация.

14

Сетевой эффект

Тестирование продуктов с сетевыми эффектами: гео-зоны, кластеризация социальных графов и switchback-эксперименты.

Хочешь изучить это с практикой?

На авторском курсе разбираем все главы роадмапа на реальных кейсах с проверкой домашних заданий.

Смотреть курс по A/B →