Систематизируй A/B в чёткую методологию: дизайн и интерпретация экспериментов, ускорение тестов, сетевые эффекты.
🔥 Идёт набор · Оставь заявку, чтобы узнать дату ближайшего старта
Это не просто курс про A/B-тесты.
Это методология проверки гипотез: ты научишься превращать идеи в корректные эксперименты, анализировать результаты, заранее видеть риски и помогать команде принимать решения на основе данных.
Конкретные навыки, которые останутся с тобой и будут работать на собеседовании и в проде.
Переводить продуктовые гипотезы в корректный дизайн эксперимента
Выбирать primary, guardrail и proxy-метрики под задачу
Самостоятельно проводить A/B-тест: от сплита до решения
Ускорять эксперименты с помощью методов снижения дисперсии
Корректно работать с ratio-метриками и множественным тестированием
Выстраивать методологию и процессы A/B-тестирования в компании
Уже проходил другие курсы по A/B, но пошёл к Павлу за глубиной.
«Сейчас мы подготовлены на все случаи жизни в плане A/B».
Упорно делала все домашки и блестяще закончила курс.
«Одно из самых больших обучающих событий в моей жизни за последние три года».
Хотел собрать знания из книг и YouTube и отточить их на практике.
«Самая большая ценность — практика. Применяю на работе уже сейчас».
После курса перестроила процессы A/B в компании и сменила работу.
«Такой комплексной информации я не находила нигде».
Каждую неделю проходишь один цикл: разбираешь тему, закрепляешь на live-воркшопе, делаешь домашку на данных и получаешь обратную связь по своему решению.
Разбираешь A/B так, чтобы выстроить чёткую методологию: метрики, MDE, p-value, мощность, ratio-метрики — и применять их на практике в коде.
На интерактивных разборах тренируешь выбор метрик, дизайн эксперимента, работу с рисками и интерпретацию результатов.
Проектируешь и считаешь тесты на своих задачах или моих кейсах в Python/Pandas. Я проверяю каждое задание и показываю, где логика, метрики или выводы ломаются.
Задаёшь вопросы, приносишь рабочие ситуации и видишь, как другие аналитики подходят к экспериментам. Я помогаю и слежу за прогрессом.
Часть домашних заданий продакты и аналитики делают вместе. Ты лучше видишь продуктовую логику и ограничения решения, а продакт начинает понимать, как аналитик проверяет дизайн теста.
На ней я немного расскажу о программе и организационных моментах, отвечу на любые вопросы, а также просто пообщаемся и познакомимся.
Поговорим про культурные аспекты развития experiment-driven и аналитической культуры в компании в целом. Обозначим, как A/B-тесты и другие виды экспериментов интегрируются в цели и процессы компании.
Порешаем кейсы, связанные с культурными аспектами проведения экспериментов — в частности о том, как выводить A/B-тесты и аналитику на качественно новый уровень.
Обсудим, какие бывают метрики бизнеса и продукта, плюсы и минусы разных их классификаций. Разберёмся, как правильно мыслить метриками и гипотезами.
Научимся выбирать хорошие метрики для продуктовых гипотез и правильно строить структуру метрик на базе пирамиды прокси-метрик.
Обозначим типовой жизненный цикл A/B-экспериментов. Поговорим про метрики экспериментов — ключевые, заградительные, прокси и информационные. Научимся принимать взвешенные решения на их основе.
Для конкретных продуктовых гипотез подберём удачные метрики экспериментов.
Пройдёмся по интуиции за ключевыми статистическими понятиями в контексте A/B: генеральная совокупность, выборки, нулевая и альтернативная гипотезы, значимость и мощность, p-value, MDE, размер выборок. Разбираем и считаем всё на практике в Python/Pandas.
Рассмотрим кейсы и задачи на статистические понятия и явления в A/B, считаем в ноутбуках.
Расскажу, как устроена A/B-платформа в крупных компаниях, как внедрить такую систему у себя и проводить эксперименты параллельно. Разберём корректное сплитование трафика.
Научимся проверять корректность сплитования с помощью A/A-тестов в коде.
Погрузимся в бизнес-аспекты дизайна экспериментов. Научимся считать unit-экономику теста, разберём алгоритм выбора ожидаемого эффекта (MDE). Проговорим, как обсуждать дизайн A/B-теста со стейкхолдерами и управлять рисками.
Проведём сессию по сбору и утверждению требований для A/B-теста. Научимся быстро прикидывать MDE и считать точку безубыточности.
Научимся корректно проводить и интерпретировать результаты. Обсудим, как оценивать SRM, обнаружить и побороть эффект новизны. Поговорим, как подводить итоги без манипуляции методологией и качественно завершать эксперимент.
Разберём кейсы на проведение A/B и интерпретацию результатов.
Разберём метрики-отношения и почему обычная формула дисперсии для них не работает. Дельта-метод и линеаризация ratio-метрик.
Считаем доверительные интервалы и значимость для ratio-метрик в коде.
Проблема множественных сравнений, контроль FWER и FDR, поправки Бонферрони, Холма и Бенджамини-Хохберга.
Применяем поправки к набору метрик и тестов в ноутбуке.
Когда классический тест невозможен: квази-эксперименты, switchback, синтетический контроль и difference-in-differences.
Оцениваем эффект фичи без A/B на реальных данных.
Снижение дисперсии, CUPED, стратификация и пост-стратификация — как получать значимый результат быстрее.
Внедряем CUPED и стратификацию в коде, сравниваем выигрыш по MDE.
Тестирование в условиях взаимодействия пользователей: интерференция, кластерные и switchback-эксперименты.
Дизайним кластерный эксперимент для кейса с сетевым эффектом.
Базовая структура курса фиксирована, но акценты и дополнительные разборы могут меняться по ходу обучения. Если в потоке много вопросов про MDE, ratio-метрики, снижение дисперсии, собеседования или внедрение A/B-процессов в компании — добавим это в практику.
4 года в роли Head of Analytics. Лично провёл 100+ тестов и продолжаю — без живой практики быстро отстаёшь.
Провёл как нанимающий руководитель аналитики. Знаю с обеих сторон, что оценивают и как выделиться.
ДЗ — на твоих рабочих кейсах, если их нет — на моих. Каждое проверяю лично и говорю, где криво.
Выпускники получают офферы или повышение на текущем месте. Результат от новых навыков виден уже после первых занятий.
Для тех, кто хочет получить материалы и двигаться в своём темпе
или одним платежом со скидкой 18%: 54 900 ₽
Оптимальный по цене/качеству, с обратной связью от меня
или одним платежом со скидкой 18%: 69 900 ₽
Для тех, кто хочет выжать максимум, с поддержкой до результата
или одним платежом со скидкой 18%: 179 900 ₽
Если поймёшь, что формат не твой — верну всю сумму до начала 2-го теоретического занятия — без лишних вопросов.
Многие проходят курс за счёт компании. Подготовлю договор, счёт и акт для бухгалтерии — а если нужно убедить руководителя, помогу с обоснованием.
Обучение — образовательная услуга, поэтому часть стоимости можно вернуть через налоговый вычет по НДФЛ. Подскажу, какие документы понадобятся.
Оставь заявку — свяжусь в течение 12 часов и предложу встречу. На ней разберу твою ситуацию и пойму, подходит ли тебе курс.
Заполни форму, и я свяжусь с тобой в течение 12 часов.
Свяжусь с тобой в течение 12 часов в Telegram. Если так удобнее — можешь написать мне сам прямо сейчас.
Написать в Telegram →