Научись проводить A/B так, чтобы им доверяли: с корректным дизайном, прозрачными рисками и выводами для бизнеса.
🔥 Идёт набор · Оставь заявку, чтобы узнать дату ближайшего старта
Это не курс про A/B-тесты.
Это тренажёр принятия продуктовых решений: ты учишься превращать гипотезу в эксперимент, заранее видеть слабые места, говорить с аналитиками на одном языке и защищать выводы перед командой и бизнесом.
Конкретные навыки, которые останутся с тобой и будут работать на собеседовании и в проде.
Спроектировать A/B-тест от гипотезы до критериев успеха
Выбрать метрики, которые правда отвечают на продуктовый вопрос
Понять до запуска, хватит ли данных и есть ли смысл в эксперименте
Найти ошибки в тесте до того, как они приведут к неверному решению
Интерпретировать результат и защитить выводы перед командой
Уверенно проходить A/B-секции на собеседованиях
Уже проходил другие курсы по A/B, но пошёл к Павлу за глубиной.
«Сейчас мы подготовлены на все случаи жизни в плане A/B».
Упорно делала все домашки и блестяще закончила курс.
«Одно из самых больших обучающих событий в моей жизни за последние три года».
Хотел собрать знания из книг и YouTube и отточить их на практике.
«Самая большая ценность — практика. Применяю на работе уже сейчас».
После курса перестроила процессы A/B в компании и сменила работу.
«Такой комплексной информации я не находила нигде».
Больше отзывов можно найти тут
Каждую неделю проходишь один цикл: разбираешь тему, закрепляешь на live-воркшопе, делаешь домашку и получаешь обратную связь по своему решению.
Разбираешь A/B так, чтобы принимать продуктовые решения, обсуждать тесты с аналитиками и не теряться в MDE, p-value, мощности и метриках.
На интерактивных разборах тренируешь выбор метрик, дизайн эксперимента, работу с рисками и интерпретацию результатов.
Проектируешь тесты на своих задачах или моих кейсах. Я проверяю задание и показываю, где логика, метрики или выводы могут сломаться.
Задаёшь вопросы, приносишь рабочие ситуации и видишь, как другие PM подходят к экспериментам. Я помогаю и слежу за прогрессом.
Часть домашних заданий продакты и аналитики делают вместе. Ты начинаешь понимать, как аналитик будет проверять дизайн теста, а аналитик лучше видит продуктовую логику и ограничения решения.
На ней я немного расскажу о программе и организационных моментах, отвечу на любые вопросы, а также просто пообщаемся и познакомимся.
Поговорим про культурные аспекты развития experiment-driven и аналитической культуры в компании в целом. Обозначим, как A/B-тесты и другие виды экспериментов интегрируются в цели и процессы компании.
Порешаем кейсы, связанные с культурными аспектами проведения экспериментов — в частности о том, как выводить A/B-тесты и культуру работы с ними на качественно новый уровень.
Обсудим, какие бывают метрики бизнеса и продукта, плюсы и минусы разных их классификаций. Разберёмся, как правильно мыслить метриками и гипотезами.
Научимся выбирать хорошие метрики для продуктовых гипотез и правильно строить структуру метрик на базе пирамиды прокси-метрик.
Обозначим типовой жизненный цикл A/B-экспериментов. Поговорим про метрики экспериментов — ключевые, заградительные, прокси и информационные. Научимся принимать взвешенные решения на их основе.
Для конкретных продуктовых гипотез подберём удачные метрики экспериментов.
Пройдёмся по интуиции за ключевыми статистическими понятиями в контексте A/B: генеральная совокупность, выборки, нулевая и альтернативная гипотезы, значимость и мощность, p-value, MDE, размер выборок, сплитование. Расскажу, как устроена A/B-платформа в крупных компаниях, как внедрить такую систему у себя и проводить эксперименты параллельно. Научимся проверять корректность сплитования с помощью A/A-тестов.
Рассмотрим кейсы, связанные со статистическими понятиями и явлениями в A/B.
Погрузимся в бизнес-аспекты дизайна экспериментов. Научимся считать unit-экономику теста, разберём алгоритм выбора ожидаемого эффекта (MDE). Проговорим, как обсуждать дизайн A/B-теста со стейкхолдерами и когда нужно управлять рисками и ограничениями.
Проведём сессию по сбору и утверждению требований для A/B-теста. Научимся быстро прикидывать MDE и считать точку безубыточности.
Научимся корректно проводить и интерпретировать результаты. Обсудим, как оценивать SRM, как обнаружить и побороть эффект новизны и не попадать на другие проблемы в ходе теста. Поговорим, как подводить итоги без манипуляции методологией и качественно завершать эксперимент.
Разберём кейсы на проведение A/B и интерпретацию результатов.
Разберёмся, когда и как ускорять проведение A/B-экспериментов, как проверить гипотезу без A/B с точностью, близкой к нему, а также как определить и обработать сетевой эффект.
Порешаем кейсы на ускорение теста, проверку гипотез без A/B и решение проблемы сетевого эффекта.
Базовая структура курса фиксирована, но акценты и дополнительные разборы могут меняться по ходу обучения. Если в потоке много вопросов про MDE, метрики, SRM, собеседования или внедрение A/B-процессов в компании — добавим это в практику.
4 года в роли Head of Analytics. Лично провёл 100+ тестов и продолжаю — без живой практики быстро отстаёшь.
Провёл как нанимающий руководитель аналитики. Знаю с обеих сторон, что оценивают и как выделиться.
ДЗ — на твоих рабочих кейсах, если их нет — на моих. Каждое проверяю лично и говорю, где криво.
Выпускники получают офферы или повышение на текущем месте. Результат от новых навыков виден уже после первых занятий.
Для тех, кто хочет получить материалы и двигаться в своём темпе
или одним платежом со скидкой 18%: 47 900 ₽
Оптимальный по цене/качеству, с обратной связью от меня
или одним платежом со скидкой 18%: 59 900 ₽
Для тех, кто хочет выжать максимум, с поддержкой до результата
или одним платежом со скидкой 18%: 179 900 ₽
Если поймёшь, что формат не твой — верну всю сумму до начала 2-го теоретического занятия. No questions asked.
Многие проходят курс за счёт компании. Подготовлю договор, счёт и акт для бухгалтерии — а если нужно убедить руководителя, помогу с обоснованием.
Обучение — образовательная услуга, поэтому часть стоимости можно вернуть через налоговый вычет по НДФЛ. Подскажу, какие документы для этого понадобятся.
Оставь заявку — свяжусь в течение 12 часов и предложу встречу. На ней разберу твою ситуацию и пойму, подходит ли тебе курс.
Заполни форму, и я свяжусь с тобой в течение 12 часов.
Свяжусь с тобой в течение 12 часов в Telegram. Если так удобнее — можешь написать мне сам прямо сейчас.
Написать в Telegram →