А/В-тесты и проверка гипотез
для продуктовых МЕНЕДЖЕРОВ

Теоретическое занятие

Поговорим про культурные аспекты развития experiment-driven культуры и развития аналитической культуры в компании в целом. Обозначим, как A/B тесты и другие виды экспериментов интегрируются в цели и процессы компании.

Практическое занятие

Порешаем кейсы, связанные с культурными аспектами проведения экспериментов. В частности о том, как выводить A/B тесты и культуру работы с ними на качественно новый уровень.

Теоретическое занятие

Обсудим, какие бывают метрики бизнеса и продукта, плюсы и минусы различных их классификаций. Разберемся, как правильно мыслить метриками и гипотезами.

Практическое занятие

Научимся выбирать хорошие метрики для продуктовых гипотез и правильно строить структуры метрик на базе пирамиды прокси метрик.

Теоретическое занятие

Обозначим типовой жизненный цикл A/B экспериментов. Поговорим про метрики экспериментов – ключевые, заградительные, прокси и информационные метрики. Научимся принимать взвешенные решения на основе этих метрик.

Практическое занятие

Для конкретных продуктовых гипотез подберем удачные метрики экспериментов.

Теоретическое занятие

Пройдемся по интуиции, стоящей за ключевыми статистическими понятиями в контексте А/В (генеральная совокупность, выборки, нулевая и альтернативная гипотезы, значимость и мощность, p-value, MDE, размер выборок, сплитование и т. д.). Расскажу о том, как устроена А/В платформа в крупных компаниях, как внедрить подобную систему у себя и как проводить эксперименты параллельно. Научимся проверять корректность работы системы сплитования с помощью А/А тестов.

Практическое занятие

Рассмотрим кейсы, связанные со статистическими понятиями и явлениями в А/В

Теоретическое занятие

Погрузимся в бизнес аспекты дизайна экспериментов. Научимся считать unit-экономику теста, разберем алгоритм выбора ожидаемого эффекта (MDE). Проговорим, как обсуждать дизайн А/В-теста со стейкхолдерами. Поймём, когда нужно управлять рисками и ограничениями в рамках теста.

Практическое занятие

Проведем сессию по сбору и утверждению требований для А/В-теста. Также научимся быстро прикидывать MDE и считать точку безубыточности.

Теоретическое занятие

Научимся корректно проводить и интерпретировать результаты экспериментов. Обсудим, как оценивать SRM, как обнаружить и побороть эффект новизны и не попадать на другие проблемы в ходе теста. Поговорим о том, как подводить итоги без манипуляции методологией и качественно завершать эксперимент.

Практическое занятие

Разберем кейсы на проведение А/В и интерпретацию результатов

Теоретическое занятие

Разберемся, когда и как ускорять проведение А/В экспериментов, как можно проверить гипотезу без А/В, но с точностью близкой к нему, а также как определить и обработать сетевой эффект.

Практическое занятие

Порешаем кейсы на ускорение проведения теста, проверку гипотез без А/В и решение проблемы сетевого эффекта.

Для меня важен успех каждого менти. Если на установочной встрече я пойму, что программа – не лучший вариант для тебя в текущий момент времени, то предложу альтернативы и дам рекомендации по достижению твоих целей более эффективным путем.

Я бы врал, если бы давал такие гарантии. Но гарантирую, что при должном внимании к теоретическим и практическим занятиям, а также к домашке и доп. материалам, ты станешь намного увереннее чувствовать себя в А/B. И если у тебя и будут возникать вопросы, ты будешь точно знать, как можно эффективно найти на них ответы.

Такой опции в настоящий момент нет. Выполни рекомендации, которые я даю тебе на установочной встрече и запишись на следующий поток. Также, у тебя нет ограничений на прохождение любых других организуемых программ. Следи за анонсами.

Оставь заявку на сайте, и я расскажу все детали и нюансы.

Большинство участников – работающие люди. Поэтому обучение проходит по вечерам в будние дни. Отдельные группы могут формироваться, например, в дневное время, если так удобнее по причине часовых поясов участников или из иных соображений. Все обсуждаемо, поэтому обсуди комфортный для тебя формат со мной.

Конечно!

Во-первых, я лично отвечаю на все вопросы в чате потока и в личных сообщениях.

Во-вторых, на потоке могут быть менторы потока, которые также помогают участникам качественнее освоить материал.

В-третьих, участники программы, зачастую, активные ребята, и могут помочь как советом, так и делом.

В рамках сопровождения до результата я плотнее общаюсь с тобой как в процессе курса, так и после него.

Помимо проверки домашних заданий на личных созвонах (фактически +7 индивидуальных занятий), сами домашние задания адаптируются под специфику и конкретные задачи с твоего места работы. Это позволит сразу же под моим присмотром применять полученные знания и навыки в рабочих задачах.

Также, под предварительной договоренности, я могу помочь достичь тех карьерных целей или целей в компании, которые ты перед собой ставишь. Например:

• Не только сформировать план по выводу А/B и культуры экспериментов на качественно новый уровень, но и сопроводить в этом не легком деле;
• Провести аудит А/В в компании и выделить точки роста;
• Не только помочь решить культурные вопросы, но и внедрить технические решения;
• Провести от и до некоторое количество А/В экспериментов на данных и задачах компании, в которой ты сейчас работаешь;
• Максимально подготовиться и научиться проходить А/В секции на собеседованиях.

Конкретные условия и формат работы в рамках Менторского тарифа обсуждаются индивидуально. Поэтому если интересно выжать максимум из занятий – дай знать.

Я понимаю, что такая деятельность практически наверняка конфликтует с политикой конфиденциальности компании.

Со своей стороны я гарантирую полную конфиденциальность и анонимность любых получаемых знаний о компании. В том числе о её внутреннем техническом устройстве, существующих проблемах, уязвимостях и т. д.

Если необходимо, без проблем подпишу NDA.

Мы созваниваемся 1 на 1 и детально обсуждаем решения заданий от и до. В рамках созвона, я, конечно же, отвечаю на все вопросы и подсвечиваю дополнительные моменты по улучшению решений.

В течение недели с момента отправления домашки на проверку, я отправляю тебе в текстовом или голосовом формате обратную связь по заданию. Обратная связь может включать в себя предложения по улучшению и/или дополнительные материалы.

В чате потока в течение 2 месяцев после завершения курса можно продолжать задавать любые карьерные и технические вопросы, запрашивать дополнительные материалы и рекомендации по любым темам. Я всегда буду рад помочь.

Рассрочка – это форма кредита. В рамках рассрочки сумма разбивается на части, а сверху добавляется процент от банка согласно его условиям.

Большинство компаний зашивают эти проценты в стоимость товаров или услуг. Я же не делаю этого, чтобы искусственно не завышать для тебя стоимость курса.

Воспринимать это можно так: оплатить весь курс сразу – немного дешевле, чем разбивать оплату на какое-то количество небольших платежей.

Этот курс может оплатить твой работодатель. Для этого согласуй курс со своим руководителем и оставь заявку на сайте.

Да, конечно. Обсуди индивидуальные условия рассрочки лично с нами. Мы сориентируем по условиям, которые выставляют банки.

А для тарифа «Менторство» – предложим беспроцентные альтернативы.