Задача на дизайн A/B-эксперимента в Ozon Fresh

Сегодня хочу предложить вам спроектировать A/B-эксперимент.

Возьмем в качестве продукта – Ozon.

Проблематика следующая. У нас есть Ozon Fresh. И о нем банально не знают многие из существующих пользователей. И мы хотим, чтобы пользователей, которые знают и пользуются Ozon Fresh, стало больше.

У нас появилась гипотеза, что если мы разместим большой баннер на главной странице Ozon, в котором будем призывать попробовать Ozon Fresh, то сможем увеличить долю активированных во Fresh на 2% от всех пользователей Ozon.

Как бы вы задизайнили такой эксперимент?

Чтобы было чуточку проще подойти к задаче, привожу ниже аспекты, которые было бы здорово подсветить в своем ответе. Но не ограничивайтесь только ими:

• 1. Какой будет критерий успеха эксперимента? А провала?
• 2. На каком сегменте будете проводить эксперимент? Т. е. какие будут ограничения по ГЕО, платформ,, источник трафика. Проводим для новых, старых или любых пользователей? Может стоит ввести какие-то иные ограничения?
• 3. Какие выберите ключевые метрики эксперимента? Т. е. те, которые хотим растить.
• 4. Какие выберите заградительные метрики? Те, которые не хотим уронить, даже несмотря на рост ключевой.
• 5. Будете ли смотреть прокси-метрики и какие? Те, который с опережением будут говорить о потенциальном росте ключевой метрики в будущем.
• 6. На какие дополнительные метрики посмотрите? Те, которые не повлияют на принятие решения об эксперименте, но будут интересны для изучения изменения поведения пользователей?
• 7. Будете ли раскатывать эксперимент сразу 50/50, или начнете с 90/10, и будете постепенно растить долю тестовой ветки? Почему?
• 8. Как именно будете оценивать MDE на примере ключевой метрики?

Разбор задачи на дизайн A/B-эксперимента в Ozon Fresh

Постарался подсветить в нем ключевые моменты.

Бизнес хочет рост доли активированных в Ozon Fresh на 2% от всех пользователей Ozon.

Во-первых, кто такой активированный в Ozon Fresh? Если судить строго и по-честному, то я бы сказал, что это тот, кто совершил хотя бы два заказа в Fresh в течение месяца. Но для упрощения возьмем того, кто совершил хотя бы один заказ во Fresh, что помогло осознать ценность продукта для себя и факт наличия такого сервиса на Ozon.

Во-вторых, хоть процент может казаться и небольшим, но для большой компании – он весьма амбициозен. При переходе к метрикам эксперимента его нужно будет приземлить.

В-третьих – не целесообразнее ли с экономической точки зрения вместо этого баннера разместить что-то иное? Допустим, оценили, что развитие Fresh – перспективная затея.

С бизнесовой часть пока остановимся, перейдем к самому дизайну:

Важно задуматься, не будет ли сетевого эффекта? Кажется, что влияние будет не значительнее, чем в других типовых A/B-тестах.

Убеждаемся, что на момент запуска эксперимент не будет конфликтовать с другими тестами, т. е. будут свободные слоты в нужном слое.

Теперь разберемся с сегментом, на котором будем проводить тест:

• География: зона доставки Ozon Fresh;
• Платформа: все;
• Пользователи: и новые и старые;
• Доп. ограничения: исключить тех, кто уже активирован в Ozon Fresh.

Определим метрики эксперимента:.

• Ключевая: доля активированных в Ozon Fresh от всех, кому он доступен + заложим окно конверсии в 1 неделю;
• Заградительные: bounce rate, конверсия в покупку в Ozon, ARPPU, доля платящих;
• Информационные: охваты баннера, конверсия и CTR из баннера вo Fresh, средняя длина сессии, количество повторных покупок;
• Прокси – конверсии воронки: доля пользователей, кому доступен Fresh, с заходом во Fresh, с просмотром карточки Fresh, c добавлением товара Fresh в корзину.

Критерий успеха – доля активированных значимо вырастет, а баннер не спугнет покупателей и не сканнибализирует покупки на Ozon. В случае провала смотрим на реализацию. Если реализация подкачала, пробуем новую итерацию. Иначе ищем другие гипотезы активации.

По механизму раскатки, начнем с 95/5. На главной наверняка много трафика, и это позволит снизить риски. Если после раскатки у нас нет SRM, резких просадок или роста метрик и т. д., постепенно раскатываем 50/50.

При расчете MDE я бы оттолкнулся от обратного, на какое время бизнес готов выделить нам баннер на главной для теста. Допустим, на 1-2 недели. От ожидаемого трафика за этот период и рассчитаем MDE. Если MDE для ключевой метрики получится большим, будем отталкиваться от прокси метрик.