Дизайн А/В в Ozon Fresh

Разбор задачи на дизайн А/Б-эксперимента в Ozon Fresh

Как и обещал, делюсь своим вариантом дизайна эксперимента размещения баннера на главной Ozon для вовлечения пользователей в Ozon Fresh. Постарался подсветить в нем ключевые моменты.

Бизнес хочет рост доли активированных в Ozon Fresh на 2% от всех пользователей Ozon.

Во-первых, кто такой активированный в Ozon Fresh? Если судить строго и по-честному, то я бы сказал, что это тот, кто совершил хотя бы два заказа в Fresh в течение месяца. Но для упрощения возьмем того, кто совершил хотя бы один заказ во Fresh, что помогло осознать ценность продукта для себя и факт наличия такого сервиса на Ozon.

Во-вторых, хоть процент может казаться и небольшим, но для большой компании – он весьма амбициозен. При переходе к метрикам эксперимента его нужно будет приземлить.

В-третьих – не целесообразнее ли с экономической точки зрения вместо этого баннера разместить что-то иное? Допустим, оценили, что развитие Fresh – перспективная затея.

С бизнесовой часть пока остановимся, перейдем к самому дизайну:

Важно задуматься, не будет ли сетевого эффекта? Кажется, что влияние будет не значительнее, чем в других типовых АБ-тестах.

Убеждаемся, что на момент запуска эксперимент не будет конфликтовать с другими тестами, т. е. будут свободные слоты в нужном слое.

Теперь разберемся с сегментом, на котором будем проводить тест:

🔹 География: зона доставки Ozon Fresh;
🔹 Платформа: все;
🔹 Пользователи: и новые и старые;
🔹 Доп. ограничения: исключить тех, кто уже активирован в Ozon Fresh.

Определим метрики эксперимента:.

🔸 Ключевая: доля активированных в Ozon Fresh от всех, кому он доступен + заложим окно конверсии в 1 неделю;

🔸 Заградительные: bounce rate, конверсия в покупку в Ozon, ARPPU, доля платящих;

🔸 Информационные: охваты баннера, конверсия и CTR из баннера вo Fresh, средняя длина сессии, количество повторных покупок;

🔸 Прокси – конверсии воронки: доля пользователей, кому доступен Fresh, с заходом во Fresh, с просмотром карточки Fresh, c добавлением товара Fresh в корзину.

Критерий успеха – доля активированных значимо вырастет, а баннер не спугнет покупателей и не сканнибализирует покупки на Ozon. В случае провала – смотрим на реализацию. Если реализация подкачала – пробуем новую итерацию, иначе – ищем другие гипотезы активации.

По механизму раскатки, начнем с 95/5. На главной наверняка много трафика, и это позволит снизить риски. Если после раскатки у нас нет SRM, резких просадок или роста метрик и т. д. – постепенно раскатываем 50/50.

При расчете MDE я бы оттолкнулся от обратного – на какое время бизнес готов выделить нам баннер на главной для теста. Допустим, на 1-2 недели. От ожидаемого трафика за этот период и рассчитаем MDE. Если MDE для ключевой метрики получится большим – будем отталкиваться от прокси метрик.