Задание #1. Продуктовая задача
Представь, что есть 2 бизнес-центра, они полностью идентичны, в том числе по количеству людей. В каждом БЦ есть лифты.
Необходимо предложить метрики, по которым будет оцениваться качество работы лифтов. Необходимо понять, в каком БЦ лифты работают лучше.
Подсказка: это аналогия с двухсторонним маркетплейсом. Лифты — продавцы, люди, работающие в БЦ, — покупатели.
Задание #2. Кейс про A/B
Представим, что у нас есть маркетплейс по типу Wildberries. И сейчас развивается рекомендательная система на начальной странице (её только создают). Нам необходимо провести A/B-тест и понять, насколько хорошо работает эта рекомендательная система.
Опишите полностью весь процесс проведения теста: планирование, выбор метрик (главная / вспомогательная / гард), выбор пользователей для теста, выбор стат. теста, подведение результатов.
Ответьте на вопросы:
Что делаем, если метрики не прокрасились?
Что делаем, если метрики прокрасились?
Что делаем, если главная не прокрасилась, но дополнительные прокрасились?
Что делаем, если ничего не прокрасилось, но мы видим положительные изменения по метрикам визуально? Можем ли выкатывать изменения?
Что делаем, если p-value = 0,051 (на грани принятия H0)?