Задание #1. Продуктовая задача
Представь, что есть 2 бизнес-центра, они полностью идентичны, в том числе по количеству людей. В каждом БЦ есть лифты.
Необходимо предложить метрики, по которым будет оцениваться качество работы лифтов. Необходимо понять, в каком БЦ лифты работают лучше.
Подсказка: это аналогия с двухсторонним маркетплейсом. Лифты — продавцы, люди, работающие в БЦ, — покупатели.
Задание #2. Кейс про A/B
Представим, что у нас есть маркетплейс по типу Wildberries. И сейчас развивается рекомендательная система на начальной странице (её только создают). Нам необходимо провести A/B-тест и понять, насколько хорошо работает эта рекомендательная система.
Опишите полностью весь процесс проведения теста: планирование, выбор метрик (главная / вспомогательная / гард), выбор пользователей для теста, выбор стат. теста, подведение результатов.
Ответьте на вопросы:
- Что делаем, если метрики не прокрасились?
- Что делаем, если метрики прокрасились?
- Что делаем, если главная не прокрасилась, но дополнительные прокрасились?
- Что делаем, если ничего не прокрасилось, но мы видим положительные изменения по метрикам визуально? Можем ли выкатывать изменения?
- Что делаем, если p-value = 0,051 (на грани принятия H0)?