Задание #1
Продуктовая команда кредитных продуктов собирается зарелизить новый пользовательский функционал в мобильной версии сайта: калькулятор кредита. Предполагается, что это позитивно повлияет на пользовательский опыт. Однако эффект может быть и обратным. Продукт достаточно зрелый, все основные оптимизации уже были ранее проведены => показатели итак на высоком уровне.
В данном разделе бейзлайном считаются следующий показатели:
- DAU: 11000
- CR1: 4%
- Bounce: 20%
- Visit duration: 6 мин.
В компании приняты следующие таргеты значимости: α = 0,05; β = 0,2
Вам необходимо спроектировать аб тест на основе этих вводных.
Задачи:
1. Сформулируйте 0 и альтернативную гипотезу
2. Подготовьте дизайн аб теста
определите и обоснуйте выбор целевой метрики (метрик);
определите и обоснуйте стат критерий для оценки теста;
укажите критерии сегментации целевой аудитории, если необходимо;
укажите кол-во вариантов и распределение трафика между ними;
определите целевой аплфит, примерный объем трафика и продолжительность теста при заданном уровне α, β
3. Ответьте на вопрос: можно ли остановить тест раньше заданного срока? Если да, то какие могут быть риски и как их снизить?
Задание #2
Был проведен АБ тест без предварительного дизайна. Необходимо на основе фактических данных подвести итоги и сформулировать выводы. В таблице есть следующие поля:
- `date` – дата визита
- `clientID` – идентификатор пользователя
- `visitID` – идентификатор пользователя
- `ab_group_flag` – признак группы аб теста: 0 - контроль, 1 - тест
- `goal1` – признак достижения цели 1: 1 - цель достигнута, 0 - не достигнута
- `goal2` – признак достижения цели 2: 1 - цель достигнута, 0 - не достигнута
Задачи:
1. Загрузите файл с гугл диска
2. Посчитайте CR1*, CR2 * *, uplift CR1, uplift CR2, доверительные интервалы и статистическую значимость. В качестве критерия используйте t-test и Байесовскую статистику
3. Какие выводы можно сделать на основе полученных результатов? *CR1 = кол-во visitID с флагом goal1 = 1 / кол-во visitID **CR2 = кол-во visitID с флагом goal2 = 1 / кол-во visitID
Задание #3
Был проведен эксперимент: изменение заголовка на кнопке на главном экране подписной страницы. Сделан акцент на выгоде пользователя.
Описание полей:
`date` – Дата
- `deviceCategory` – Тип устройства
- `sourceMedium` – Источник и канал привлечения
- `experimentVariant` – Группа (варианта) эксперимента: 0 - контроль, 1 - тест
- `clickButtonOnMain` – Кликнул/не кликнул по кнопке на главной странице в рамках сеанса (1 – кликнул, или 0 – не кликнул)
- `sessionDuration` – Время проведенное на сайте в рамках сеанса
Задачи:
1. Загрузите данные с гугл диска
2. Проверьте гипотезы:
Есть ли значимое изменение в большую или меньшую сторону у клика на целевую кнопку?
Изменилось ли время проведенное на сайте в рамках сеанса?
Напишите, какими тестами пользовались и почему выбрали их?
Напишите выводы, которые можно сделать на основе анализа.