Задание #1
Продуктовая команда кредитных продуктов собирается зарелизить новый пользовательский функционал в мобильной версии сайта: калькулятор кредита. Предполагается, что это позитивно повлияет на пользовательский опыт. Однако, эффект может быть и обратным.
Продукт достаточно зрелый, все основные оптимизации уже были ранее проведены => показатели итак на высоком уровне.
В данном разделе бейзлайном считаются следующий показатели:
- DAU: 11000
- CR1: 4%
- Bounce: 20%
- Visit duration: 6 мин.
В компании приняты следующие таргеты значимости: α = 0,05; β = 0,2 Вам необходимо спроектировать аб тест на основе этих вводных.
1. Сформулируйте 0 и альтернативную гипотезу
2. Подготовьте дизайн аб теста
- определите и обоснуйте выбор целевой метрики (метрик);
- определите и обоснуйте стат критерий для оценки теста;
- укажите критерии сегментации целевой аудитории, если необходимо;
- укажите кол-во вариантов и распределение трафика между ними;
- определите целевой аплфит, примерный объем трафика и продолжительность теста при заданном уровне α, β
3. Ответьте на вопрос: можно ли оставновить тест раньше заданного срока? Если да, то какие могут быть риски и как их снизить?
Задание #2
Был проведен АБ тест без предварительного дизайна. Необходимо на основе фактических данных подвести итоги и сформулировать выводы. В таблице есть следующие поля:
- `date` – дата визита
- `clientID` – идентификатор пользователя
- `visitID` – идентификатор пользователя
- `ab_group_flag` – признак группы аб теста: 0 - контроль, 1 - тест
- `goal1` – признак достижения цели 1: 1 - цель достигнута, 0 - не достигнута
- `goal2` – признак достижения цели 2: 1 - цель достигнута, 0 - не достигнута
1. Загрузите файлс гугл диска
2. Посчитайте CR1*, CR2 * *, uplift CR1, uplift CR2, доверительные интервалы и статистичесую значимость. В качестве критерия используйте t-test и Байесовскую статистику
3. Какие выводы можно сделать на основе полученных результатов? *CR1 = кол-во visitID с флагом goal1 = 1 / кол-во visitID **CR2 = кол-во visitID с флагом goal2 = 1 / кол-во visitID
Задание #3
Был проведен эксперимент: изменение заголовка на кнопке на главном экране подписной страницы. Сделан акцент на выгоде пользователя.
Описание полей:
- `date` – Дата
- `deviceCategory` – Тип устройства
- `sourceMedium` – Источник и канал привлечения
- `experimentVariant` – Группа (варианта) эксперимента: 0 - контроль, 1 - тест
- `clickButtonOnMain` – Кликнул/не кликнул по кнопке на главной странице в рамках сеанса (1 – кликнул, или 0 – не кликнул)
- `sessionDuration` – Время проведенное на сайте в рамках сеанса
1. Загрузите данныес гугл диска
2. Проверьте гипотезы:
- Есть ли значимое изменение в большую или меньшую сторону у клика на целевую кнопку?
- Изменилось ли время проведенное на сайте в рамках сеанса?
- Напишите, какими тестами пользовались и почему выбрали их?
- Напишите выводы, которые можно сделать на основе анализа.