Тестовое задание
на продуктового аналитика
Альфа банк

Продуктовая команда кредитных продуктов собирается зарелизить новый пользовательский функционал в мобильной версии сайта: калькулятор кредита. Предполагается, что это позитивно повлияет на пользовательский опыт. Однако эффект может быть и обратным. Продукт достаточно зрелый, все основные оптимизации уже были ранее проведены => показатели итак на высоком уровне.

В данном разделе бейзлайном считаются следующий показатели:

- DAU: 11000

- CR1: 4%

- Bounce: 20%

- Visit duration: 6 мин.

В компании приняты следующие таргеты значимости: α = 0,05; β = 0,2

Вам необходимо спроектировать аб тест на основе этих вводных.

Задачи:

1. Сформулируйте 0 и альтернативную гипотезу

2. Подготовьте дизайн аб теста
- определите и обоснуйте выбор целевой метрики (метрик);
- определите и обоснуйте стат критерий для оценки теста;
- укажите критерии сегментации целевой аудитории, если необходимо;
- укажите кол-во вариантов и распределение трафика между ними;
- определите целевой аплфит, примерный объем трафика и продолжительность теста при заданном уровне α, β

3. Ответьте на вопрос: можно ли остановить тест раньше заданного срока? Если да, то какие могут быть риски и как их снизить?

Был проведен АБ тест без предварительного дизайна. Необходимо на основе фактических данных подвести итоги и сформулировать выводы. В таблице есть следующие поля:

- `date` – дата визита

- `clientID` – идентификатор пользователя

- `visitID` – идентификатор пользователя

- `ab_group_flag` – признак группы аб теста: 0 - контроль, 1 - тест

- `goal1` – признак достижения цели 1: 1 - цель достигнута, 0 - не достигнута

- `goal2` – признак достижения цели 2: 1 - цель достигнута, 0 - не достигнута

Задачи:
1. Загрузите файл с гугл диска

2. Посчитайте CR1*, CR2 * *, uplift CR1, uplift CR2, доверительные интервалы и статистическую значимость. В качестве критерия используйте t-test и Байесовскую статистику

3. Какие выводы можно сделать на основе полученных результатов?
*CR1 = кол-во visitID с флагом goal1 = 1 / кол-во visitID
**CR2 = кол-во visitID с флагом goal2 = 1 / кол-во visitID

Был проведен эксперимент: изменение заголовка на кнопке на главном экране подписной страницы. Сделан акцент на выгоде пользователя.

Описание полей:
- `date` – Дата

- `deviceCategory` – Тип устройства

- `sourceMedium` – Источник и канал привлечения

- `experimentVariant` – Группа (варианта) эксперимента: 0 - контроль, 1 - тест

- `clickButtonOnMain` – Кликнул/не кликнул по кнопке на главной странице в рамках сеанса (1 – кликнул, или 0 – не кликнул)

- `sessionDuration` – Время проведенное на сайте в рамках сеанса

Задачи:

1. Загрузите данные с гугл диска

2. Проверьте гипотезы:
- Есть ли значимое изменение в большую или меньшую сторону у клика на целевую кнопку?
- Изменилось ли время проведенное на сайте в рамках сеанса?
- Напишите, какими тестами пользовались и почему выбрали их?
- Напишите выводы, которые можно сделать на основе анализа.