Тестовое задание
на продуктового аналитика
Aviasales

У нас есть сервис поиска дешевых авиабилетов. Основная воронка: юзер зашел на сайт, нажал "искать билеты", открыл конкретный билет, выбрал предложение конкретного партнера и перешел к нему на сайт, купил билет на сайте. Партнер платит нам комиссию за покупку билета.

К нам приходит новый потенциальный партнер и хочет, чтобы мы добавили его в поисковую выдачу.

Как оценить целесообразность добавления партнера в выдачу? Можно предположить, что мы можем проводить любые эксперименты (в пределах разумного).

Мы хотим провести A/B-тест с двумя группами - контрольной и тестовой.


Есть ключевая метрика СTR (clicks / views) и исторические данные по ней:

- файл task_2_history_control.csv - данные по периоду, когда не было A/B-тестов, можно считать, что метрика очень стабильна.

- файл task_2_history_old_ab.csv - показатели по тестовой группе предыдущего A/B-теста, где CTR упал на 15%.

В A/B-тесте хотим статистически значимо зафиксировать увеличение СTR на 10%. Допустимая ошибка первого рода - 5%, второго рода - 20%.

Рассчитайте объем выборки, необходимый в каждой из групп, если в контрольной группе будет 90% юзеров, а в тестовой 10%.

Мы провели тест и получили результаты (файл task_2_results.csv, одна строка - один юзер, дубликатов по юзерам нет). Рассчитайте p-value.