Задание #1
У нас есть сервис поиска дешевых авиабилетов. Основная воронка: юзер зашел на сайт, нажал «искать билеты», открыл конкретный билет, выбрал предложение конкретного партнера и перешел к нему на сайт, купил билет на сайте. Партнер платит нам комиссию за покупку билета.
К нам приходит новый потенциальный партнер и хочет, чтобы мы добавили его в поисковую выдачу.
Как оценить целесообразность добавления партнера в выдачу? Можно предположить, что мы можем проводить любые эксперименты (в пределах разумного).
Задание #2
Мы хотим провести A/B-тест с двумя группами - контрольной и тестовой.
Есть ключевая метрика СTR (clicks / views) и исторические данные по ней:
- файл task_2_history_control.csv - данные по периоду, когда не было A/B-тестов, можно считать, что метрика очень стабильна.
- файл task_2_history_old_ab.csv - показатели по тестовой группе предыдущего A/B-теста, где CTR упал на 15%.
В A/B-тесте хотим статистически значимо зафиксировать увеличение СTR на 10%. Допустимая ошибка первого рода - 5%, второго рода - 20%.
Рассчитайте объем выборки, необходимый в каждой из групп, если в контрольной группе будет 90% юзеров, а в тестовой 10%.
Мы провели тест и получили результаты (файл task_2_results.csv, одна строка - один юзер, дубликатов по юзерам нет). Рассчитайте p-value.