Тестовое задание
на аналитика данных
Kolesa Group

Дорогой кандидат. В рамках оценки соискателя, мы просим вас рассмотреть несколько кейсов. В каждом из них будет ряд вопросов.

Первое задание больше на понимание продуктового и бизнес мышления. Второе и третье задание техническое и связано с анализом экспериемнтов.

Желательно подробно расписывать ваш ход мысли. Ход решения и ответы нужно записывать в Jupyter notebook, который нужно будет выслать нам.

Мы будем оценивать прежде всего не точность ответов, а общую логику, глубину и сложность решения.

Тест занимает несколько часов. Удачи!

Kolesa - автомобильный классифайд. Мы помогаем продавцу и покупателю найти друг друга и возможно даже заключить сделку. По сути мы следим за двумя целевыми действиями за просмотром объявления и за контактом между продавцом и покупателям. Эти две метрики хорошо коррелируют со сделками по продажи авто.

Основная модель бизнеса - дополнительные платные услуги (VAS). Те, кто хотят ускорить свою продажу автомобиля, могут купить дополнительные платные услуги и тем самым повысить заметность своих объявлений и повысить количество контактов и в конечном итоге продать быстрее и по более выгодной для себя цене.

Мы заинтересованы в том, чтобы на сайте находились наиболее качественные и конверсионные объявления.

После использования поисковых фильтров, как правило, покупатели имеют более высокие конверсии в просмотр объявления. Но мы не всегда понимаем, какие комбинации поисковых фильтров более полезны для нас, и что нам с ними делать. При этом не всегда собирается вся нужная информация по поискам.

Зная это, ответьте на следующие вопросы:

- Как вы думаете, почему у пользователей использующих фильтры в поиске более высокая конверсия в контакт?

- Какие метрики вокруг работы поиска в классифайде могут быть полезны? Опишите эти метрики.

- Как они могут собираться и для чего могут быть полезны?

- Что бы вы хотели собирать, чтобы лучше понимать эффективность поисков в классифайде? Как вы думаете может собираться такая информация в такой компании как Kolesa Group?

- Как бы использовали такую информацию для анализа?

- Есть ли у Вас еще пожелания по улучшению поисковой формы в нашем приложении kolesa.kz?

Сейчас мы запускаем несколько АБ-тестов в неделю. И активно используем и другие методы замера эффектов. В зависимости от алгоритма и задачи используется различные целевые метрики.


Но наиболее часто следим за следующими конверсиями:

- Конверсия из поиска в просмотр объявления (Доля пользователей зашедших внутрь объявления от всех просматривающих объявления в поисковой выдаче)

- Конверсия из просмотра объявления в контакт с продавцом. (Доля пользователей просмотревших телефон продавца или написавших сообщение продавцу от всех просматривающих объявления)

Конечно, для нас более важной конверсией является вторая, но за первой мы также активно следим.

Ниже результаты трех несвязанных АБ тестов для этих двух конверсий. В каждом из тестов команда пыталась влиять на конверсию на этих этапах пользовательского пути.

1. Какой размер выборки нужен был бы в каждом из этих тестов для того, чтобы найти MDE в +/- 1% (относительный процент) в конверсии в контакт.

2. Проведите статистический анализ результатов теста, любым критерием и укажите какие тесты показали стат значимый результат. По каждой из конверсий в каждом тесте.

3. Дайте продуктовые выводы и бизнес рекомендации команде kolesa.kz по результатам этих тестов.

4. Рассчитайте, какую мощность теста мы можем гарантировать на полученных данных в каждом из этих тестов с используемым вами стат. критерием, если MDE равен наблюдаемому эффекту в данных и при этом уровень. стат значимости равен 5%.

5. Нужно ли нам здесь делать поправку на множественное тестирование? Объясните ответ.

6. Как мы могли бы повысить чувствительность таких тестов? (можно просто рассуждения). Опишите какие данные нам помогли бы повысить чувствительность таких тестов.

7. Предположите, что вы часто делаете такие тесты. Как бы вы выстроили работу с АБ-тестированием в таком случае? Что следует делать, чтобы АБ-тестирование стало более эффективным и полезным для команды?

Далее рассмотрим реальный кейс из практики классифайда во время COVID.

В классифайде есть раздел по продаже запчастей. Там также продавцы размещают объявления, а покупатели находят их. Первичное размещение бесплатное, но для дальнейшего присутствия нужно покупать услугу продления (re) еженедельно.

В 2020 году, после того как начался covid многие продавцы запчастей перестали продлевать объявления, и как следствие стала сокращаться база объявлений.

Менеджерам kolesa.kz конечно эта ситуация не нравилась, и в конце апреля 2020 (30 апреля) команда резко снизила цены на услуги продления (re) в запчастях (только в этом разделе), в надежде, что более дешевые цены повысят кол-во продавцов готовых платить и продлевать объявления.

График кол-ва продавцов запчастей в продукте kolesa.kz в динамике по дням:

В файле есть данные по дням по целевым метрикам и по дополнительным метрикам.


Схема файла следующая:

- date - дата
- cnt_advert_spare - кол-во уникальных объявлений запчастей в этот день
- cnt_user_spare - кол-во уникальных продавцов запчастей в этот день
- revenue_spare - суммарная выручка с раздела запчастей в этот день
- cnt_advert_cars - кол-во уникальных объявлений в разделе автомобили в этот день
- cnt_user_cars - кол-во уникальных продавцов в разделе автомобили в этот день
- revenue_cars - суммарная выручка с раздела автомобили в этот день
- holidays - является ли этот день праздником
- new_users_share_spare - доля новых продавцов в разделе запчасти в этот день от всех продавцов
- new_users_share_auto - доля новых продавцов в разделе автомобили в этот день от всех продавцов

Вам как аналитику нужно оценить эффект от этого нововведения. Нужно дать ответ на следующие вопросы:

- Какой эффект от нововведения наблюдается на кол-во объявлений в запчастях (cnt_adverts_spare)?

- Какой эффект от нововведения наблюдается на кол-во продавцов в запчастях (cnt_users_spare)?

- Какой эффект на выручку от запчастей (revenue_spare) наблюдается в данных после снижения цен на продление?

- Сделайте выводы, была ли акция успешной? Рекомендуете ли вы использовать такие масштабные скидки в будущем?

- Для получения ответа на эти вопросы скачайте файл и работайте с присутствующих там данными