Программы
Подготовка к собеседованиямA/B-тесты для аналитиковML и Causal InferenceA/B-тесты для менеджеровОбучение для команд
Бесплатные материалы
База знаний185+ тестовых заданийRoadmap по A/BЧеклист A/B-тестаОтзывыО проектеОставить заявку
A/B-тесты и статистика

Разбор задачи на поиск прокси-метрик

25 июля 2024·2 мин чтения·Павел Бухтик·Оригинал в Telegram ↗

Напомню, что задача звучала следующим образом:

Возьмем в качестве продукта – Яндекс.Плюс. Нас и наших менеджеров интересует рост С1 – конверсии в первую фактическую оплату подписки. Не активацию в триал, а именно в подписку.

Какие прокси-метрики для её роста вы бы выделили? Т. е. такие метрики, рост которых с опережением показывали бы несомненный рост C1 в будущем.

Начать стоит с того, что такое Плюс, и какую ценность для пользователей он несет.

Яндекс.Плюс – это целая экосистема, которая состоит из:

1. Музыки и Кинопоиска, как сердца подписки.

2. Дополнительных опций к основной подписке: Больше кино, Амедиатеки, Букмейта и других;

3. Механики баллов Плюса, которые можно получать и тратить в различных сервисах Яндекса, вроде Такси, Маркета, Лавки и других;

4. Плюсовых engagement-механик в виде Дейли, Сити и других.

Поскольку доступа к историческим данным Плюса у нас нет, будем искать прокси-метрики эвристически. C этим поможет такой фреймворк, как пирамида метрик. Смотри рисунок в комментариях.

Пользователи остаются в подписке (в т. ч. после триала), если получают достаточно ценности от всей её экосистемы:

Чем в большее количество сервисов Плюса активирован пользователь, тем больше ценности он для себя извлекает. При этом сервисы явно будут отличаться весовыми коэффициентами своей ценности.

На «количество» получаемой ценности могут указывать такие метрики, как среднее время использования сервисов подписки, частота их использования, возвращаемость в них. Если интенсивно пользуется и возвращается – значит получает ценность.

На удоволетворенность пользователей подпиской может указать тот же NPS.

Поскольку каждый сервис несет ценность сам по себе, эти метрики нужно детальнее разложить на конкретные сервисы. Т. е. что является активированностью в каждый конкретный сервис? Какая возвращаемость для каждого сервиса является нормальной с учетом их специфики? Какой у нас NPS по каждому сервису? И так далее.

Отдельная история про баллы – пользователи не могут тратить их без подписки, а также они имеют свойство сгорать. Вовлечение в использование сервисов Яндекса, вроде Такси, Маркета и подобных, может само по себе стимулировать и использование подписки Плюс’а.

Также вовлеченность в еngagement-механики в виде Дейли, Сити и другие отлично стимулируют желание оставаться в Плюсе.

Причинно-следственные связи прокси-метрик с целевой нужно обязательно экспериментально подтверждать с помощью A/B. В противном случае, эвристические предположения остаются лишь предположениями и могут привести к неверным решениям.

Хочешь глубже разобраться в аналитике?

Посмотри программу курса по продуктовой аналитике и экспериментам.

Смотреть курс