Как определить метрики для A/B-теста? 4 вида метрик

Как в рабочих задачах, так и на собеседованиях, важно уметь подбирать метрики A/B-экспериментов.

Это значит, что для: решаемой в продукте проблематики; сформулированной гипотезы ее решения; и на основе бизнесового понимания «успешности» гипотезы, нужно подобрать следующие метрики:

• Целевые. Это те метрики, на которые хотим повлиять. Чаще всего – подрастить. На основе их статистически значимого роста будет приниматься решение об успешности эксперимента. Пример целевой метрики: конверсия из триала в подписку.
• Прокси-метрики (Proxy). Метрики, рост которых с опережением укажут на рост целевой в будущем. Это более чувствительные метрики, т. е. они более охотно прокрашиваются, чем целевые. Нужны либо когда чувствительности целевой метрики недостаточно, чтобы засечь значимое изменение за желаемый бизнесом срок, либо когда не готовы ждать целевую метрику 3-6-12 месяцев. Пример прокси-метрик для целевой выше: конверсия в активацию в фичу, средний timespent на 3-5 день триала.
• Заградительные (Guardrail). Метрики, которые мы не хотим уронить даже при росте целевой. Либо же рост целевой должен компенсировать падение заградительной в допустимом для нас балансе. Заградительные метрики получаются на основе проработанных рисков проведения эксперимента. Например: Retention Rate 7-ого дня, ARPU 7-ого дня.
• Информационные. Метрики, которые нам интересно отслеживать, так как тест их косвенно касается, но которые не повлияют на решение по эксперименту. Зачастую, это метрики, которые говорят об изменениях в поведении пользователей. Их можно использовать для лучшего понимания своей аудитории и генерации новых гипотез. Например: конверсия в дополнительные разовые платежи, среднее время между триалом и оформлением подписки, среднее количество сессий в день.

Определить метрики A/B-эксперимента – значит выделить главные метрики каждого вида.

При этом важно подбирать минимально достаточное количество метрик для принятия решения. Т. к. чем больше метрик, тем сильнее усугубляется проблема множественного сравнения.