Как смотреть метрики A/B, если фичи нет в контроле?

Ситуация: вы хотите провести A/B на совершенно новую фичу. Т. е. не на изменение существующей.

Например, хотите оценить влияние от внедрения рекомендательного блока в корзине. Или от введения еще одного варианта тарифа по подписке.

В качестве ключевой метрики эксперимента в таких случаях часто хочется взять метрику про фичу. К примеру, долю купленных товаров по рекомендательному блоку или конверсию в оформление подписки по новому тарифу.

Но вот проблема: эта метрика характерна только для тестовой группы. Фичи раньше не было, сравнивать не с чем – мы не можем посчитать значение метрики для контрольной группы.

Что же делать?

1. Брать в качестве ключевой метрики ту, которая «есть» и в тесте, и в контроле. При этом отталкиваться от решаемой проблематики.

Тот же рекомендационный блок вводится не просто ради качественных рекомендаций. Он наверняка нужен для повышения среднего чека заказа. Так же и в новом варианте тарифа по подписке – растим благодаря нему ARPU или LTV, а не просто вовлекаем в новый тариф.

2. Брать метрики взаимодействия с новой фичей как информационные.

Да, они будут только для тестовой группы, и с контролем их будет не сравнить. Но они покажут, как пользователи взаимодействуют с фичей, и насколько хорошо она решает поставленную задачу. Это даст основу для новых гипотез.

И пусть подобные эксперименты не вызывают у вас затруднений.)

A/B-тесты