Разбор кейса A/B-теста увеличения продаж годового тарифа

Сегодня поделюсь своими мыслями по ключевым моментам A/B-кейса, описанного двумя постами выше. На единственное верное решение не претендую.

Первый вопрос к продуктовому менеджеру – какую проблему мы решаем? «Нам нужно» – не отвечает на вопрос «зачем». Предположим, что мы хотим растить LTV пользователя. Если на рынке подписочных продуктов есть успешные прецеденты роста LTV за счет перетягивания на годовой тариф – это может иметь смысл.

Возникает вопрос из соображений об экономической целесообразности – окупится ли? Предположим, что годовая подписка стоит 6 месячных. При этом она не продлевается автоматически. Если текущий LT месячного тарифа больше 6 – сильно рискуем. Если меньше – можем выиграть как в моменте, так и на дистанции.

Здесь также нужно не забывать о каннибализации месячного тарифа годовым и рисках снижения конверсии в подписку (в том числе месячную) из-за акцента на годе. И как это отразится на суперцитатах?

Учитывая специфику продукта, я бы все же склонялся к годовому тарифу. Я не особо верю, что люди готовы полгода платить за цитаты. А вот как импульсивная покупка – вполне. Но это лишь мнение – нужно проверять на данных.

Что еще смущает – 7 дней триала. С одной стороны, с ним проще согласиться сразу на большую покупку в виде года, с другой - это хорошее время для оттока. Я бы рассмотрел возможность сделать триал на 3 дня или протестировать оба варианта. А факт автопродления – желательно явно прописать на экране оплаты.

Рост конверсии в годовой тариф с 2 до 5% может выглядеть довольно резонно, с учетом трафика и сильного смещения акцента на год. И особенно если конверсия в ежемесячную сильно упадет. Но все равно амбициозно – нужно приземлять ожидания на землю за счет исторических данных и экспериментов.

Как итог, для успешности гипотезы важно, чтобы рост конверсии в оплату года покрыл потери из-за падения конверсии в месяц.

В качестве метрик можно взять следующие:

Ключевая – прогнозное LTV365;

Прокси – CR из установки в год, ARPU12 (с окном в 12 дней);

Заградительная – CR из установки в месяц;

Информационные – CR в отмену подписки, CR в суперцитаты, CR из установки в триал, CR из триала в год.

Проводить эксперимент имеет смысл на новых пользователях. Предварительно проверяем потенциальное пересечение с другими тестами. Судя по трафику, 2-3 недель будет достаточно, чтобы засечь значимые изменения. Точную оценку можно будет дать уже на исторических данных.

Раскатывать стоит осторожно, начиная с 90/10 и постепенно переходя к 50/50. Это позволит избежать рисков неудачной реализации и неожиданного восприятия нового акцента пользователями.

После завершения эксперимента – хорошо бы понаблюдать как будут вести себя когорты на дистанции (через месяц-три-шесть-год), посравнивать фактические с прогнозными LTV и сделать выводы.