Как вывести A/B-эксперименты в компании на новый уровень?

Для постоянного роста и развития аналитической культуры, нужно развивать и A/B. Чтобы делать это эффективно, нужно понять «где мы сейчас» и «куда хотим прийти». На основе этого – составить план.

Чтобы вам было проще, мы с командой NDNG (No Data No Growth) собрали весь опыт в одну инфографику. Она включает в себя и личный опыт работы с A/B и их платформами, и заметки с наших интервью экспертов, и «базу» от Кохави. Смотрите прикрепленный к посту файл.

Если кратко, то развитие A/B можно разделить на 5 этапов:

1. «Стоим»

На этом этапе эксперименты не влияют на бизнес – их банально нет. Интерес к A/B только зарождается. Здесь главное донести до бизнеса, что такое эксперименты и как они могут изменить игру. Параллельно – строить необходимую инфраструктуру и логирование для работы с ними.

2. «Ползём»

Проскакивают единичные ручные эксперименты. Но методология их проведения и данные пестрят ошибками. Нужно решать проблемы с качеством данных и выстраивать базовые процессы проведения тестов.

3. «Идём»

Эксперименты становятся регулярными, проникая в культуру компании. В них активно вовлечены отдельные команды. Сейчас важно выстроить системный процесс проведения экспериментов и поднять их качество на новый уровень. В этом поможет внедрение собственной или сторонней SaaS-платформы для A/B-тестирования.

4. «Бежим»

Культура экспериментов широко и глубого проникла в компанию. Это уже не просто тесты, а инструмент изучения продуктов и извлечения инсайтов. Основные фокусы – развитие платформы для экспериментов за счёт добавления новых функций, а также создание и применение составных метрик в виде взвешенных сумм простых метрик.

5. «Летим»

Эксперименты проводятся буквально для любого изменения в коде продукта. Их количество переваливает за тысячу в год. А платформа обеспечивает максимальную автоматизацию, гибкость и масштабируемость.

А благодаря чему вам удавалось переходить с одного этапа на другой?

A/B-тесты