Что такое репрезентативность в A/B?

Репрезентативность определяет возможность корректно перенести выводы с выборок на всю исследуемую аудиторию (генеральную совокупность).

Когда говорят о репрезентативности, чаще всего вспоминают размер выборки. Но на практике этого недостаточно.

В A/B-тестах у репрезентативности есть две стороны:

1. Количественная репрезентативность

Она отвечает на вопрос: достаточно ли у нас наблюдений, чтобы заметить эффект нужного размера (MDE) при заданных уровнях ошибок I и II рода?

2. Качественная репрезентативность

Отвечает на другой вопрос: содержит ли выборка представителей всех сегментов совокупности и в соответствующей пропорции?

Например, если в генеральной совокупности: 60% мобильных пользователей; 40% десктопных.

А в выборках оказалось: 85% мобильных; 15% десктопных.

То такая выборка уже не отражает структуру аудитории. И даже если наблюдений много – вывод будет смещен (нерепрезентативен).

Чтобы результаты теста можно было переносить на всю аудиторию, важно, чтобы сегменты были представлены в тех же долях, что и в генеральной совокупности.

⚠️ Репрезентативность всегда оценивается относительно конкретной аудитории.

Если тест идет только на новых пользователях или только на Android, то и оценивать репрезентативность нужно именно относительно этой аудитории, а не всего продукта.

По этой же логике нельзя переносить результаты теста на Android-пользователях на iOS-аудиторию.

⚠️ В A/B-тесте важно не только то, насколько выборка похожа на исследуемую аудиторию (ГС), но и то, насколько группы A и B сопоставимы между собой.

Если из-за ошибки сплитования в одной из групп окажется значимо больше, например, heavy-пользователей, результат тоже будет смещен.

Репрезентативность в A/B – это и про количество, и про качество. Поэтому важно смотреть не только на размер выборки, но и на то, кого именно она отражает.

A/B-тесты