Программы
Подготовка к собеседованиямA/B-тесты для аналитиковML и Causal InferenceA/B-тесты для менеджеровОбучение для командБаза знанийОтзывыО проектеОставить заявку
A/B-тесты и статистика

Критерии статистической значимости: критерий согласия Пирсона

1 мин чтения·Павел Бухтик·Оригинал в Telegram ↗

Критерий согласия Пирсона (хи-квадрат, χ2) – статистический метод, который используется для проверки соответствия между наблюдаемыми и ожидаемыми распределениями частот в качественных данных.

Основная идея критерия согласия Пирсона заключается в сравнении теоретически ожидаемых частот с фактически наблюдаемыми. Нулевая гипотеза предполагает, что никакой значимой разницы между наблюдаемыми и ожидаемыми частотами нет, тогда как альтернативная гипотеза предполагает наличие такой разницы. Иными словами проверяется соответствие распределения фактической выборки заданному теоретическому распределению.

Основные требования к применению хи-квадрата:

️️️️️️ Независимость выборок;

️️️️️ Качественные данные (ранговые, категориальные, бинарные), которые в свою очередь разделены на группы;

️️️️️️ Ожидаемые частоты для каждой группы не меньше 5.

Если последнее условие не соблюдается, можно обратить внимание на точный тест Фишера.

Хи-квадрат зачастую используется для сравнения конверсий в A/B-тестах. В метрике конверсии у нас есть и категориальные данные (наличие или отсутствие конверсии у пользователя), и группы (различные варианты продукта). Контрольная группа в этом случае соответствует теоретически ожидаемому распределению, а тестовая – наблюдаемому.

Как вам рубрика про стат. критерии? Интересных критериев еще много, могу рассказывать. И вы уже знаете, что нужно для этого сделать .

A/B-тесты #статкритерии

Хочешь системно разобраться в A/B?

Начни с roadmap и чеклиста: они помогут пройти путь от постановки гипотезы до интерпретации результатов эксперимента.