Программы
Подготовка к собеседованиямA/B-тесты для аналитиковML и Causal InferenceA/B-тесты для менеджеровОбучение для команд
Бесплатные материалы
База знаний185+ тестовых заданийRoadmap по A/BЧеклист A/B-тестаОтзывыО проектеОставить заявку
A/B-тесты и статистика

Критерии статистической значимости: критерий согласия Пирсона

21 июля 2023·1 мин чтения·Павел Бухтик·Оригинал в Telegram ↗

Критерий согласия Пирсона (хи-квадрат, χ2) – статистический метод, который используется для проверки соответствия между наблюдаемыми и ожидаемыми распределениями частот в качественных данных.

Основная идея критерия согласия Пирсона заключается в сравнении теоретически ожидаемых частот с фактически наблюдаемыми. Нулевая гипотеза предполагает, что никакой значимой разницы между наблюдаемыми и ожидаемыми частотами нет, тогда как альтернативная гипотеза предполагает наличие такой разницы. Иными словами проверяется соответствие распределения фактической выборки заданному теоретическому распределению.

Основные требования к применению хи-квадрата:

️️️️️️ Независимость выборок;

️️️️️ Качественные данные (ранговые, категориальные, бинарные), которые в свою очередь разделены на группы;

️️️️️️ Ожидаемые частоты для каждой группы не меньше 5.

Если последнее условие не соблюдается, можно обратить внимание на точный тест Фишера.

Хи-квадрат зачастую используется для сравнения конверсий в A/B-тестах. В метрике конверсии у нас есть и категориальные данные (наличие или отсутствие конверсии у пользователя), и группы (различные варианты продукта). Контрольная группа в этом случае соответствует теоретически ожидаемому распределению, а тестовая – наблюдаемому.

Как вам рубрика про стат. критерии? Интересных критериев еще много, могу рассказывать. И вы уже знаете, что нужно для этого сделать .

A/B-тесты #статкритерии

Хочешь глубже разобраться в аналитике?

Посмотри программу курса по продуктовой аналитике и экспериментам.

Смотреть курс