Краткий гид по нулевым гипотезам стат. тестов для A/B

Нулевые гипотезы статистических тестов часто забываются. И потом ты смотришь на p-value примененного теста и думаешь: «А что это в итоге означает?».

И при этом нет какого-то единого места, где можно было бы как по справочнику быстро найти информацию по нужному критерию.

Поэтому делюсь подборкой самых распространенных тестов и что они проверяют:

Тест Стьюдента (t-test): Средние значения выборок равны;

Критерий Уэлча (Welch's t-test): То же, что и в тесте Стьюдента, но у выборок могут быть разные дисперсии;

Шапиро-Уилка: Выборка распределена нормально;

Критерий Колмогорова-Смирнова. Состоит из 2-х критериев:

Критерий согласия Колмогорова: Выборка принадлежит некоторому закону распределения. Т. е., что эмпирическое распределение соответствует предполагаемой модели;

Критерий однородности Смирнова: Две независимые выбороки принадлежит одному закону распределения. Т. е., что два эмпирических распределения соответствуют одному и тому же закону;

Z-тест: Средние значения выборок равны, при условии, что выборки взяты из нормального распределения;

Манна-Уитни (U-test): Нет значимых различий в распределениях двух сравниваемых выборок;

Биномиальный тест: Вероятность успеха в эксперименте Бернулли равна заданному значению;

Критерий согласия Пирсона (χ2, Хи-квадрат): Наблюдаемые и ожидаемые распределения частот в качественных данных равны;

Критерий Фишера (F-тест): Генеральные дисперсии двух выборок равны;

Тест Краскела-Уоллиса (H-критерий): То же, что и в Манна-Уитни, но для двух и более выборок;

Критерий Дики-Фуллера (для временных рядов): ряд не стационарен.

Уверен, что этот краткий гид поможет вам как в проведении A/B-тестов на работе, так и на собеседованиях.