Как работать с проблемой множественного сравнения в A/B-тестировании?

Проблема множественного сравнения возникает, когда мы хотим сделать несколько статистических выводов (тестов) на одном наборе данных.

При этом к росту ошибок I рода одинаково ведут сценарии проверки на стат значимость:

3 метрик в рамках A/B; по 1 метрике в A/B/C; много метрик и веток.

На практике проблема зачастую отягощается еще и зависимостью проверяемых гипотез.

Как с этим быть? Рассказываю в карточках выше.