Словарь полезных терминов в A/B

Вас позвали «на минутку» обсудить эксперимент, а на это ушло два спринта и три созвона?

Тогда держите неофициальный словарик сленга A/B-тестирования, который сэкономит вам время и нервы:

MDE (произносится «мдЭ») – Minimum Detectable Effect и одновременно реакция команды, когда видят требуемый объем выборки и длительность эксперимента.

A/B/Ой – тест, где неожиданно победил вариант, которого не было в дизайне.

SRM (произносится «срам») – Sample Ratio Mismatch. Когда рандомизация как бы есть, но за нее стыдно.

CUPED (купед) – магическое «сделай дисперсию потише». Все о нем говорят, но почти никто не применяет на практике.

Bucket (бакет) – ведёрко, куда кидают пользователей и надежды менеджеров.

Guardrail (гардрейлы) – метрики-подушки безопасности. Чтобы не уволили, когда ключевая «вроде выросла».

Holdout (холд-аут) группа – священная земля, на которую нельзя шагать. Чтобы помнить, как было «до» внедрения тех самых фичей.

Бета-кладбище – список отличных идей, умерших от нехватки трафика.

«Победил здравый смысл» – эвфемизм к «данных не хватило, решение приняли по чуйке».

FDR (ложный праздник) – сколько раз по регламенту можно радоваться зря.

Namespace'ы (пространство имён, слои) – «квартиры для тестов», чтобы соседние команды не ругались.

Post-hoc анализ (пост-хок сказки) – объяснения и гипотезы, родившиеся после завершения теста. Красивые, но поздно.

Canary Releases (канареечный релиз) – отправили храбрых птенцов первыми в тестовую ветку. Посмотрим, запоют или закашляются.