Многорукие бандиты и A/B-тесты

В классическом A/B-тесте мы делим трафик пополам (или иной пропорции) и ждём, пока наберётся необходимая выборка для принятия решения. Проблема в том, что проигрывающий вариант всё это время создает альтернативные издержки, «сжигая» деньги и трафик.

Многорукие бандиты (multi-armed bandits, MAB) предлагают другой подход. Это семейство алгоритмов, которые динамически перераспределяют трафик между вариантами в ходе тестирования, постепенно отдавая больше трафика тому, кто показывает лучшие результаты.

Как это работает: В начале трафик распределяется равномерно. Алгоритм наблюдает за целевой метрикой каждого варианта. Постепенно «лучшие» версии получают больше трафика, а «слабые» – отмирают. При этом алгоритм оставляет небольшой процент на исследование, чтобы не упустить возможного «позднего фаворита».

Всего выделяют два подсемейства бандитов:

Классические бандиты (MAB)

Это базовый алгоритм: он смотрит только на результаты вариантов (например, конверсию) и перераспределяет трафик в пользу лучших.

Работает хорошо, когда у нас однородная аудитория и мы хотим выделить один вариант-победитель. Но он «не знает», что разные пользователи могут реагировать по-разному.

Контекстные бандиты (CMAB)

Здесь алгоритмы уже учитывает контекст – характеристики пользователя или ситуации. Например: время суток, регион, устройство, историю поведения.

Благодаря этому контекстные бандиты могут показывать разные варианты разным сегментам аудитории, находя не общий «лучший вариант», а лучший вариант для конкретного пользователя.

Например: Тестируем баннер с акцией. Классический бандит быстро отдаст весь трафик более кликабельному баннеру. А контекстный – может понять, что для iOS работает лучше один дизайн, а на Android – другой.

✅ Плюсы бандитов:

+ Меньше упущенной выгоды по сравнению с классическим A/B-тестом;

+ Подходит для систем, где нужно постоянно оптимизировать. Например, они часто применяются в рекламе или рекомендациях.

❌ Минусы бандитов:

Сложнее в реализации и интерпретации;

Алгоритм может «поддаться шуму» и преждевременно выделить победителя;

Сложнее контролировать уровень ошибок I и II рода.

Многорукие бандиты — это не замена A/B-тестам. Это другой инструмент.

Если нужно статистически доказать, что вариант А лучше варианта B на заданных ошибках I и II рода – это все же к A/B-тестам.

Когда важно быстро максимизировать метрику на общей аудитории – помогут классические бандиты. А когда аудитория разнородная и «один победитель для всех» не работает – контекстные бандиты.

A/B-тесты