Зачем мыть руки перед подведением итогов по A/B?

В 1840-х годах венский врач Игнац Земмельвейс заметил странную вещь: в клинике, где медики занимались приемом родов после анатомических вскрытий, смертность рожениц от родильной горячки доходила до 30%. А вот в другом отделении, где работали акушеры без вскрытий, умирали единицы.

Что сделал Земмельвейс? Он начал заставлять врачей мыть руки в растворе хлорной извести перед осмотром пациенток. И смертность… резко упала — до 1-2%.

Казалось бы, вот оно — идеальное решение и спасение огромного количества жизней. Но большинство коллег восприняли это как личное оскорбление. «Мы уважаемые врачи, какие грязные руки?!»

Земмельвейса высмеивали, отказывали в публикациях, уволили и в конце концов поместили в психиатрическую клинику, где он и умер.

Так появился Эффект Земмельвейса — когда люди отвергают очевидные факты, потому что они противоречат устоявшимся убеждениям.

И даже сегодня, мы сталкиваемся с этим эффектом каждый день в продуктах:

A/B-тест показывает, что старая версия продукта работает лучше, чем блестящий редизайн, над которым полгода корпела не одна команда? — «Ну нет, так не может быть, это что-то с данными не так»

Добавили фичу в продукт и упал Retention? — «Пользователи просто ещё не осознали, что им она нужна»

Ожидали рост метрик, а стат. значимости не видим? – «Давайте ещё неделю погоняем? Или пересчитаем другим методом?»

А сколько хороших инсайтов ушло в стол, потому что «это не соответствует нашему видению продукта».

Мы зачастую сильно эмоционально привязаны к своим идеям. Поэтому не верим результатам, когда они противоречат ожиданиям. И не потому что данные плохие — а потому что эго страдает.

Но как показывается практика, несмотря на то, что мы верим практически в каждую свою гипотезу – только 1 из 10 A/B дает положительный результат. Т. е. в реальности, наши ожидания сильно далеки от действительности. И нужно принять этот факт, если вы хотите быть по-настоящему data и experiment-driven.

Строго следуйте методологии проведения A/B. Уважайте то, что говорят данные. Не будьте коллегами Земмельвейса.