Question 1

Что случилось с метрикой?

Accepted Answer

Правильный ответ к задаче «Что случилось с метрикой?»

Если еще не пробовали решить задачу, рекомендую это сделать до прочтения поста.

От кандидата ожидается не то, что он угадает с первой попытки что произошло с метрикой на самом деле. Ожидается, что кандидат набросает исчерпывающее количество конкретных гипотез, которые впоследствии будут проверены на практике.

Из моего опыта, падение метрик часто происходит по причинам:

📍 Поломки логирования на клиенте или в доставке логов на бекенде

📍 Возникновения бага в некотором разрезе (типе устройства, стране, локализации, источнике трафика) в результате выкладки новой версии продукта;

📍 Внешнего фактора или сезонности.

От этих причин можно отталкиваться для генерации более конкретных гипотез.

В случае с задачей, могла бы оказаться правд

Question 2

Разметка для Альфа Банка

Accepted Answer

Разбор задачи на аналитическую разметку из тестового задания в Альфа Банк

1 и 2. События – это действия пользователя или приложения, которые мы хотим отслеживать. События снабжаются дополнительной информаций в виде параметров, которые дополняют эти действия контекстной информацией. В задании можем выделить следующие ключевые события:

🔹 partners_page_open – открытие партнерской витрины;
🔹 partners_category_open (partner_category = {new, travel, …}) – открытие папки «‎подборки»;
🔹 partners_offer_open (partner_category – {popular, new, travel, …}, partner_offer = {alfa_travel, ivi, …}) – открытие конкретного партнерского предложения;
🔹 partners_offer_button_click (partner_category – {popular, new, travel, …}, partner_offer = {alfa_travel, ivi, …}) – переход к покупкам (открывает сайт пр

Question 3

Два лифта

Accepted Answer

🛗 Разбор задачи про лифт с собеседования в Яндекс

Сегодня разберем ту самую задачу про лифт, которую часто спрашивают на собеседованиях в Яндекс на продуктовых секциях.

В рамках задачи нужно сравнить алгоритмы работы 2 лифтов в 2 идентичных офисах компании. Полную формулировку задачи можно найти по ссылке.

Поставим себя на место пассажира. Опираясь на его путь в лифте-как-продукте (CJM), выделим ключевые факторы его «пользовательского счастья»:

🔸 лифт быстро приехал к пользователю;

🔸 быстро доехал до нужного этажа, не останавливался по пути на каждом этаже и не застрял;

🔸 в лифте было комфортно и достаточно места.

На основе этих факторов можно выделить ключевые метрики:

1️⃣ 95% квантиль времени ожидания лифта на этаже ⏳

Метрика позволит понять, насколько быстро лифт приезжает

Question 4

Дизайн А/В в Miro

Accepted Answer

Разбор задачи из тестового задания в одну онлайн-доску

Сначала определим продолжительность эксперимента. Текущая конверсия из просмотра экрана в клик по CTA: 800 / 16 000 = 0,05 (5%). Предположим, что мы ожидаем её рост на 1 процентный пункт (c 5% до 6%), с мощностью 80% и p-value 0,05.

Дальше вопрос к неравным размерам контрольной и тестовой групп. Выделение 80% для контрольной группы приведёт к снижению мощности, к большему необходимому размеру выборки и повышенным рискам.

Пусть мы все же хотим 80% пользователей отдать на контрольную группу. На основе анализа мощности установим, что нам нужно 20 000 пользователей, чтобы набрать желаемую мощность. Это 20 000 / 16 000 = 1.25 месяца (примерно 38 дней).

Теперь оценим влияние на MRR. Предположим, что изменив CTA, мы не повлияли на конверс

Question 5

Применимость t-test

Accepted Answer

Разбор вопроса об условиях применения статистического критерия Стьюдента (t-теста)

Для применения t-теста необходимы:

- Независимость выборок, т. е. они не коррелируют
- Нормальное распределение выборочных средних
- Гомогенность (равенство) дисперсий. Если это условие не соблюдается, можно посмотреть в сторону t-критерия Уэлча.

Есть еще условия, которые реже упоминаются, но их стоит тоже держать в голове:

- Значения являются непрерывными
- Отсутствие значительного количества выбросов
- Выборки репрезентативны – значения выборок были случайным образом отобраны из генеральной совокупности.

Question 6

Упала метрика после запуска

Accepted Answer

Разбор задачи про падение метрики в тестовой группе АБ теста

Условие задачи можно найти в предыдущем посте.

С одной стороны fixed-horizon методология проведения АБ говорит, что мы должны определить необходимый размер выборки и покорно ждать, пока он наберется. И кейс напоминает проблему подглядывания. С другой –  потенциально теряем большие деньги. И это сильно беспокоит бизнес.

Но давайте посмотрим на ситуацию с практической точки зрения. Для этого приведу 5 примеров сценариев, чем могло быть обусловлено падение метрики в тесте:

1️⃣ Технический баг – если для какого-то сегмента пользователей из теста сломалась кнопка оплаты, и они не могут оплатить, то мы сравниваем работающий контроль с не работающим тестом. Хорошо если мы сразу проверим работоспособность продукта и успеем остановить

Question 7

Блиц в Авито

Accepted Answer

Разбор блиц-вопросов по SQL из тестового в интернет-сервис объявлений

1. Ответ B. Так как по условию задания нужно смотреть в разрезе пользователей (варианты A и C отпадают) учитывая порядок дат (D отпадает).

2. Ответ B. Убрав Distinct ничего не изменится, т. к. уникальные a, b и с уже были получены за счет группировки.

3. И снова ответ B. В вариантах C и D, за счет, по сути, LEFT JOIN’а second и first, теряются строки из first. В варианте B – останутся все записи, для которых не было совпадений в second, а вот в А – часть записей будет отфильтрована. Хотя при определенных исходных данных, все 4 варианта могут дать одинаковый ответ.

Question 8

Расчет среднего и медианы

Accepted Answer

Разбор задачи по SQL о вычислении среднего и медианы

Одну и ту же задачу на SQL можно решить самыми различными способами. И это также относится к случаю, когда перед вами ставят задачу реализовать встроенную функцию без ее использования.

Такие задачи часто дают на собеседованиях в качестве головоломки – чтобы посмотреть насколько хорошо вы ориентируетесь в возможностях SQL или некоторого его диалекта.

Давайте разбираться. Вычисление среднего довольно тривиально и показано ниже.

Теперь с медианой. Про оконные функции в условии задания явно ничего не сказано. Но для спортивного интереса усложним себе жизнь и решим задание без их использования.

Если количество продаж нечетное, то медиану можно найти так, как показано ниже.

А вот для четного количества, если вдруг кто не знает, необходим

Question 9

Длина полной записи

Accepted Answer

Решение задачи про длину полной записи строки в один из банков

Нужно учесть, что число в строке может быть не только однозначным, но и двухзначным.

Например: Z12XYZ – длина равна 15.

К этому нюансу можно прийти, если начать разбор задачи с дополнительных тест-кейсов, придуманных уже вами. Они помогают лучше разобраться в задаче.

Также обращаю внимание, что в задаче просят написать именно функцию, а не кусок кода. Часто замечаю эту ошибку на собеседованиях.

Мое решение представлено на картинке. На эталонное не претендую.

Линейная сложность. Входные данные на валидность не проверяю – предполагаем, что вы спросили интервьювера, а он сказал не нужно.

```python
def full_len(s):
  length = 0
  digits = ""
  # для последнего символа
  string = s + " "

for symbol in string:
    if symbol

Question 10

Поиск простых чисел

Accepted Answer

Разбор задачи про поиск простых чисел

Натуральное число называется простым, если оно делится без остатка только на два числа: единицу и само себя.

📌 Решением в лоб считается полный перебор: идем от 2 до N, для каждого числа проверяем делимость на числа от 2 до самого себя. Но это решение неэффективно.

📌 Оптимальным решением считается применение решета Эратосфена.

Метод заключается в следующем: возьмем набор чисел от 2 до N > вычеркнем из набора  числа, делящиеся на 2, кроме 2 > перейдем к следующему не вычеркнутому числу — 3. Снова вычеркиваем все что делится на 3. И так до тех пор пока не дойдем до N. После выполнения алгоритма, в списке останутся только простые числа. Визуализацию алгоритма смотрите на гифке.

Так как один из делителей составного числа N обязательно меньше, либо ра

Question 11

Осьминог Пауль

Accepted Answer

Разбор задачи про осьминога Пауля из тестового в интернет-сервис объявлений

📌 Возьмем следующие гипотезы:

H0: Пауль угадывает победителя случайно, p=0.5

H1: Пауль знает, кто победит, p>0.5 – т. е. односторонний тест.

Поскольку мы говорил про угадал / не угадал – перед нами биномиальное распределение.

Оценим p-value (рисунок 1). Он равен 0.00049.

📌 Альтернативную гипотезу можно сформулировать иначе.

H1: Пауль предпочитает определенную команду, p!=0.5 – двухсторонний тест

Можем оценить p-value для второго хвоста (рисунок 2). Поскольку биномиальное распределение аппроксимируется нормальным распределением, p-value также получится равным 0.00049. Остается только сложить два p-value и получим 0.00098.

📌 К решению можно подойти иначе.

Всего возможных комбинаций выбора Пауля – 2^15 =

Question 12

Ключ в 1 из 2 комнат

Accepted Answer

Решение задачи про поиск ключа с собеседования в поисковую систему

Задача решается по формуле Байеса:

P(Bi | A) =  P(Bi) * P(A | Bi) / P(A)

Нужно найти P(B1 | A) – ключ в 1-ой комнате, при условии, что он не в выбранном ящике.

P(B1) – ключ в 1-ой комнате.
P(B2) – ключ во 2-ой комнате.
P(A) – ключ не в выбранном ящике

P(A) = P(A | B1) * P(B1) + P(A | B2) * P(B2)

P(A | B1) – ключ не в выбранном ящике, при условии, что он в 1-ой комнате
P(A | B2) – ключ во 2-ой комнате, при условии, что его нет в 1-ой комнате

P(B1) = P(B2) = 1/2
P(A | B1) = 9/10 (т. к. осталось 9 ящиков из 10)
P(A | B2) = 1

P(B1 | A) =
 = P(B1) * P(A | B1) / (P(A | B1) * P(B1) + P(A | B2) * P(B2)) =
 = 1/2 * 9/10 / (9/10 * 1/2 + 1 * 1/2) =
 = 9/20 / ( 9/20 + 10/20 ) = 9/20 / 19/20 = 9/19 ~= 0.4737

Итого, вероятность

Question 13

Доля использования поиска

Accepted Answer

Разбор задачи про долю использования поиска

Рассмотрим на конкретных примерах. Для удобства – смотри картинку.

Для простоты возьмем 2 браузера – А и Б. Cчитаем, что люди используют один браузер и  поисковик.

🔹 Пусть браузером А пользуются 100 человек, из них 90 используют поиск гугла. Доля гугла – 0.9.

Браузер Б использует 1000 человек, 200 из них использует гугл. Доля – 0.2

Тогда общая доля – 290 / 1100 = ~0.26.

🔹 Теперь предположим, что в браузер А пришло 100 новых пользователей. 80 из них пользуется гуглом. Доля упала и равна 0.85.

В браузере Б 10 человек перешло с гугла на яндекс. Доля также упала – 0.19.

Но общая доля увеличилась и стала равна (170 + 190) / (200 + 1000) = 0.3 (vs ~0.26)

🔹 Рассмотрим обратную ситуацию. Пусть у браузера А 10 человек ушло на яндекс – доля 0.8

Question 14

Переброс кубика v.2

Accepted Answer

Разбор задачи с собеседования в интернет-сервис объявлений Пусть A – первый бросок, B – повторный бросок. A, B ∈ {1, 2, 3, …, 2N} Выберем стратегию: Рассмотрим A = N. Вероятность выбросить вторым броском меньше (P(BA | A=N)): N / 2N = 1/2. N / 2N > (N-1) / 2N, т. е., вероятнее всего, результат будет улучшен при повторном броске. Аналогично для A = N+1: P(B A | A=N+1) = (N-1) / 2N. Т. е., вероятнее всего, результат будет ухудшен при повторном броске. Пороговое значение можно точнее определить посредством оценки мат. ожидания. Для этого рекомендую обратить внимание на комментарий Александра. На основе этого получаем следующую стратегию: если выбросили N+1 или больше, то НЕ перебрасываем. Иначе – перебрасываем. Посчит

Question 15

Лотерейные билеты

Accepted Answer

Разбор задачи про лотерейные билеты с собеседования в соц. сеть

Пусть K - число всех билетов, k - число выигрышных билетов

Вероятность вытянуть проигрышный билет на первом шаге: (K-k) / K

Покупку 3-х лотерейных билетов можно представить как последовательность действий или событий вытягивания билетов из пачки всех 100 билетов, где на каждом шаге количество проигрышных билетов в пачке уменьшается на 1. Следовательно, вероятность вытянуть проигрышный билет на втором шаге (K-1-k) / (K-1) и на третьем (K-2-k) / (K-2).

Cобытия независимые, при этом последовательные и должны произойти все вместе. Поэтому следует использовать формулу произведения вероятностей.

Таким образом, формулу можно представить как:

(K-k) / K • (K-1-k) / (K-1) • (K-2-k) / (K-2),

или

98/100 • 97/99 • 96/98 = 0,94(06)

Как пользоваться сборником

Быстрый маршрут

Навигация по темам

SQL-задачи 10

Python-задачи 33

A/B-тестирование 7

Продуктовые кейсы 6

Математические задачи 20

Софт-вопросы 20

Хочешь не просто решать, а системно готовиться?

Разбираю задачи и пишу про карьеру в аналитике

Telegram-канал

Вакансии · @nodatanojobs

Instagram

YouTube

LinkedIn