Посчитайте конверсию в покупку по группам A/B-теста, если часть пользователей попала в обе группы

ЗадачаSeniorИногда

Проверила команда СопроводОбновлено

Короткий ответ

Почистите назначения: оставьте пользователей ровно с одной группой через GROUP BY user_id HAVING COUNT(DISTINCT grp) = 1 и назовите, сколько исключили. Потом присоедините заказы через LEFT JOIN с условием created_at >= assigned_at прямо в ON и посчитайте покупателей через COUNT(DISTINCT o.user_id). Знаменатель — все назначенные, включая некупивших.

Почему этот вопрос задают

A/B-тест решает, выкатывать ли изменение на всех, и грязное разбиение подменяет результат. От сеньора ждут, что он проверит данные теста до расчета и скажет, можно ли им доверять.

Условие задачи

Интернет-магазин товаров для дома тестировал новую карточку товара. Назначения лежат в ab_groups(user_id, grp, assigned_at), заказы — в orders(id, user_id, created_at, amount). В группе A пользователи 1–4, в B 5–8, а 9 и 10 из-за сбоя попали в обе. Пользователя 2 назначили 1 сентября в 12:00, остальные заказы сделаны после назначения. Посчитайте по группам пользователей, покупателей и конверсию в покупку в процентах до десятых (grp, users, buyers, conversion_pct).

iduser_idcreated_atamount
112026-09-03 12:002400
222026-09-01 09:001800
332026-09-04 20:003100
432026-09-09 10:00900
552026-09-02 14:001500
662026-09-05 11:004200
772026-09-06 17:002700
892026-09-05 09:001300
9102026-09-06 12:002200

Как подойти к решению

  1. Найдите пользователей с двумя группами через HAVING COUNT(DISTINCT grp) > 1 и посчитайте их
  2. Оставьте в CTE пользователей ровно с одной группой и временем назначения
  3. Присоедините заказы через LEFT JOIN и поставьте условие на время заказа в ON
  4. Посчитайте пользователей и покупателей через COUNT(DISTINCT) и долю покупателей в группе

Решение

Чистка исключила двоих, в группах осталось по четыре пользователя. В A купили двое, в B трое: 50,0% против 75,0%. Но двое из десяти — пятая часть выборки: при такой доле разбиение сломано, и сначала ищут причину сбоя. Исключение пересечений спасает тест, только когда их доли процента.

SQL
WITH clean AS (
  SELECT user_id, MIN(grp) AS grp, MIN(assigned_at) AS assigned_at
  FROM ab_groups
  GROUP BY user_id
  HAVING COUNT(DISTINCT grp) = 1
)
SELECT c.grp,
       COUNT(DISTINCT c.user_id) AS users,
       COUNT(DISTINCT o.user_id) AS buyers,
       ROUND(100.0 * COUNT(DISTINCT o.user_id) / COUNT(DISTINCT c.user_id), 1)
         AS conversion_pct
FROM clean AS c
LEFT JOIN orders AS o
  ON o.user_id = c.user_id AND o.created_at >= c.assigned_at
GROUP BY c.grp
ORDER BY c.grp;
Вывод
 grp | users | buyers | conversion_pct
-----+-------+--------+----------------
 A   |     4 |      2 |           50.0
 B   |     4 |      3 |           75.0
(2 rows)

Что спросят следом

  • Как найти, почему пользователи попали в обе группы?

  • Как проверить, что разница между 50% и 75% значима?

Доступно по подписке

Ответы на эти вопросы

Частые ошибки

  • «Возьму группу через MIN(grp) без HAVING»

    Пользователи 9 и 10 молча уйдут в A: там станет шесть человек и 66,7% вместо 50,0%. Отсекайте их условием HAVING COUNT(DISTINCT grp) = 1

  • «Пользователей из обеих групп оставлю в каждой»

    Такой пользователь видел обе карточки, и его покупку нельзя приписать ни одной. A получит 66,7% вместо 50,0%, B — 83,3% вместо 75,0%. Исключите их из обеих групп

  • «В B конверсия выше на 25%»

    Это 25 процентных пунктов. Относительный рост — 50%: 75,0 / 50,0 = 1,5. Называйте оба числа и подписывайте, какое из них в отчете

  • «Возьму все заказы пользователя»

    Пользователь 2 купил в 9:00, а в тест попал в 12:00: новую карточку он не видел. Заказ до назначения в конверсию не входит, иначе A получит 75,0%

Сигналы для интервьюера

Сильный ответ

Прежде чем считать конверсию, выясняет, по какому событию назначалась группа и видел ли пользователь новую карточку

Тревожный сигнал

Чистит пересечения молча: в отчете нет ни числа исключенных пользователей, ни причины

Красный флаг

Предлагает обойтись без контрольной группы и просто сравнить конверсию сентября с августом

Как еще могут спросить

  • Как посчитать конверсию по группам A/B-теста в SQL?
  • Что делать с пользователями, которые попали в обе группы эксперимента?
  • Посчитайте долю покупателей в контрольной и тестовой группе с учетом времени назначения
  • Как почистить данные A/B-теста перед расчетом конверсии?

Похожие вопросы

ЗадачаSeniorЧасто

Посчитайте конверсию между шагами воронки, если шаг засчитывается только после предыдущего

Найдите у каждого пользователя первое время каждого шага через MIN(created_at) FILTER (WHERE step = ...) и засчитывайте шаг, только если он позже предыдущего засчитанного. Порядок шагов задайте числом, конверсию от прошлого шага возьмите через LAG, от первого — через FIRST_VALUE. Простой COUNT(DISTINCT user_id) по шагам завышает воронку.

  • воронка
  • конверсия
  • FILTER
257
ЗадачаMiddleЧасто

Посчитайте ARPU и ARPPU за месяц по таблицам активных пользователей и платежей

ARPU делит выручку месяца на всех активных пользователей, ARPPU — только на платящих. Сверните платежи октября до пользователя, присоедините их к активным через LEFT JOIN и посчитайте обе метрики одной строкой. Неплатящие остаются в знаменателе ARPU, ARPPU делит на число платящих. AVG(amount) по платежам дает средний платеж, это третья метрика.

  • ARPU
  • ARPPU
  • монетизация
219
ЗадачаMiddleЧасто

Выведите всех операторов поддержки с числом закрытых обращений, включая тех, у кого закрытых нет

Возьмите операторов левой таблицей и присоедините обращения через LEFT JOIN, а фильтр status = 'closed' поставьте в ON. Тогда оператор без закрытых обращений останется в выборке со строкой из NULL справа. Считайте count(t.id): он пропускает NULL и дает 0. count(*) посчитал бы эту пустую строку и вернул 1.

  • LEFT JOIN
  • COUNT
303
ЗнаниеJuniorЧасто

Какие виды JOIN бывают и чем LEFT JOIN отличается от INNER JOIN?

Основные виды: INNER, LEFT, RIGHT, FULL и CROSS JOIN. INNER JOIN оставляет только строки, у которых нашлась пара по условию ON. LEFT JOIN сохраняет все строки левой таблицы, а там, где пары нет, заполняет столбцы правой значением NULL. Поэтому LEFT JOIN берут, когда важны и записи без совпадений, например читатели без выдач.

  • JOIN
261

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Назовите ботов и сотрудников в выборке, пользователей без визита после назначения и перекос размеров групп. Достаточно перечислить их и сказать, какую проверите первой и почему.

Нет. Чистку назначений удобнее держать отдельным CTE или представлением: на нем же потом считают средний чек и выручку на пользователя по группам. Главное, чтобы все метрики теста шли от одной очищенной таблицы, иначе цифры не сойдутся.

Разберите на одном тесте весь путь: чистку назначений, конверсию по группам, проверку значимости и вывод для менеджера продукта. Вопросы по статистике обычно идут сразу за запросом, поэтому держите формулы для долей рядом с SQL.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227