Посчитайте конверсию в покупку по группам A/B-теста, если часть пользователей попала в обе группы
Проверила команда Сопровод · Обновлено
Короткий ответ
Почистите назначения: оставьте пользователей ровно с одной группой через GROUP BY user_id HAVING COUNT(DISTINCT grp) = 1 и назовите, сколько исключили. Потом присоедините заказы через LEFT JOIN с условием created_at >= assigned_at прямо в ON и посчитайте покупателей через COUNT(DISTINCT o.user_id). Знаменатель — все назначенные, включая некупивших.
Почему этот вопрос задают
A/B-тест решает, выкатывать ли изменение на всех, и грязное разбиение подменяет результат. От сеньора ждут, что он проверит данные теста до расчета и скажет, можно ли им доверять.
Условие задачи
Интернет-магазин товаров для дома тестировал новую карточку товара. Назначения лежат в ab_groups(user_id, grp, assigned_at), заказы — в orders(id, user_id, created_at, amount). В группе A пользователи 1–4, в B 5–8, а 9 и 10 из-за сбоя попали в обе. Пользователя 2 назначили 1 сентября в 12:00, остальные заказы сделаны после назначения. Посчитайте по группам пользователей, покупателей и конверсию в покупку в процентах до десятых (grp, users, buyers, conversion_pct).
Как подойти к решению
- Найдите пользователей с двумя группами через
HAVING COUNT(DISTINCT grp) > 1и посчитайте их - Оставьте в CTE пользователей ровно с одной группой и временем назначения
- Присоедините заказы через
LEFT JOINи поставьте условие на время заказа вON - Посчитайте пользователей и покупателей через
COUNT(DISTINCT)и долю покупателей в группе
Решение
Чистка исключила двоих, в группах осталось по четыре пользователя. В A купили двое, в B трое: 50,0% против 75,0%. Но двое из десяти — пятая часть выборки: при такой доле разбиение сломано, и сначала ищут причину сбоя. Исключение пересечений спасает тест, только когда их доли процента.
WITH clean AS (
SELECT user_id, MIN(grp) AS grp, MIN(assigned_at) AS assigned_at
FROM ab_groups
GROUP BY user_id
HAVING COUNT(DISTINCT grp) = 1
)
SELECT c.grp,
COUNT(DISTINCT c.user_id) AS users,
COUNT(DISTINCT o.user_id) AS buyers,
ROUND(100.0 * COUNT(DISTINCT o.user_id) / COUNT(DISTINCT c.user_id), 1)
AS conversion_pct
FROM clean AS c
LEFT JOIN orders AS o
ON o.user_id = c.user_id AND o.created_at >= c.assigned_at
GROUP BY c.grp
ORDER BY c.grp;grp | users | buyers | conversion_pct -----+-------+--------+---------------- A | 4 | 2 | 50.0 B | 4 | 3 | 75.0 (2 rows)
Что спросят следом
Как найти, почему пользователи попали в обе группы?
Как проверить, что разница между 50% и 75% значима?
Доступно по подписке
Ответы на эти вопросы
Частые ошибки
«Возьму группу через
MIN(grp)безHAVING»Пользователи 9 и 10 молча уйдут в A: там станет шесть человек и 66,7% вместо 50,0%. Отсекайте их условием
HAVING COUNT(DISTINCT grp) = 1«Пользователей из обеих групп оставлю в каждой»
Такой пользователь видел обе карточки, и его покупку нельзя приписать ни одной. A получит 66,7% вместо 50,0%, B — 83,3% вместо 75,0%. Исключите их из обеих групп
«В B конверсия выше на 25%»
Это 25 процентных пунктов. Относительный рост — 50%: 75,0 / 50,0 = 1,5. Называйте оба числа и подписывайте, какое из них в отчете
«Возьму все заказы пользователя»
Пользователь 2 купил в 9:00, а в тест попал в 12:00: новую карточку он не видел. Заказ до назначения в конверсию не входит, иначе A получит 75,0%
Сигналы для интервьюера
Сильный ответ
Прежде чем считать конверсию, выясняет, по какому событию назначалась группа и видел ли пользователь новую карточку
Тревожный сигнал
Чистит пересечения молча: в отчете нет ни числа исключенных пользователей, ни причины
Красный флаг
Предлагает обойтись без контрольной группы и просто сравнить конверсию сентября с августом
Как еще могут спросить
- Как посчитать конверсию по группам A/B-теста в SQL?
- Что делать с пользователями, которые попали в обе группы эксперимента?
- Посчитайте долю покупателей в контрольной и тестовой группе с учетом времени назначения
- Как почистить данные A/B-теста перед расчетом конверсии?











