Как вы измерите успех функции «Избранное» в маркетплейсе и какую одну метрику выберете как North Star?

МетрикиMiddleЧасто
Валерия — Карьерный консультант

Валерия · Карьерный консультант

Проверил Станислав Худяков

Короткий ответ

Сначала скажите, зачем бизнесу «Избранное» — обычно чтобы человек вернулся и купил отложенное позже. Тогда North Star выбирайте среди метрик пользы: конверсию из избранного в покупку или влияние функции на повторные заказы. Число добавлений оставьте для диагностики — его легко нарастить, и о реальной пользе оно говорит мало.

Почему этот вопрос задают

Ловушка вопроса — взять метрику активности вроде числа добавлений. Интервьюер проверяет, начинаете ли вы с цели функции и видите ли разницу между тем, что пользователи часто нажимают, и тем, что приносит им пользу.

Как отвечать

  1. Объясните, зачем нужно «Избранное» — что оно дает бизнесу и пользователю
  2. Отделите метрики, которые просто красиво растут, от метрик пользы — например, число добавлений в избранное от покупок из него
  3. Выберите одну North Star и свяжите ее с деньгами или с удержанием
  4. Добавьте контрольные метрики — проверьте, не отнимает ли избранное покупки, которые случились бы сразу
  5. Докажите, что эффект дала функция — сравните похожие группы пользователей или проведите эксперимент

Уточняющие вопросы

  • Зачем бизнесу избранное — возврат, отложенная покупка или сигнал для напоминаний?
  • Какой горизонт считаем — быстрая конверсия или влияние на удержание?
  • С чем сравниваем эффект — контрольная группа или похожая когорта?

Пример сильного ответа

Ситуация

Я отвечал за избранное в маркетплейсе товаров для дома, около 2 миллионов покупателей в месяц. Цель на квартал звучала так: «поднять использование избранного». Мы уже повесили на карточку товара подсказку «отложите, сообщим о скидке», добавлений стало 1,2 миллиона в месяц, а покупали только каждый двенадцатый отложенный товар.

Пример ответа и частые ошибки

Открываются на любом тарифе подписки

Сигналы для интервьюера

Сильный ответ

Начинает с цели функции, отказывается от красивых, но пустых метрик, привязывает North Star к деньгам или удержанию, называет контрольные метрики и отличает совпадение от причины

Тревожный сигнал

Называет много метрик и не говорит, какая из них главная и почему

Красный флаг

Предлагает растить метрику пушами и напоминаниями, не глядя на отписки и жалобы

Частые ошибки

«North Star — число добавлений в избранное»

«North Star — доля товаров из избранного, купленных за 30 дней. Число добавлений оставлю для диагностики»

Пример ответа и частые ошибки

Открываются на любом тарифе подписки

Источники

  • Amplitude: North Star — одна метрика, которая лучше всего отражает ценность, получаемую клиентами. Метрики тщеславия вроде DAU, просмотров страниц или числа загрузок на эту роль не годятся.

    Amplitude — North Star Playbook
  • Рон Кохави и соавторы: оценивать фичу по корреляциям ненадежно, внешние колебания перекрывают эффект, и корреляция не означает причинности, поэтому нужен контролируемый эксперимент.

    Ron Kohavi et al. — Online Controlled Experiments at Large Scale (KDD 2013)

Похожие вопросы

Частые вопросы по теме

Короткие ответы про кейсы с метриками на собеседовании продакт-менеджера.

Скорее всего, избранное просто сдвинуло покупки во времени и новых не добавило. Проверьте, не отнимает ли оно покупки, которые случились бы сразу, и смотрите на общую конверсию маркетплейса, не только на конверсию из избранного.

Сравните похожие группы пользователей с функцией и без нее или проведите эксперимент. Иначе вы примете за эффект функции то, что ею просто чаще пользуются самые активные.

Долю покупателей, которые пользуются избранным, среднее число возвратов в раздел и время от добавления до покупки. Они объясняют, почему North Star растет или падает.

Да, выручка или заказы, пришедшие из избранного, — честный вариант, если вы умеете надежно их отследить. Он прямо связывает функцию с деньгами.