Расскажите об A/B-тесте объявления или посадочной страницы: что проверяли и какое решение приняли по итогу?

ИсторияС опытомЧасто

Проверила команда СопроводОбновлено

Короткий ответ

Расскажите один тест по порядку: гипотеза, что меняли, какую метрику ждали, сколько шел тест и сколько заявок набрала каждая версия. Главное — решение по итогу, даже если ваша идея проиграла. Покажите, что вы дождались достаточного объема данных и не остановили тест в первый удачный день.

Почему этот вопрос задают

Об A/B-тестах пишут в резюме многие маркетологи. Вопрос отделяет тех, кто ставит тест под конкретную гипотезу и готов принять результат, даже когда проиграла собственная идея.

Как отвечать

  1. Назовите, что тестировали и какую проблему хотели решить
  2. Сформулируйте гипотезу и метрику, по которой ждали результат
  3. Расскажите, как делили трафик, сколько шел тест и сколько заявок набралось
  4. Назовите итог по каждой версии без округлений в свою пользу
  5. Объясните, какое решение приняли и что сделали с проигравшим вариантом

Какую историю выбрать

  • Был ли тест, в котором проиграла ваша собственная идея?
  • Можете ли вы назвать гипотезу, метрику и срок теста?
  • Какое решение вы приняли по итогам и что изменилось на сайте или в рекламе?

Если подходящего случая не было

Если вы сами не запускали A/B-тест, расскажите о сравнении без специального сервиса: два объявления в одной кампании, две темы письма, два поста с разными картинками. Назовите, какую цифру сравнивали и сколько было данных. Признайте, что полноценного теста у вас еще не было, и объясните, как спланировали бы его.

Слабый и сильный ответ

Слабый ответ

Я постоянно тестирую объявления и посадочные. Например, поменяли цвет кнопки на зеленый, и конверсия выросла. Тесты помогают находить лучшие решения.

Сильный ответ

Для онлайн-курсов рисования я сравнивала два объявления: с ценой и с бесплатным первым уроком. После двух недель и 600 кликов на каждое бесплатный урок давал вдвое больше заявок, но до оплаты такие заявки доходили втрое реже. Мы оставили объявление с ценой.

Пример сильного ответа

Ситуация

Я работала интернет-маркетологом службы клининга в городе-миллионнике. Посадочная страница получала из Директа около 4 000 посещений в неделю, заявку оставляли 4% посетителей. Руководитель хотел больше заявок без роста бюджета, и я была уверена, что людям мешает неизвестная цена.

Доступно по подписке

Задача, действия и результат по шагам

Частые ошибки

  • «Поменяли кнопку, и конверсия выросла»

    Назовите объем: сколько посещений и заявок набрала каждая версия и сколько дней шел тест. Без этого рост может оказаться случайным колебанием

  • «Мы проверили сразу новый заголовок, форму и фото»

    Если меняли несколько элементов сразу, честно скажите, что тест показал победу страницы целиком. Какой элемент сработал, такой тест не отвечает

  • «Мой вариант проиграл, но я уверена, что он лучше»

    Примите итог теста и скажите, что сделали дальше: новую гипотезу, другой вариант, отказ от идеи. Спор с данными на собеседовании звучит хуже честного проигрыша

  • «Тест шел три дня, разница была видна сразу»

    Объясните, почему держите тест хотя бы полную неделю: заявки в будни и выходные отличаются, а в первые дни разница часто бывает случайной

Сигналы для интервьюера

Сильный ответ

Называет гипотезу, метрику, срок и объем теста, признает проигравшую идею и объясняет решение по итогам

Тревожный сигнал

Рассказывает о тесте с выигрышем, но не помнит, сколько заявок было в каждой версии и сколько шел тест

Красный флаг

Продлевает тест, пока свой вариант не выйдет вперед, и выдает такой результат за победу

Как еще могут спросить

  • Расскажите о вашем самом успешном A/B-тесте
  • Как вы проводите A/B-тест посадочной страницы?
  • Приведите пример теста, который опроверг вашу гипотезу
  • Как вы решаете, что A/B-тест пора останавливать?

Похожие вопросы

ИсторияС опытомИногда

Расскажите о цепочке писем, которую вы настраивали: какую задачу она решала и что изменилось в цифрах?

Назовите задачу цепочки через действие клиента: оплатить после пробного периода, вернуться за второй покупкой. Расскажите, из каких писем она состояла и по какой цифре вы ее оценивали. Если первые версии не сработали, скажите прямо и покажите, какое изменение дало результат. Сильнее всего звучит доля оплат или повторных покупок до и после изменения.

  • email-маркетинг
  • цепочка писем
140
КейсС опытомЧасто

Кампания в Директе для службы доставки цветов дает 2 000 кликов в месяц и всего 15 заявок — с чего начнете разбор?

Конверсия 0,75% говорит о том, что заявки теряются где-то между запросом и формой. Пройдите цепочку по порядку: отчет о поисковых запросах, тексты объявлений, посадочная страница, форма заказа. Сначала уберите нецелевые запросы и проверьте страницу на телефоне, потом меняйте ставки: от более дорогих кликов плохой трафик заявками не станет.

  • Яндекс Директ
  • конверсия
242
ЗнаниеБез опытаЧасто

Что такое CTR, CPC и CPA и как по ним посчитать стоимость заявки?

CTR — доля показов, после которых человек кликнул: клики делим на показы. CPC — средняя цена клика: расход делим на клики. CPA — цена целевого действия, например заявки: расход делим на число заявок. Если вы платите за клики, стоимость заявки равна цене клика, деленной на конверсию сайта: 20 рублей при конверсии 3% дают 667 рублей.

  • метрики
  • контекстная реклама
226
ИсторияРуководительЧасто

Расскажите, какой отчет о маркетинге вы показывали собственнику: какие цифры в нем были и какие решения по нему принимали?

Опишите отчет, который вы реально показывали: как часто, на скольких страницах и какие цифры в нем были. Назовите связь с деньгами: выручку от маркетинга, стоимость клиента по каналам, план и факт. Обязательно назовите решение, которое собственник принял по отчету. Если первая версия отчета не работала, расскажите, как вы ее переделали.

  • отчетность
  • аналитика
247

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Хотя бы полный недельный цикл, обычно одну-две недели, и пока в каждой версии не наберется достаточно заявок для проверки значимости. Назовите, как вы ее проверяли: калькулятором значимости или отчетом сервиса тестов. Если данных не хватило, так и скажите.

Да, это хороший материал. Покажите, что вы сформулировали гипотезу, дождались данных и приняли решение: оставить старый вариант, проверить другую идею. Интервьюер ищет человека, который доверяет данным больше, чем своему вкусу.

Скажите об этом и назовите, чем заменили тест: показ вариантов по очереди по неделям, проверку крупного изменения вместо мелочей, тест на объявлениях, где кликов больше. Признайте, что такие проверки грубее, и объясните, как учитывали сезон.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227