Когда вы сознательно денормализуете схему и как удержите дублированные данные согласованными?

ЗнаниеSeniorИногда

Проверила команда СопроводОбновлено

Короткий ответ

Денормализую, когда чтений намного больше, чем записей, и агрегат на каждом чтении дорогой: например, рейтинг ресторана в каталоге с сортировкой. Копию держу согласованной триггером в той же транзакции, материализованным представлением с обновлением по расписанию или асинхронным пересчетом. Способ выбираю по допустимому отставанию и добавляю сверку, которая находит и чинит расхождения.

Почему этот вопрос задают

Интервьюер проверяет, умеете ли вы платить за скорость чтения осознанно: назовете ли цену дублирования, способ синхронизации и то, как узнаете о расхождении раньше пользователей.

Как рассуждать

  1. Назовите признак: чтений намного больше, чем записей, и агрегат на чтении дорогой
  2. Покажите замер до решения: план запроса и время ответа страницы
  3. Выберите способ синхронизации по допустимому отставанию: триггер, представление или очередь
  4. Расскажите, как найдете расхождение: регулярная сверка копии с исходной таблицей

Ответ с примером

Каталог сервиса бронирования сортирует рестораны по рейтингу. Пока рейтинг считается через avg по reviews, индекс по нему не построить, и каждая страница каталога пересчитывает тысячи отзывов. Поэтому avg_rating и reviews_count хранят прямо в restaurants, но сначала показывают замер: план запроса и время страницы. Копию держат согласованной одним из трех способов. Триггер пересчитывает поля в той же транзакции, что и отзыв, и читатель не видит устаревших данных. Материализованное представление обновляют по расписанию, и между обновлениями данные отстают. Асинхронный пересчет через очередь разгружает запись, зато без сверки расхождение никто не заметит. В примере триггер сначала блокирует строку ресторана: без этого два параллельных отзыва дадут неверный счетчик.

SQL
CREATE FUNCTION sync_rating() RETURNS trigger LANGUAGE plpgsql AS $$ BEGIN
  PERFORM FROM restaurants WHERE id IN (NEW.restaurant_id, OLD.restaurant_id)
    FOR UPDATE;
  UPDATE restaurants r SET (avg_rating, reviews_count) =
    (SELECT round(avg(rating), 2), count(*) FROM reviews WHERE restaurant_id = r.id)
  WHERE r.id IN (NEW.restaurant_id, OLD.restaurant_id);
  RETURN NULL;
END $$;
CREATE TRIGGER reviews_sync AFTER INSERT OR UPDATE OR DELETE ON reviews
  FOR EACH ROW EXECUTE FUNCTION sync_rating();
INSERT INTO reviews VALUES (1,1,5),(2,1,4);
SELECT id, name, avg_rating, reviews_count FROM restaurants ORDER BY id;
Вывод
 id |  name   | avg_rating | reviews_count
----+---------+------------+---------------
  1 | Терраса |       4.50 |             2
  2 | Чайхана |            |             0
(2 rows)

Как ответить сильнее

Что добавит опытный кандидат

Что спросят следом

Доступно по подписке

Приемы опытных и готовые ответы

Частые ошибки

  • «Денормализация — это просто ускорение, минусов нет»

    Назовите цену: запись становится дороже, копия может разойтись с источником, схему сложнее понять новому разработчику. Решение принимайте после замера

  • «Пересчитаю рейтинг в приложении после сохранения отзыва»

    Объясните риск: если приложение упадет между двумя запросами, копия разойдется. Обновляйте копию в той же транзакции или добавьте сверку, которая это поймает

  • «Материализованное представление всегда актуально»

    Уточните, что представление хранит результат на момент последнего REFRESH. Между обновлениями данные отстают, и это отставание согласуйте с продуктом заранее

  • «Добавлю триггер, и согласованность гарантирована»

    Добавьте, что триггер без блокировки строки ресторана теряет параллельные отзывы, а массовая загрузка с триггером идет заметно медленнее

Сигналы для интервьюера

Сильный ответ

Начинает с замера и цены дублирования, выбирает синхронизацию по допустимому отставанию и сам говорит про сверку и параллельные записи

Тревожный сигнал

Предлагает триггер или материализованное представление, но не может сказать, насколько данные отстанут и кто заметит расхождение

Красный флаг

Считает денормализацию ошибкой проектирования или, наоборот, дублирует данные без всякого способа их синхронизировать

Как еще могут спросить

  • Что такое денормализация и когда она оправдана?
  • Как синхронизировать дублированные данные в базе?
  • Чем вы рискуете, если храните агрегат прямо в таблице?
  • Приведите пример, когда вы нарушили третью нормальную форму ради скорости

Похожие вопросы

ЗнаниеMiddleРедко

Как порядок столбцов в составном индексе влияет на то, какие запросы он ускорит?

Составной B-tree сортирует строки сначала по первому столбцу, а внутри него по второму. Поэтому индекс (hotel_id, check_in) быстро находит брони отеля и брони отеля на дату, а запросу только по check_in почти не помогает. Первыми ставьте столбцы с условием на равенство, столбец с диапазоном — последним.

  • PostgreSQL
  • индексы
  • составной индекс
118
ЗнаниеSeniorИногда

Что такое партиционирование таблиц в PostgreSQL и когда оно ускоряет запросы, а когда нет?

Партиционирование — это деление одной таблицы на секции по ключу: диапазону дат, списку значений или хешу. Запрос с условием на ключ читает только нужные секции, а старые данные удаляются целой секцией за секунды. Запросы без условия на ключ партиционирование не ускорит: они читают все секции, и тысячи мелких секций еще и замедляют планирование.

  • PostgreSQL
  • партиционирование
194
ЗадачаSeniorИногда

Сделайте обработчик оплаты идемпотентным: повторный запрос с тем же ключом не должен списать деньги второй раз

Клиент создает ключ идемпотентности до первой попытки и шлет его с каждым повтором. Сервер хранит по ключу параметры запроса и готовый ответ. Пришел знакомый ключ с теми же параметрами — верните сохраненный ответ без списания. Тот же ключ с другой суммой — ошибка: клиент перепутал запросы. Новый ключ — новая оплата.

  • Python
  • API
  • платежи
167
ЗнаниеMiddleЧасто

Что такое проблема N+1 в Django ORM и когда нужен select_related, а когда prefetch_related?

Проблема N+1 — один запрос за списком объектов и еще N запросов за связанными данными, по одному на каждый объект в цикле. В Django так бывает при обращении к order.customer в цикле по заказам. select_related подтягивает внешний ключ и связь один-к-одному через JOIN в том же запросе. prefetch_related делает второй запрос с IN для обратных связей и многие-ко-многим.

  • Python
  • Django
  • базы данных
230

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Возьмите знакомый интерфейс: счетчик лайков, рейтинг товара, остаток на складе. Опишите, где лежат исходные данные и где копия, как они синхронизируются и что будет при сбое. Интервьюеру важнее ход рассуждения, чем строчка в резюме.

Уверенно опишите триггер: на какое событие он срабатывает, в какой транзакции выполняется и что делает с OLD и NEW. Точный синтаксис CREATE TRIGGER обычно не спрашивают, зато спросят про блокировки и массовую загрузку.

Счетчики и суммы в родительской таблице, широкие таблицы витрин для отчетов, копия имени клиента в заказе. Отдельно разберите цену в строке заказа: она фиксирует факт покупки и после смены прайса должна остаться прежней, это часть модели данных.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227