Что такое проблема N+1 в Django ORM и когда нужен select_related, а когда prefetch_related?

ЗнаниеMiddleЧасто

Проверила команда СопроводОбновлено

Короткий ответ

Проблема N+1 — один запрос за списком объектов и еще N запросов за связанными данными, по одному на каждый объект в цикле. В Django так бывает при обращении к order.customer в цикле по заказам. select_related подтягивает внешний ключ и связь один-к-одному через JOIN в том же запросе. prefetch_related делает второй запрос с IN для обратных связей и многие-ко-многим.

Почему этот вопрос задают

Страница со списком из 50 заказов незаметно отправляет 51 запрос, и с ростом данных она тормозит все сильнее. По ответу видно, представляете ли вы SQL за строкой на ORM и умеете ли сократить число запросов.

Как рассуждать

  1. Опишите симптом: запрос за списком и еще по запросу на каждый элемент в цикле
  2. Объясните причину: ORM грузит связанный объект лениво, при первом обращении к атрибуту
  3. Назовите select_related для внешнего ключа и один-к-одному: один запрос с JOIN
  4. Назовите prefetch_related для обратных связей и многие-ко-многим: второй запрос с IN

Ответ с примером

Сервис доставки пиццы выводит список заказов с именами клиентов. Код на sqlite3 из стандартной библиотеки повторяет запросы, которые Django отправит в базу. Заказы приходят одним запросом, и за клиентом каждого заказа цикл идет отдельно: set_trace_callback(print) показывает шесть запросов на пять заказов. То же делает Django, когда в цикле по Order.objects.all() вы читаете order.customer.name. Вариант с JOIN получает все за один запрос, такой SQL строит Order.objects.select_related("customer").

Для обратной связи, например всех заказов клиента через customer.orders при related_name="orders" у внешнего ключа, JOIN размножил бы строки клиента. Здесь нужен Customer.objects.prefetch_related("orders"): Django делает второй запрос с WHERE customer_id IN (...) и раскладывает заказы по клиентам в Python.

Python
db = sqlite3.connect(":memory:")
db.executescript("""CREATE TABLE customers (id INTEGER PRIMARY KEY, name TEXT);
INSERT INTO customers VALUES (1, 'Анна'), (2, 'Олег'), (3, 'Ира');
CREATE TABLE orders (id INTEGER PRIMARY KEY, customer_id INTEGER);
INSERT INTO orders (customer_id) VALUES (1), (2), (1), (3), (2);""")
db.set_trace_callback(print)
for (customer_id,) in db.execute("SELECT customer_id FROM orders").fetchall():
    db.execute("SELECT name FROM customers WHERE id = ?", (customer_id,)).fetchone()
print("---")
db.execute("SELECT o.id, c.name FROM orders o JOIN customers c ON c.id = o.customer_id")
Вывод
SELECT customer_id FROM orders
SELECT name FROM customers WHERE id = 1
SELECT name FROM customers WHERE id = 2
SELECT name FROM customers WHERE id = 1
SELECT name FROM customers WHERE id = 3
SELECT name FROM customers WHERE id = 2
---
SELECT o.id, c.name FROM orders o JOIN customers c ON c.id = o.customer_id

select_related и prefetch_related: в чем разница

Свойствоselect_relatedprefetch_related
Сколько запросоводин, с JOINосновной и еще по одному на каждую связь
Какие связивнешний ключ и один-к-одномулюбые, включая обратный внешний ключ и многие-ко-многим
Где соединяются данныев базев Python
Рискширокие строки при нескольких JOINдлинный список в IN и память под объекты
ПримерOrder.objects.select_related("customer")Customer.objects.prefetch_related("orders")

Как ответить сильнее

Что добавит опытный кандидат

Что спросят следом

Доступно по подписке

Приемы опытных и готовые ответы

Частые ошибки

  • «prefetch_related делает тот же JOIN, только хитрее»

    Уточните, что это отдельный запрос с IN по собранным идентификаторам. Соединение строк происходит в Python, в памяти процесса

  • «Добавлю индекс на customer_id, и N+1 пропадет»

    Объясните, что индекс ускорит каждый из N запросов, но их число останется прежним, как и сетевая задержка на каждый

  • «В select_related можно передать связь многие-ко-многим»

    Скажите, что Django ответит ошибкой FieldError: select_related работает только со связями к одному объекту. Для многие-ко-многим нужен prefetch_related

  • «Перепишу все на сырой SQL, так надежнее»

    Покажите, что ORM решает задачу одной строкой с select_related. Сырой SQL оставьте для запросов, которые ORM выражает плохо, например для рекурсивного обхода дерева через WITH RECURSIVE

Сигналы для интервьюера

Сильный ответ

Сам переводит цикл на ORM в SQL-запросы, считает их и выбирает между select_related и prefetch_related по типу связи

Тревожный сигнал

Знает оба метода, а N+1 в шаблоне или сериализаторе API без подсказки не замечает

Красный флаг

Не видит проблемы в запросе на каждую строку и предлагает лечить медленную страницу кэшем или мощным сервером

Как еще могут спросить

  • Что такое проблема N+1 запросов в Django ORM?
  • В чем разница между select_related и prefetch_related в Django?
  • Как в Django уменьшить число запросов к базе при обходе связанных объектов?
  • Когда использовать prefetch_related вместо select_related?

Похожие вопросы

ЗнаниеMiddleРедко

Как порядок столбцов в составном индексе влияет на то, какие запросы он ускорит?

Составной B-tree сортирует строки сначала по первому столбцу, а внутри него по второму. Поэтому индекс (hotel_id, check_in) быстро находит брони отеля и брони отеля на дату, а запросу только по check_in почти не помогает. Первыми ставьте столбцы с условием на равенство, столбец с диапазоном — последним.

  • PostgreSQL
  • индексы
  • составной индекс
118
ЗадачаJuniorЧасто

Перепишите поиск читателя по фамилии так, чтобы его нельзя было взломать SQL-инъекцией

Уберите f-строку и передайте фамилию отдельно от текста запроса: плейсхолдер ? в SQL и кортеж (last_name,) вторым аргументом execute. Драйвер передаст значение как данные, и кавычка во вводе останется частью фамилии. Ввод ' OR '1'='1 после исправления найдет 0 читателей вместо всех 4, а фамилия О'Нил найдется без ошибки.

  • Python
  • SQL
  • безопасность
217
ЗнаниеJuniorЧасто

Чем Django отличается от FastAPI и когда выбрать каждый из них?

Django — полный фреймворк для сайта: ORM, миграции, админка, пользователи и шаблоны из коробки, API к нему добавляют через DRF. FastAPI — легкий фреймворк для API: валидация через Pydantic по аннотациям типов, документация OpenAPI автоматически, асинхронные обработчики изначально. Базу, миграции и админку к FastAPI подбирают отдельно. Берите Django для продукта с админкой, FastAPI — для сервиса API.

  • Python
  • Django
  • FastAPI
256
ЗнаниеSeniorИногда

Когда вы сознательно денормализуете схему и как удержите дублированные данные согласованными?

Денормализую, когда чтений намного больше, чем записей, и агрегат на каждом чтении дорогой: например, рейтинг ресторана в каталоге с сортировкой. Копию держу согласованной триггером в той же транзакции, материализованным представлением с обновлением по расписанию или асинхронным пересчетом. Способ выбираю по допустимому отставанию и добавляю сверку, которая находит и чинит расхождения.

  • PostgreSQL
  • проектирование схемы
  • денормализация
206

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Да, на middle ожидают, что вы прочитаете SQL из connection.queries при DEBUG=True или из логов и поймете, есть ли в нем JOIN и сколько запросов уходит на страницу. Потренируйтесь выводить SQL для пары связанных моделей с select_related и без него.

Проблема та же, меняются названия: joinedload в SQLAlchemy соответствует select_related, selectinload соответствует prefetch_related. Если в вакансии FastAPI, назовите оба и добавьте, что в асинхронной сессии ленивая загрузка падает с ошибкой, поэтому связи там подгружают явно.

Начните с симптома: страница списка в админке или ответ API тормозили при росте данных. Назовите, сколько запросов было до правки и после, например 213 и 3, какой метод добавили и как закрепили результат тестом.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227