Что такое проблема N+1 в Hibernate и как ее найти и исправить?

ЗнаниеMiddleЧасто

Проверила команда СопроводОбновлено

Короткий ответ

N+1 возникает, когда Hibernate одним запросом загружает список из N сущностей, а потом для каждой отдельным запросом подгружает связанную коллекцию или объект. 50 авторов дают 51 запрос вместо одного. Найти проблему помогают лог SQL и счетчик запросов в тесте. Исправляют ее через LEFT JOIN FETCH или @EntityGraph, а там, где соединение неудобно, через @BatchSize.

Почему этот вопрос задают

Кто писал на Hibernate хотя бы полгода, почти наверняка встречал N+1 в своем коде. Интервьюер хочет услышать, как вы проверяете SQL, который генерирует ORM.

Как рассуждать

  1. Опишите механику: один запрос за списком и по запросу на каждую ленивую связь
  2. Посчитайте запросы на конкретном числе строк, чтобы цена была видна
  3. Расскажите, как находите проблему: лог SQL, статистика Hibernate, проверка числа запросов в тесте
  4. Назовите исправления и скажите, какое когда подходит

Ответ с примером

Платформа онлайн-курсов показывает страницу авторов: имя и список курсов. Связь @OneToMany от Author к Course по умолчанию ленивая. Запрос select a from Author a возвращает 50 авторов, потом шаблон обращается к author.getCourses(), и Hibernate на каждого автора отправляет отдельный select в таблицу курсов. Пока авторов пять, этого никто не замечает. Когда их 50, а сеть до базы добавляет 2 мс на запрос, страница теряет 100 мс только на ожидание.

Основное исправление — загрузить связь левым соединением: left join fetch a.courses в запросе или @EntityGraph над методом репозитория. С внутренним соединением авторы без курсов пропадут со страницы. @BatchSize(size = 25) оставляет загрузку ленивой, но подтягивает курсы пачками, одним запросом на 25 авторов: так поступают, когда соединение раздувает результат.

СпособЗапросов на 50 авторовЧто учесть
Ленивая связь без настройки511 за авторами и 50 за курсами
left join fetch или @EntityGraph1строка на каждый курс и на автора без курсов, постраничный вывод режется в памяти
@BatchSize(size = 25)31 за авторами и 2 пачки по 25
Проекция в DTO1только нужные поля, сущности не создаются

Как ответить сильнее

Что добавит опытный кандидат

Что спросят следом

Доступно по подписке

Приемы опытных и готовые ответы

Частые ошибки

  • «Поставлю FetchType.EAGER, и N+1 исчезнет»

    Объясните, что запрос JPQL не учитывает EAGER: связи догружаются теми же отдельными запросами, только всегда, даже там, где они не нужны

  • «N+1 бывает только на больших таблицах»

    Покажите на числах: 50 строк дают 51 запрос, и при задержке сети 2 мс страница теряет 100 мс. Важен размер ответа, размер таблицы роли не играет

  • «Включу кэш второго уровня, и проблема решена»

    Скажите, что кэш прячет симптом: после его очистки первый же запрос снова дает N+1. Сначала исправьте загрузку, кэш добавляйте ради частых одинаковых чтений

  • «Сделаю join fetch сразу на все коллекции сущности»

    Предупредите про декартово произведение: две коллекции в одном запросе умножают строки, а для двух List Hibernate бросит MultipleBagFetchException

Сигналы для интервьюера

Сильный ответ

Сразу считает число запросов на конкретном примере и выбирает исправление под сценарий: список на странице, отчет или постраничный вывод

Тревожный сигнал

Знает про join fetch, но не может сказать, как заметил бы проблему в своем проекте до жалоб на медленную страницу

Красный флаг

Ни разу не смотрел SQL, который генерирует Hibernate, и считает, что ORM сам выбирает лучшие запросы

Как еще могут спросить

  • Что такое проблема N+1 запросов в Hibernate?
  • Как найти N+1 в приложении на Hibernate?
  • Чем JOIN FETCH отличается от @BatchSize?
  • Почему страница со списком делает сотни запросов к базе?

Похожие вопросы

ЗнаниеSeniorИногда

Какие состояния бывают у сущности в Hibernate и что такое контекст персистентности?

У сущности четыре состояния. Transient — новый объект, о котором Hibernate не знает. Managed — объект в контексте персистентности: его изменения сами уходят в базу при flush. Detached — объект был в контексте, но сессия закрылась. Removed — помечен на удаление. Контекст персистентности — кэш сессии, где каждой строке соответствует один объект и отслеживаются изменения.

  • Hibernate
  • JPA
199
ЗнаниеJuniorЧасто

Чем JDBC отличается от JPA и Hibernate?

JDBC — стандартный API Java для работы с базой: вы сами пишете SQL, передаете параметры и разбираете ResultSet в объекты. JPA — спецификация ORM: она описывает, как связать классы с таблицами через аннотации и работать с объектами через EntityManager. Hibernate — самая распространенная реализация JPA. Он сам генерирует SQL и внутри все равно ходит в базу через JDBC.

  • Hibernate
  • базы данных
226
ЗнаниеMiddleЧасто

Как работает @Transactional и почему он не срабатывает при вызове метода из того же класса?

Spring оборачивает бин с @Transactional в прокси. Внешний вызов приходит в прокси, тот открывает транзакцию, вызывает метод настоящего объекта и после него делает коммит или откат. Вызов this.method() изнутри класса идет прямо к объекту, мимо прокси, поэтому аннотация на втором методе не работает. Вынесите такой метод в отдельный бин или вызывайте его через прокси.

  • Spring
  • транзакции
262
ЗнаниеMiddleЧасто

Какие аномалии бывают при параллельных транзакциях и от каких защищает каждый уровень изоляции в PostgreSQL?

Стандарт SQL описывает уровни изоляции через четыре аномалии: грязное чтение, неповторяющееся чтение, фантомное чтение и аномалию сериализации. В PostgreSQL грязного чтения нет ни на одном уровне. Read Committed, уровень по умолчанию, допускает неповторяющееся и фантомное чтение. Repeatable Read в PostgreSQL закрывает и их, но допускает аномалию сериализации. Serializable защищает от всех, и взамен приложение повторяет транзакции после ошибки сериализации.

  • PostgreSQL
  • транзакции
  • уровни изоляции
209

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Назовите экран или отчет, где заметили проблему, число запросов до и после и то, как нашли: лог SQL, мониторинг или жалоба на медленную страницу. Добавьте, какой тест поставили, чтобы проблема не вернулась.

Да, на middle проект почти всегда на Spring Data. Покажите @EntityGraph(attributePaths = "courses") над методом репозитория и @Query с left join fetch. Оба дают один запрос, @EntityGraph удобнее для производных методов вроде findAll.

В Spring Boot задайте spring.jpa.show-sql=true или уровень DEBUG для логгера org.hibernate.SQL. Для подсчета включите hibernate.generate_statistics: Hibernate напишет в лог, сколько запросов ушло за сессию и сколько времени они заняли.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227