Как устроен пул соединений database/sql и что сломается, если не настроить MaxOpenConns и ConnMaxLifetime?

ЗнаниеSeniorИногда

Проверила команда СопроводОбновлено

Короткий ответ

sql.DB — пул соединений, безопасный для конкурентного использования. Запрос берет свободное соединение или открывает новое и после работы возвращает его в пул. По умолчанию MaxOpenConns не ограничен, и под нагрузкой сервис откроет сотни соединений и упрется в max_connections базы. ConnMaxLifetime по умолчанию бесконечен: после переключения базы пул держится за старые соединения.

Почему этот вопрос задают

Под пиковой нагрузкой сервис часто упирается в базу данных, и неверно настроенный пул — одна из типичных причин. Здесь проверяют, посчитаете ли вы пул сразу на все поды и найдете ли ошибку расчета в метриках.

Как рассуждать

  1. Опишите жизненный цикл соединения: взять из пула, выполнить запрос, вернуть
  2. Перечислите настройки и их значения по умолчанию: открытые, простаивающие, время жизни
  3. Посчитайте пул на все поды и сравните сумму с max_connections базы
  4. Покажите, по каким полям db.Stats() видно, что пула не хватает

Ответ с примером

Интернет-магазин зоотоваров на распродаже масштабируется до 12 подов. У PostgreSQL max_connections = 100, и три слота по умолчанию оставлены суперпользователю. Без MaxOpenConns каждый под открывает столько соединений, сколько у него одновременных запросов. Когда обычных соединений станет 97, следующее база отклонит с ошибкой remaining connection slots are reserved…: без доступа останутся покупатели и миграции, войти сможет только суперпользователь. Если займут и резервные слоты, новые подключения, включая суперпользователя, получат sorry, too many clients already.

Ставим MaxOpenConns = 7: 12 × 7 = 84 соединения на все поды, и запас остается на служебные подключения. Запросы сверх лимита ждут в очереди пула, это лучше ошибки базы. ConnMaxLifetime в 30 минут постепенно обновляет соединения, и после переключения базы пул сам переходит на новый узел.

НастройкаПо умолчаниюЧто сломается без нее
MaxOpenConns0, без лимитабаза упрется в max_connections
MaxIdleConns2после каждого всплеска соединения открываются заново
ConnMaxLifetime0, бессрочнопул держится за старый узел после переключения
ConnMaxIdleTime0, бессрочнолишние простаивающие соединения живут до перезапуска

Как ответить сильнее

Что добавит опытный кандидат

Что спросят следом

Доступно по подписке

Приемы опытных и готовые ответы

Частые ошибки

  • «sql.Open подключается к базе»

    Скажите, что sql.Open только создает пул и проверяет параметры. Первое соединение откроется при запросе, доступность базы на старте проверяет PingContext

  • «Чем больше MaxOpenConns, тем быстрее сервис»

    Объясните, что база выполняет запросы на своих ядрах. Сотни соединений дадут очередь уже внутри базы и рост задержек у всех клиентов

  • «Соединение возвращается в пул сразу после Query»

    Уточните, что соединение занято, пока открыты Rows. Пишите defer rows.Close() сразу после проверки ошибки, иначе пул быстро опустеет

  • «ConnMaxLifetime нужен, чтобы соединения не протухали»

    Назовите главную причину: соединение держится за один узел. Срок жизни заставляет пул переподключаться и замечать новую реплику или узел за балансировщиком

Сигналы для интервьюера

Сильный ответ

Сразу считает пул на все поды, сверяет сумму с лимитом базы и называет метрики для проверки расчета после выкладки

Тревожный сигнал

Настраивает пул одного пода правильно, но забывает, что на распродаже подов станет больше и сумма превысит лимит базы

Красный флаг

Вызывает sql.Open на каждый запрос и закрывает пул после него, считая, что так соединения не утекают

Как еще могут спросить

  • Как работает пул соединений в database/sql?
  • Что такое MaxOpenConns, MaxIdleConns и ConnMaxLifetime?
  • Как выбрать размер пула соединений к PostgreSQL для Go-сервиса?
  • Почему под нагрузкой база отвечает Go-сервису too many clients?

Похожие вопросы

ЗнаниеSeniorИногда

Как MVCC в PostgreSQL позволяет читать без блокировок и зачем после этого нужен VACUUM?

При UPDATE PostgreSQL пишет новую версию строки и помечает старую устаревшей. Каждая транзакция видит свой снимок данных и читает подходящие ей версии, поэтому читатели и писатели друг друга не блокируют. Старые версии остаются в таблице мертвыми строками. Их место освобождает VACUUM, обычно его запускает фоновый autovacuum.

  • PostgreSQL
  • MVCC
  • VACUUM
191
ЗнаниеSeniorИногда

Какие типы индексов есть в PostgreSQL и когда выбрать GIN, GiST или BRIN вместо B-tree?

В PostgreSQL есть B-tree, Hash, GiST, SP-GiST, GIN и BRIN. B-tree по умолчанию закрывает равенство, диапазоны и сортировку. GIN ищет элемент внутри значения: тег в массиве, ключ в jsonb, слово в тексте. GiST подходит для геометрии и диапазонов. BRIN хранит минимум и максимум по диапазонам страниц и годится для огромных таблиц, где значения растут в порядке записи.

  • PostgreSQL
  • индексы
198
ЗнаниеMiddleЧасто

Зачем в Go нужен context и как отмена доходит до всех горутин запроса?

context.Context переносит через границы функций отмену, дедлайн и значения запроса. Производные контексты образуют дерево: cancel() родителя закрывает канал Done() у него и у всех потомков, обратно отмена не идет. Остановить горутину контекст не может: она сама слушает ctx.Done() или передает ctx в вызовы базы и сети. cancel вызывайте всегда, обычно через defer.

  • context
  • горутины
288
ЗнаниеMiddleЧасто

Что такое gRPC и чем он отличается от REST с JSON?

gRPC — фреймворк удаленного вызова процедур: контракт описывают в .proto, клиент и сервер генерируют из него, сообщения кодируются в бинарный Protocol Buffers и идут поверх HTTP/2. REST с JSON — ресурсы, методы HTTP и текстовый формат, который читает любой клиент. gRPC быстрее и строже между своими сервисами, REST проще для браузера и внешних партнеров.

  • gRPC
  • микросервисы
230

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Нарисуйте три части: список свободных соединений, счетчик открытых и очередь запросов, которые получат соединение, как только его вернут. Код пакета database/sql читать необязательно, важнее объяснить по этой схеме поведение сервиса под нагрузкой.

Поднимите PostgreSQL в Docker с max_connections = 20 и дайте нагрузку на сервис без лимита пула, чтобы увидеть ошибки. Затем поставьте лимит и сравните задержки и db.Stats(). Такой опыт легко пересказать с цифрами.

Часто — про транзакции и уровни изоляции, индексы и блокировки. На senior добавляют устройство PostgreSQL: MVCC, VACUUM и выбор индекса под запрос. Отвечайте со стороны Go-сервиса: где открыть транзакцию и как не держать соединение дольше нужного.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227