Ограничьте число одновременных запросов к внешнему API: из 20 задач одновременно должны выполняться не больше 5

ЗадачаSeniorИногда

Проверила команда СопроводОбновлено

Короткий ответ

Создайте один asyncio.Semaphore(5) на всю выгрузку и передайте его во все задачи. Каждая задача заходит в async with semaphore перед запросом: первые пять получают слот, шестая ждет, пока кто-то выйдет. Все 20 задач запускайте через gather, ограничение работает внутри них. Слот освобождается и при исключении, поэтому упавший запрос не съест лимит.

Почему этот вопрос задают

Внешние API блокируют клиентов за всплески запросов, а массовые выгрузки есть почти в каждом бэкенде. Задача проверяет, где вы создадите семафор, куда поставите async with и что сделаете с зависшим запросом.

Условие задачи

Агрегатор недвижимости раз в час выгружает объявления с API сайта-партнера: 20 запросов по номерам объявлений. Партнер разрешает не больше 5 одновременных подключений, на шестое отвечает ошибкой 429. Напишите main(), которая собирает все 20 объявлений и держит одновременно не больше 5 запросов. Вместо сети используйте asyncio.sleep(0) и посчитайте, сколько запросов работало одновременно в пике.

Как подойти к решению

  1. Создайте один asyncio.Semaphore(5) внутри main() и передайте его в каждую задачу
  2. Оберните сам запрос в async with semaphore внутри корутины задачи
  3. Запустите все 20 корутин одним asyncio.gather и соберите ответы
  4. Посчитайте пик одновременных запросов счетчиком внутри async with, чтобы проверить лимит

Решение

Пять задач сразу заняли слоты, остальные ждали на входе в async with и заходили по одной, когда кто-то выходил. Пик — ровно 5, ответов 20. Выгрузка займет около четырех длительностей запроса: 20 задач по 5 одновременно. Словарь stats нужен только для проверки, в рабочем коде его нет.

Python
stats = {"now": 0, "peak": 0}


async def fetch_listing(listing_id, limit):
    async with limit:
        stats["now"] += 1
        stats["peak"] = max(stats["peak"], stats["now"])
        await asyncio.sleep(0)  # здесь был бы запрос к API
        stats["now"] -= 1
    return {"id": listing_id}


async def main():
    limit = asyncio.Semaphore(5)
    tasks = (fetch_listing(i, limit) for i in range(20))
    listings = await asyncio.gather(*tasks)
    print("одновременно:", stats["peak"], "собрано:", len(listings))


asyncio.run(main())
Вывод
одновременно: 5 собрано: 20

Что спросят следом

  • Партнер разрешает 10 запросов в секунду, а число подключений не ограничивает. Хватит ли семафора?

  • Что изменится, если объявлений два миллиона?

  • Что будет, если один запрос повиснет?

Доступно по подписке

Ответы на эти вопросы

Частые ошибки

  • «Создам семафор внутри корутины, которая делает запрос»

    Тогда у каждой задачи свой семафор с пятью слотами, и все 20 запросов пойдут одновременно. Семафор должен быть один на все задачи: создайте его в main() и передайте параметром

  • «Оберну в async with semaphore весь вызов gather»

    gather займет один слот целиком, а внутри все 20 запросов пойдут разом. Ограничение ставится вокруг одного запроса, внутри корутины задачи

  • «Возьму threading.Semaphore, он тоже ограничивает доступ»

    Его acquire блокирует весь поток, а с ним и цикл событий: шестая задача заснет, и никто не освободит слот. Программа зависнет. В асинхронном коде берите примитивы из модуля asyncio

  • «Вызову await semaphore.acquire(), а в конце semaphore.release()»

    Если запрос упадет между ними, release не выполнится и слот пропадет навсегда. async with освобождает слот и при исключении, а руками нужен try и finally

Сигналы для интервьюера

Сильный ответ

Добавляет повтор с паузой для ответов 429 и объясняет, почему повтор тоже должен проходить через тот же семафор

Тревожный сигнал

Ловит исключения запроса внутри async with и молча их глотает: часть объявлений теряется, и в логах о ней ни слова

Красный флаг

Считает, что gather сам держит разумное число одновременных задач, и не ставит никакого лимита

Как еще могут спросить

  • Как ограничить количество одновременных корутин в asyncio?
  • Зачем нужен asyncio.Semaphore и как им пользоваться?
  • Как не превысить лимит подключений к стороннему API при массовой выгрузке?
  • Как запустить 1000 задач, но выполнять одновременно не больше 10?

Похожие вопросы

ЗадачаMiddleЧасто

Запустите несколько корутин одновременно и соберите результаты так, чтобы ошибка одной не потеряла ответы остальных

Передайте корутины в asyncio.gather с return_exceptions=True: исключение упавшей корутины ляжет в список результатов на ее место, остальные ответы сохранятся. Порядок списка совпадает с порядком аргументов, поэтому по индексу видно, какой блок упал. Без этого флага gather отдаст наверх первое исключение, и ответы соседей до вас не дойдут.

  • Python
  • asyncio
  • корутины
210
ЗадачаSeniorЧасто

Напишите ограничитель частоты запросов: не больше N запросов от одного клиента за скользящее окно в T секунд

Для каждого клиента держите deque с временем его пропущенных запросов. На новом запросе выбросьте слева отметки не новее now - T и сравните длину очереди с лимитом. Меньше N — добавьте время и пропустите запрос, иначе отдайте 429. Клиенты не мешают друг другу, и скользящее окно не пускает всплеск на стыке двух фиксированных окон.

  • Python
  • API
  • алгоритмы
207
ЗнаниеMiddleЧасто

Чем многопоточность отличается от многопроцессности и asyncio в Python и что выбрать для какой задачи?

Потоки живут в одном процессе с общей памятью, из-за GIL вычисляют по очереди и хороши для ожидания сети и диска. Процессы получают свой интерпретатор и свой GIL и считают параллельно на разных ядрах, но стоят памяти и пересылки данных. asyncio переключает тысячи корутин в одном потоке на await и лучше всех держит много одновременных сетевых запросов.

  • Python
  • asyncio
  • многопоточность
280
ЗадачаMiddleЧасто

Напишите декоратор retry, который повторит вызов функции до N раз, если она упала с ошибкой

Декоратор с параметрами — это функция, которая возвращает декоратор: retry(times) отдает decorator, а decorator(func) отдает wrapper. В wrapper сделайте times - 1 попыток внутри try, ловите только переданные исключения и ждите delay между попытками. Последнюю попытку вызовите вне try, чтобы ее ошибка дошла до вызывающего кода. Оберните wrapper в functools.wraps.

  • Python
  • декораторы
252

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

BoundedSemaphore бросает ValueError, если release вызвали больше раз, чем acquire. Обычный Semaphore молча увеличит счетчик и пустит лишнюю задачу. С async with разницы нет, а при ручных вызовах BoundedSemaphore сразу покажет ошибку в коде.

Начните с лимита из документации партнера и разделите его на число экземпляров вашей выгрузки, которые работают одновременно. Дальше следите за ответами: рост 429 и таймаутов — сигнал уменьшить лимит, ровная задержка — повод осторожно его поднять.

Сам семафор знают и на Middle. На Senior ждут разговора вокруг него: таймауты, повторы, лимит в секунду против лимита подключений, очередь вместо миллиона задач, несколько экземпляров сервиса. Готовьтесь развернуть решение в любую из этих сторон.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227