Ограничьте число одновременных запросов к внешнему API: из 20 задач одновременно должны выполняться не больше 5
Проверила команда Сопровод · Обновлено
Короткий ответ
Создайте один asyncio.Semaphore(5) на всю выгрузку и передайте его во все задачи. Каждая задача заходит в async with semaphore перед запросом: первые пять получают слот, шестая ждет, пока кто-то выйдет. Все 20 задач запускайте через gather, ограничение работает внутри них. Слот освобождается и при исключении, поэтому упавший запрос не съест лимит.
Почему этот вопрос задают
Внешние API блокируют клиентов за всплески запросов, а массовые выгрузки есть почти в каждом бэкенде. Задача проверяет, где вы создадите семафор, куда поставите async with и что сделаете с зависшим запросом.
Условие задачи
Агрегатор недвижимости раз в час выгружает объявления с API сайта-партнера: 20 запросов по номерам объявлений. Партнер разрешает не больше 5 одновременных подключений, на шестое отвечает ошибкой 429. Напишите main(), которая собирает все 20 объявлений и держит одновременно не больше 5 запросов. Вместо сети используйте asyncio.sleep(0) и посчитайте, сколько запросов работало одновременно в пике.
Как подойти к решению
- Создайте один
asyncio.Semaphore(5)внутриmain()и передайте его в каждую задачу - Оберните сам запрос в
async with semaphoreвнутри корутины задачи - Запустите все 20 корутин одним
asyncio.gatherи соберите ответы - Посчитайте пик одновременных запросов счетчиком внутри
async with, чтобы проверить лимит
Решение
Пять задач сразу заняли слоты, остальные ждали на входе в async with и заходили по одной, когда кто-то выходил. Пик — ровно 5, ответов 20. Выгрузка займет около четырех длительностей запроса: 20 задач по 5 одновременно. Словарь stats нужен только для проверки, в рабочем коде его нет.
stats = {"now": 0, "peak": 0}
async def fetch_listing(listing_id, limit):
async with limit:
stats["now"] += 1
stats["peak"] = max(stats["peak"], stats["now"])
await asyncio.sleep(0) # здесь был бы запрос к API
stats["now"] -= 1
return {"id": listing_id}
async def main():
limit = asyncio.Semaphore(5)
tasks = (fetch_listing(i, limit) for i in range(20))
listings = await asyncio.gather(*tasks)
print("одновременно:", stats["peak"], "собрано:", len(listings))
asyncio.run(main())одновременно: 5 собрано: 20
Что спросят следом
Партнер разрешает 10 запросов в секунду, а число подключений не ограничивает. Хватит ли семафора?
Что изменится, если объявлений два миллиона?
Что будет, если один запрос повиснет?
Доступно по подписке
Ответы на эти вопросы
Частые ошибки
«Создам семафор внутри корутины, которая делает запрос»
Тогда у каждой задачи свой семафор с пятью слотами, и все 20 запросов пойдут одновременно. Семафор должен быть один на все задачи: создайте его в
main()и передайте параметром«Оберну в
async with semaphoreвесь вызовgather»gatherзаймет один слот целиком, а внутри все 20 запросов пойдут разом. Ограничение ставится вокруг одного запроса, внутри корутины задачи«Возьму
threading.Semaphore, он тоже ограничивает доступ»Его
acquireблокирует весь поток, а с ним и цикл событий: шестая задача заснет, и никто не освободит слот. Программа зависнет. В асинхронном коде берите примитивы из модуляasyncio«Вызову
await semaphore.acquire(), а в концеsemaphore.release()»Если запрос упадет между ними,
releaseне выполнится и слот пропадет навсегда.async withосвобождает слот и при исключении, а руками нуженtryиfinally
Сигналы для интервьюера
Сильный ответ
Добавляет повтор с паузой для ответов 429 и объясняет, почему повтор тоже должен проходить через тот же семафор
Тревожный сигнал
Ловит исключения запроса внутри async with и молча их глотает: часть объявлений теряется, и в логах о ней ни слова
Красный флаг
Считает, что gather сам держит разумное число одновременных задач, и не ставит никакого лимита
Как еще могут спросить
- Как ограничить количество одновременных корутин в
asyncio? - Зачем нужен
asyncio.Semaphoreи как им пользоваться? - Как не превысить лимит подключений к стороннему API при массовой выгрузке?
- Как запустить 1000 задач, но выполнять одновременно не больше 10?











