Запустите несколько корутин одновременно и соберите результаты так, чтобы ошибка одной не потеряла ответы остальных

ЗадачаMiddleЧасто

Проверила команда СопроводОбновлено

Короткий ответ

Передайте корутины в asyncio.gather с return_exceptions=True: исключение упавшей корутины ляжет в список результатов на ее место, остальные ответы сохранятся. Порядок списка совпадает с порядком аргументов, поэтому по индексу видно, какой блок упал. Без этого флага gather отдаст наверх первое исключение, и ответы соседей до вас не дойдут.

Почему этот вопрос задают

Сбор данных из нескольких источников — обычная работа бэкенда. По ответу видно, понимаете ли вы, что происходит с соседними задачами при ошибке и где теряются уже полученные результаты.

Условие задачи

Главная страница городского портала собирает три блока: погоду, пробки и афишу. Каждый блок отдает своя корутина, ответы приходят независимо. Сегодня сервис афиши не отвечает и бросает ConnectionError. Напишите main(), которая запускает три запроса одновременно и печатает все три блока по порядку: погоду и пробки с данными, на месте афиши — текст ошибки. Вместо сети используйте заглушку с asyncio.sleep(0).

Как подойти к решению

  1. Оформите запрос блока корутиной, которая возвращает строку или бросает исключение
  2. Передайте все корутины в один вызов asyncio.gather с return_exceptions=True
  3. Пройдите по результатам и отделите исключения от данных через isinstance
  4. Сверьте порядок: результаты идут в порядке аргументов, а не завершения

Решение

На месте афиши в списке лежит объект исключения, погода и пробки стоят на своих местах. По этому объекту показывайте заглушку и пишите ошибку в лог с именем блока. Корутины работают одновременно, поэтому время сбора равно времени самого долгого запроса, память O(n) на результаты.

Python
async def fetch(block, value):
    await asyncio.sleep(0)
    if value is None:
        raise ConnectionError(f"{block} не отвечает")
    return f"{block}: {value}"


async def main():
    results = await asyncio.gather(
        fetch("погода", "+3"), fetch("афиша", None), fetch("пробки", "6 баллов"),
        return_exceptions=True,
    )
    for result in results:
        if isinstance(result, BaseException):
            result = f"ошибка {type(result).__name__}: {result}"
        print(result)


asyncio.run(main())
Вывод
погода: +3
ошибка ConnectionError: афиша не отвечает
пробки: 6 баллов

Что спросят следом

  • Что станет с задачами погоды и пробок, если убрать return_exceptions=True?

  • Чем здесь поможет или помешает asyncio.TaskGroup?

  • Как ограничить ожидание медленного блока?

Доступно по подписке

Ответы на эти вопросы

Частые ошибки

  • «Оберну await asyncio.gather(...) в try и при ошибке покажу заглушки для всех блоков»

    Так из-за одной афиши пропадут погода и пробки, хотя их ответы уже пришли. Передайте return_exceptions=True или ловите исключение внутри корутины каждого блока

  • «Вызову корутины по очереди через await, так проще обработать ошибки»

    Последовательные await складывают время: три запроса по 300 мс займут 900 мс. gather запускает их одновременно, и страница ждет только самый медленный

  • «Результаты придут в порядке завершения, потом отсортирую»

    gather возвращает список в порядке аргументов, даже если пробки ответили раньше погоды. Сортировка не нужна. Если важен порядок завершения, берите asyncio.as_completed

  • «Проверю результат через isinstance(result, Exception)»

    С Python 3.8 CancelledError наследует BaseException, и отмененная задача пройдет проверку как обычный результат. Проверяйте BaseException или явно перечисляйте нужные классы

Сигналы для интервьюера

Сильный ответ

Предлагает отдавать страницу с частичными данными и договаривается, какие блоки обязательны, а без каких страница обойдется

Тревожный сигнал

Не знает, когда стартует корутина: думает, что вызов fetch(...) уже отправил запрос, а gather только собирает готовые ответы

Красный флаг

Считает, что gather запускает корутины в отдельных потоках, и для ускорения предлагает добавить потоков

Как еще могут спросить

  • Как в asyncio запустить несколько корутин параллельно и дождаться всех?
  • Что делает параметр return_exceptions у asyncio.gather?
  • Как обработать ошибку одной задачи в gather и сохранить результаты остальных?
  • Чем asyncio.gather отличается от TaskGroup, если одна из задач упала?

Похожие вопросы

ЗадачаSeniorИногда

Ограничьте число одновременных запросов к внешнему API: из 20 задач одновременно должны выполняться не больше 5

Создайте один asyncio.Semaphore(5) на всю выгрузку и передайте его во все задачи. Каждая задача заходит в async with semaphore перед запросом: первые пять получают слот, шестая ждет, пока кто-то выйдет. Все 20 задач запускайте через gather, ограничение работает внутри них. Слот освобождается и при исключении, поэтому упавший запрос не съест лимит.

  • Python
  • asyncio
  • семафор
146
ЗнаниеMiddleЧасто

Чем многопоточность отличается от многопроцессности и asyncio в Python и что выбрать для какой задачи?

Потоки живут в одном процессе с общей памятью, из-за GIL вычисляют по очереди и хороши для ожидания сети и диска. Процессы получают свой интерпретатор и свой GIL и считают параллельно на разных ядрах, но стоят памяти и пересылки данных. asyncio переключает тысячи корутин в одном потоке на await и лучше всех держит много одновременных сетевых запросов.

  • Python
  • asyncio
  • многопоточность
280
ЗадачаMiddleЧасто

Напишите декоратор retry, который повторит вызов функции до N раз, если она упала с ошибкой

Декоратор с параметрами — это функция, которая возвращает декоратор: retry(times) отдает decorator, а decorator(func) отдает wrapper. В wrapper сделайте times - 1 попыток внутри try, ловите только переданные исключения и ждите delay между попытками. Последнюю попытку вызовите вне try, чтобы ее ошибка дошла до вызывающего кода. Оберните wrapper в functools.wraps.

  • Python
  • декораторы
252
ЗнаниеJuniorЧасто

Что такое GIL и почему потоки в Python не ускоряют вычисления на процессоре?

GIL (global interpreter lock) — блокировка в CPython: байт-код Python в каждый момент выполняет только один поток интерпретатора. Поэтому потоки с вычислениями на чистом Python идут по очереди и от нескольких ядер не ускоряются. На ожидании сети, диска или time.sleep поток отпускает GIL, и для таких задач потоки работают хорошо. Тяжелый расчет выносят в процессы.

  • Python
  • многопоточность
  • GIL
292

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Порядок результатов, поведение при ошибке, разницу с asyncio.wait и TaskGroup и что будет, если внутри корутины вызвать блокирующую функцию. Иногда просят найти ошибку в готовом коде: забытый await или последовательные await там, где нужен gather.

Нет, интервьюеру важна логика конкурентности. Покажите заглушку с asyncio.sleep и скажите, что в рабочем коде там был бы клиент вроде aiohttp или httpx с одной общей сессией на все запросы страницы.

Все корутины выполняются в одном потоке. Пока одна ждет ответа, цикл событий переключается на другую, и ожидания накладываются друг на друга. Если корутина считает без пауз, она держит поток, и остальные стоят. Для тяжелых вычислений берите процессы.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227