Чем многопоточность отличается от многопроцессности и asyncio в Python и что выбрать для какой задачи?

ЗнаниеMiddleЧасто

Проверила команда СопроводОбновлено

Короткий ответ

Потоки живут в одном процессе с общей памятью, из-за GIL вычисляют по очереди и хороши для ожидания сети и диска. Процессы получают свой интерпретатор и свой GIL и считают параллельно на разных ядрах, но стоят памяти и пересылки данных. asyncio переключает тысячи корутин в одном потоке на await и лучше всех держит много одновременных сетевых запросов.

Почему этот вопрос задают

Middle-разработчик сам выбирает модель конкурентности для новой задачи. Ошибка стоит дорого: на расчете потоки ничего не ускорят. На тысяче сетевых запросов процессы съедят память сервера.

Как рассуждать

  1. Определите, во что упирается задача: в процессор или в ожидание ответа
  2. Для ожидания сравните потоки и asyncio по числу соединений и готовым библиотекам
  3. Для вычислений предложите процессы и прикиньте цену пересылки данных между ними
  4. Покажите, как совместить модели: корутины для сети, пул процессов для расчета

Ответ с примером

Агрегатор авиабилетов опрашивает 50 сайтов авиакомпаний, каждый отвечает примерно за 0,4 с. Подряд это 20 с. 50 потоков из пула или 50 корутин asyncio ждут ответы одновременно, и опрос укладывается примерно в полсекунды. Корутины дешевле: им не нужен поток операционной системы со своим стеком, поэтому asyncio спокойно опросит и тысячу сайтов, если HTTP-клиент асинхронный, например aiohttp или httpx.

Потом сервис пересчитывает 2 млн цен по всем направлениям: 6 с работы процессора на чистом Python. Потоки тут не помогут, из-за GIL выйдут те же 6 с. Восемь процессов на восьми ядрах уложатся примерно в секунду плюс время на передачу данных между процессами. В рабочей схеме опрос идет в корутинах, а пересчет уходит в ProcessPoolExecutor через run_in_executor.

Потоки, процессы и asyncio: в чем разница

СвойствоПотокиПроцессыasyncio
Памятьобщая для всех потокову каждого процесса свояобщая, один поток
Вычисления на чистом Pythonпо очереди из-за GILпараллельно на ядрахостанавливают весь цикл событий
Ожидание сети и дискаподходитподходит, но дорогодля сети лучше всего, файлы через пул потоков
Переключение задачвытесняющее, в любой моментвытесняющее, решает ОСкооперативное, только на await
Модулиthreading, ThreadPoolExecutormultiprocessing, ProcessPoolExecutorasyncio

Как ответить сильнее

Что добавит опытный кандидат

Что спросят следом

Доступно по подписке

Приемы опытных и готовые ответы

Частые ошибки

  • «asyncio работает в нескольких потоках, поэтому он быстрее»

    Скажите, что asyncio работает в одном потоке. Выигрыш в том, что корутины ждут одновременно и переключаются без участия ОС. Вычисления так не ускорить: корутины по-прежнему считают по одной

  • «Для вычислений возьму потоки, их проще писать»

    Объясните, что на чистом Python потоки считают по очереди из-за GIL. Для расчета берите процессы или библиотеку, которая считает в C

  • «Процессы всегда быстрее потоков»

    Уточните, что процесс дольше стартует, занимает больше памяти и пересылает данные через сериализацию. На ожидании сети он проигрывает и потокам, и корутинам

  • «Конкурентность и параллелизм — одно и то же»

    Разведите понятия: конкурентность — несколько задач в работе одновременно, параллелизм — одновременное выполнение на разных ядрах. asyncio дает первое, процессы — второе

Сигналы для интервьюера

Сильный ответ

Сначала спрашивает, во что упирается задача, и строит схему из корутин для сети и процессов для расчета

Тревожный сигнал

Для задачи из двух частей, сети и расчета, выбирает одну модель на все и не замечает, где она проседает

Красный флаг

Уверен, что async def сам по себе делает функцию быстрее, и ставит его перед каждой функцией сервиса

Как еще могут спросить

  • В чем разница между threading, multiprocessing и asyncio?
  • Когда в Python использовать потоки, а когда процессы?
  • Чем асинхронность отличается от многопоточности?
  • Как в Python распараллелить вычисления?

Похожие вопросы

ЗнаниеJuniorЧасто

Что такое GIL и почему потоки в Python не ускоряют вычисления на процессоре?

GIL (global interpreter lock) — блокировка в CPython: байт-код Python в каждый момент выполняет только один поток интерпретатора. Поэтому потоки с вычислениями на чистом Python идут по очереди и от нескольких ядер не ускоряются. На ожидании сети, диска или time.sleep поток отпускает GIL, и для таких задач потоки работают хорошо. Тяжелый расчет выносят в процессы.

  • Python
  • многопоточность
  • GIL
292
ЗадачаSeniorИногда

Ограничьте число одновременных запросов к внешнему API: из 20 задач одновременно должны выполняться не больше 5

Создайте один asyncio.Semaphore(5) на всю выгрузку и передайте его во все задачи. Каждая задача заходит в async with semaphore перед запросом: первые пять получают слот, шестая ждет, пока кто-то выйдет. Все 20 задач запускайте через gather, ограничение работает внутри них. Слот освобождается и при исключении, поэтому упавший запрос не съест лимит.

  • Python
  • asyncio
  • семафор
146
ЗнаниеMiddleИногда

Чем WSGI отличается от ASGI и почему FastAPI запускают через Uvicorn?

WSGI и ASGI — договоры между веб-сервером и Python-приложением. По WSGI приложение — синхронная функция от environ и start_response: один запрос, один вызов, ответ завершает разговор. По ASGI приложение — корутина от scope, receive и send, она обменивается событиями, пока соединение открыто. FastAPI — ASGI-приложение, поэтому его запускает ASGI-сервер, обычно Uvicorn.

  • Python
  • ASGI
  • FastAPI
149
ЗнаниеSeniorИногда

Что меняет сборка Python без GIL и какой код на ней может сломаться?

Сборка без GIL (free-threaded, бинарник python3.14t) запускает потоки с вычислениями на чистом Python параллельно на разных ядрах. В 3.13 она экспериментальная, в 3.14 официально поддерживается, но обычный Python по-прежнему идет с GIL. Платить приходится скоростью однопоточного кода, памятью и готовностью библиотек. Ломается код, который молча полагался на GIL как на блокировку.

  • Python
  • GIL
  • многопоточность
132

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

На middle часто просят запустить несколько корутин через asyncio.gather или ограничить их число семафором. Потренируйте оба приема и обработку ошибки одной из корутин. Важно не забыть await и понимать, в каком порядке придут результаты.

Это самый короткий путь к пулам: ThreadPoolExecutor и ProcessPoolExecutor с одинаковыми submit и map. Модель меняется заменой одного класса, и это удобно показать на собеседовании. Низкоуровневые threading.Thread и multiprocessing.Process нужны реже.

Назовите, от чего зависит решение: доля ожидания и вычислений, число одновременных задач, есть ли асинхронные клиенты для базы и внешних сервисов. Потом скажите, что выбрали бы сейчас и что заставит пересмотреть решение, например рост числа сайтов в десять раз.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227