Чем многопоточность отличается от многопроцессности и asyncio в Python и что выбрать для какой задачи?
Проверила команда Сопровод · Обновлено
Короткий ответ
Потоки живут в одном процессе с общей памятью, из-за GIL вычисляют по очереди и хороши для ожидания сети и диска. Процессы получают свой интерпретатор и свой GIL и считают параллельно на разных ядрах, но стоят памяти и пересылки данных. asyncio переключает тысячи корутин в одном потоке на await и лучше всех держит много одновременных сетевых запросов.
Почему этот вопрос задают
Middle-разработчик сам выбирает модель конкурентности для новой задачи. Ошибка стоит дорого: на расчете потоки ничего не ускорят. На тысяче сетевых запросов процессы съедят память сервера.
Как рассуждать
- Определите, во что упирается задача: в процессор или в ожидание ответа
- Для ожидания сравните потоки и
asyncioпо числу соединений и готовым библиотекам - Для вычислений предложите процессы и прикиньте цену пересылки данных между ними
- Покажите, как совместить модели: корутины для сети, пул процессов для расчета
Ответ с примером
Агрегатор авиабилетов опрашивает 50 сайтов авиакомпаний, каждый отвечает примерно за 0,4 с. Подряд это 20 с. 50 потоков из пула или 50 корутин asyncio ждут ответы одновременно, и опрос укладывается примерно в полсекунды. Корутины дешевле: им не нужен поток операционной системы со своим стеком, поэтому asyncio спокойно опросит и тысячу сайтов, если HTTP-клиент асинхронный, например aiohttp или httpx.
Потом сервис пересчитывает 2 млн цен по всем направлениям: 6 с работы процессора на чистом Python. Потоки тут не помогут, из-за GIL выйдут те же 6 с. Восемь процессов на восьми ядрах уложатся примерно в секунду плюс время на передачу данных между процессами. В рабочей схеме опрос идет в корутинах, а пересчет уходит в ProcessPoolExecutor через run_in_executor.
Потоки, процессы и asyncio: в чем разница
| Свойство | Потоки | Процессы | asyncio |
|---|---|---|---|
| Память | общая для всех потоков | у каждого процесса своя | общая, один поток |
| Вычисления на чистом Python | по очереди из-за GIL | параллельно на ядрах | останавливают весь цикл событий |
| Ожидание сети и диска | подходит | подходит, но дорого | для сети лучше всего, файлы через пул потоков |
| Переключение задач | вытесняющее, в любой момент | вытесняющее, решает ОС | кооперативное, только на await |
| Модули | threading, ThreadPoolExecutor | multiprocessing, ProcessPoolExecutor | asyncio |
Как ответить сильнее
Что добавит опытный кандидат
Что спросят следом
Доступно по подписке
Приемы опытных и готовые ответы
Частые ошибки
«
asyncioработает в нескольких потоках, поэтому он быстрее»Скажите, что
asyncioработает в одном потоке. Выигрыш в том, что корутины ждут одновременно и переключаются без участия ОС. Вычисления так не ускорить: корутины по-прежнему считают по одной«Для вычислений возьму потоки, их проще писать»
Объясните, что на чистом Python потоки считают по очереди из-за GIL. Для расчета берите процессы или библиотеку, которая считает в C
«Процессы всегда быстрее потоков»
Уточните, что процесс дольше стартует, занимает больше памяти и пересылает данные через сериализацию. На ожидании сети он проигрывает и потокам, и корутинам
«Конкурентность и параллелизм — одно и то же»
Разведите понятия: конкурентность — несколько задач в работе одновременно, параллелизм — одновременное выполнение на разных ядрах.
asyncioдает первое, процессы — второе
Сигналы для интервьюера
Сильный ответ
Сначала спрашивает, во что упирается задача, и строит схему из корутин для сети и процессов для расчета
Тревожный сигнал
Для задачи из двух частей, сети и расчета, выбирает одну модель на все и не замечает, где она проседает
Красный флаг
Уверен, что async def сам по себе делает функцию быстрее, и ставит его перед каждой функцией сервиса
Как еще могут спросить
- В чем разница между
threading,multiprocessingиasyncio? - Когда в Python использовать потоки, а когда процессы?
- Чем асинхронность отличается от многопоточности?
- Как в Python распараллелить вычисления?











