Что такое GIL и почему потоки в Python не ускоряют вычисления на процессоре?

ЗнаниеJuniorЧасто

Проверила команда СопроводОбновлено

Короткий ответ

GIL (global interpreter lock) — блокировка в CPython: байт-код Python в каждый момент выполняет только один поток интерпретатора. Поэтому потоки с вычислениями на чистом Python идут по очереди и от нескольких ядер не ускоряются. На ожидании сети, диска или time.sleep поток отпускает GIL, и для таких задач потоки работают хорошо. Тяжелый расчет выносят в процессы.

Почему этот вопрос задают

Без понимания GIL легко раздать расчет восьми потокам и получить ту же скорость, что у одного. Интервьюер слушает, отличаете ли вы вычисления от ожидания и что предложите для каждого случая.

Как рассуждать

  1. Определите GIL: в CPython байт-код в каждый момент выполняет один поток
  2. Разделите задачи на вычисления и ожидание сети, диска или базы данных
  3. Объясните, что на ожидании поток отпускает GIL, а на вычислениях держит его до переключения
  4. Назовите выход для вычислений: процессы, библиотеки на C, сборку без GIL, с 3.14 еще и несколько интерпретаторов

Ответ с примером

Интернет-магазин в конце дня разбирает журналы заказов и выгружает отчеты в облако, обе задачи отданы пулу из трех потоков. Разбор строк идет на чистом Python: поток держит GIL и отдает его соседу примерно раз в 5 мс, это значение sys.getswitchinterval(). Журналы за три дня разбираются по очереди и в сумме не быстрее, чем в одном потоке.

Выгрузка почти все время ждет сеть, в примере ее заменяет time.sleep. На ожидании поток отпускает GIL, три выгрузки ждут одновременно, и потоки ускоряют их почти втрое. pool.map отдает результаты в порядке входных данных, поэтому вывод не зависит от того, какой поток закончил первым. Чтобы ускорить разбор, пул потоков меняют на ProcessPoolExecutor: у каждого процесса свой интерпретатор и свой GIL. Библиотеки на C вроде Pillow сами отпускают GIL на время расчета, с ними потоки ускоряют и вычисления.

Python
def scan_orders(day):  # чистый Python: поток держит GIL
    lines = (f"{n};{n * 37 % 9000}" for n in range(day * 100_000))
    big = sum(1 for line in lines if int(line.split(";")[1]) > 8000)
    return f"день {day}: крупных заказов {big}"
def upload(day):  # на ожидании поток отпускает GIL
    time.sleep(0.05)
    return f"отчет за день {day} в облаке"
with ThreadPoolExecutor(max_workers=3) as pool:
    reports = pool.map(scan_orders, [1, 2, 3])
    uploads = pool.map(upload, [1, 2, 3])
    print(*reports, *uploads, sep="\n")
print(sys.getswitchinterval())
Вывод
день 1: крупных заказов 11097
день 2: крупных заказов 22194
день 3: крупных заказов 33291
отчет за день 1 в облаке
отчет за день 2 в облаке
отчет за день 3 в облаке
0.005

Как ответить сильнее

Что добавит опытный кандидат

Что спросят следом

Доступно по подписке

Приемы опытных и готовые ответы

Частые ошибки

  • «Из-за GIL в Python нет настоящей многопоточности, потоки бесполезны»

    Скажите точнее: потоки не ускоряют вычисления на чистом Python, но хорошо работают на ожидании сети и диска, где поток отпускает GIL

  • «GIL есть в самом языке Python»

    Уточните, что GIL — деталь реализации CPython. В Jython его нет, а с версии 3.13 у CPython есть отдельная сборка без GIL

  • «С GIL мой код потокобезопасен, блокировки не нужны»

    Объясните, что GIL защищает интерпретатор, ваши данные он не защищает. Проверку остатка и списание из двух потоков оберните в threading.Lock

  • «Чтобы ускорить расчет, добавлю потоков по числу ядер»

    Для вычислений на чистом Python это не поможет: потоки будут ждать GIL по очереди. Возьмите ProcessPoolExecutor или библиотеку, которая считает в C и отпускает GIL

Сигналы для интервьюера

Сильный ответ

Делит задачи на вычисления и ожидание и для каждой называет подходящий инструмент: потоки, процессы или asyncio

Тревожный сигнал

На вопрос, зачем CPython вообще нужен GIL, отвечает «так исторически сложилось» и про устройство интерпретатора не вспоминает

Красный флаг

Путает поток и процесс и не может сказать, у кого из них общая память, а у кого своя

Как еще могут спросить

  • Что такое Global Interpreter Lock?
  • Зачем в CPython нужен GIL?
  • Почему многопоточность в Python не ускоряет вычисления?
  • Как GIL влияет на работу потоков?

Похожие вопросы

ЗнаниеMiddleЧасто

Чем многопоточность отличается от многопроцессности и asyncio в Python и что выбрать для какой задачи?

Потоки живут в одном процессе с общей памятью, из-за GIL вычисляют по очереди и хороши для ожидания сети и диска. Процессы получают свой интерпретатор и свой GIL и считают параллельно на разных ядрах, но стоят памяти и пересылки данных. asyncio переключает тысячи корутин в одном потоке на await и лучше всех держит много одновременных сетевых запросов.

  • Python
  • asyncio
  • многопоточность
280
ЗнаниеSeniorИногда

Что меняет сборка Python без GIL и какой код на ней может сломаться?

Сборка без GIL (free-threaded, бинарник python3.14t) запускает потоки с вычислениями на чистом Python параллельно на разных ядрах. В 3.13 она экспериментальная, в 3.14 официально поддерживается, но обычный Python по-прежнему идет с GIL. Платить приходится скоростью однопоточного кода, памятью и готовностью библиотек. Ломается код, который молча полагался на GIL как на блокировку.

  • Python
  • GIL
  • многопоточность
132
ЗадачаMiddleЧасто

Запустите несколько корутин одновременно и соберите результаты так, чтобы ошибка одной не потеряла ответы остальных

Передайте корутины в asyncio.gather с return_exceptions=True: исключение упавшей корутины ляжет в список результатов на ее место, остальные ответы сохранятся. Порядок списка совпадает с порядком аргументов, поэтому по индексу видно, какой блок упал. Без этого флага gather отдаст наверх первое исключение, и ответы соседей до вас не дойдут.

  • Python
  • asyncio
  • корутины
210
ЗнаниеSeniorЧасто

Как Python освобождает память и зачем ему сборщик мусора, если есть подсчет ссылок?

CPython освобождает объект сразу, когда счетчик ссылок на него падает до нуля. Циклы так не освобождаются: объекты ссылаются друг на друга, и их счетчики остаются выше нуля, даже когда снаружи ссылок нет. Такие группы находит сборщик мусора из модуля gc. Он обходит контейнеры, делит их на поколения и чаще проверяет молодые объекты.

  • Python
  • память
252

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Хватит определения, разницы между вычислениями и ожиданием и примера, где потоки помогают. Устройство переключения потоков спрашивают реже. Важнее уверенно сказать, что вы возьмете для тяжелого расчета, а что для сотни запросов к сети.

Запустите один и тот же расчет в одном потоке и в четырех через ThreadPoolExecutor и засеките время: разницы почти не будет. Потом замените расчет на time.sleep и повторите: четыре потока справятся в несколько раз быстрее. Такой опыт легко пересказать на собеседовании.

Почти не мешает: обработчик запроса большую часть времени ждет базу и внешние сервисы, а на ожидании GIL свободен. Проблемы начинаются, когда в обработчике тяжелый расчет, например отчет или разбор большого файла. Такие задачи выносят в отдельные процессы или очередь задач вроде Celery.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227