Чем генератор отличается от итератора в Python?

ЗнаниеMiddleЧасто

Проверила команда СопроводОбновлено

Короткий ответ

Итератор — любой объект с методами __iter__ и __next__: next отдает следующий элемент и в конце бросает StopIteration. Генератор — короткий способ получить итератор: функция с yield возвращает объект, который реализует этот протокол сам. Генератор ленивый, считает значение по запросу и проходится один раз. Класс-итератор пишут, когда нужны свои методы и явное состояние.

Почему этот вопрос задают

Ленивые вычисления экономят память при чтении больших файлов и выгрузок из базы. На middle важно, различаете ли вы итерируемый объект, итератор и генератор и понимаете ли, почему второй проход бывает пустым.

Как рассуждать

  1. Разведите три понятия: итерируемый объект, итератор и генератор
  2. Опишите протокол: iter возвращает итератор, next берет элементы до StopIteration
  3. Назовите генератор частным случаем итератора, который Python строит из функции с yield
  4. Покажите следствия: значения считаются по запросу, исчерпанный генератор больше ничего не отдает

Ответ с примером

Управляющая компания опрашивает счетчики воды по квартирам. Функция read_meters с yield при вызове ничего не опрашивает: она возвращает генератор. Первая строка вывода подтверждает, что это итератор: iter(gen) возвращает сам объект, и у него есть __next__. Опрос квартиры 12 начинается только на next(gen), после чего функция замирает на yield до следующего запроса. Вызов list(gen) дочитывает остаток. Повторный list(gen) получает пустой список: генератор исчерпан, и начать заново он не может.

Тот же опрос можно написать классом: __iter__ возвращает self, __next__ хранит позицию и сам бросает StopIteration. Выйдет около десяти строк против четырех, зато у класса бывают свои методы, например сброс позиции.

Python
def read_meters(readings):
    for flat, m3 in readings:
        print("опрос кв.", flat)
        yield m3

gen = read_meters([(12, 7.4), (47, 9.1)])
print(iter(gen) is gen, hasattr(gen, "__next__"))
print(next(gen))
print(list(gen))
print(list(gen))
Вывод
True True
опрос кв. 12
7.4
опрос кв. 47
[9.1]
[]

Итератор и генератор: в чем разница

СвойствоИтератор (класс)Генератор
Как создаетсякласс с методами __iter__ и __next__функция с yield или выражение в круглых скобках
Состояние между шагамиполя объекта, их ведете вылокальные переменные функции, Python сохраняет их сам
Конец данныхraise StopIteration вручнуювыход из функции
Свои методылюбыетолько send, throw и close
Объем кодаоколо десяти строктри-четыре строки

Как ответить сильнее

Что добавит опытный кандидат

Что спросят следом

Доступно по подписке

Приемы опытных и готовые ответы

Частые ошибки

  • «Генератор всегда быстрее списка»

    Скажите, что генератор экономит память, а по скорости часто проигрывает: каждый шаг возобновляет функцию. Для небольших данных список проще и быстрее

  • «Список — это тоже итератор»

    Уточните, что список итерируемый: iter каждый раз создает для него новый итератор. Поэтому по списку можно пройти дважды, по генератору нет

  • «Генератор хранит все значения и отдает их по одному»

    Объясните, что генератор хранит только состояние функции: локальные переменные и место остановки. Следующее значение вычисляется в момент запроса

  • «Генератор можно сбросить и пройти заново»

    Скажите, что сброса нет: вызовите функцию-генератор еще раз или сохраните результат в список, если данных немного

Сигналы для интервьюера

Сильный ответ

Без подсказки разводит итерируемый объект, итератор и генератор и за пару минут пишет итератор классом

Тревожный сигнал

Говорит про yield и экономию памяти, но не может написать итератор без генератора, через __next__

Красный флаг

Считает генератор и итератор несвязанными вещами и не может назвать методы протокола итерации

Как еще могут спросить

  • В чем разница между итератором и генератором в Python?
  • Что такое протокол итерации в Python?
  • Почему по генератору нельзя пройти дважды?
  • Как написать свой итератор в Python?

Похожие вопросы

ЗнаниеSeniorИногда

Что делают yield from и send в генераторе и как подгенератор возвращает значение?

send(value) возобновляет генератор и делает value результатом выражения yield, на котором тот стоял. Первым вызовом идет next или send(None): до первого yield принять значение негде. yield from sub делегирует работу подгенератору, пробрасывает ему next, send и исключения. Значение из return подгенератора становится результатом всего выражения yield from.

  • Python
  • генераторы
187
ЗадачаMiddleЧасто

Напишите генератор, который развернет список любой вложенности в плоскую последовательность

Пройдите по элементам списка: если элемент сам список или кортеж, передайте его в тот же генератор через yield from, иначе отдайте элемент через yield. Пустые списки ничего не отдадут и пропадут сами. Строку не проверяйте вопросом «итерируема ли она»: она состоит из строк и уведет рекурсию в бесконечность. Память растет с глубиной вложенности, а не с длиной списка.

  • Python
  • генераторы
  • рекурсия
219
ЗнаниеJuniorЧасто

Что такое контекстный менеджер в Python и что происходит при входе в with и выходе из него?

Контекстный менеджер — объект, который готовит ресурс при входе в блок with и гарантированно освобождает его при выходе. При входе Python вызывает __enter__, его результат попадает в переменную после as. При выходе вызывается __exit__ с тремя аргументами: тип, объект и трассировка исключения или три None. Истинный результат __exit__ подавляет исключение.

  • Python
  • функции
254
ЗнаниеMiddleЧасто

Что такое проблема N+1 в Django ORM и когда нужен select_related, а когда prefetch_related?

Проблема N+1 — один запрос за списком объектов и еще N запросов за связанными данными, по одному на каждый объект в цикле. В Django так бывает при обращении к order.customer в цикле по заказам. select_related подтягивает внешний ключ и связь один-к-одному через JOIN в том же запросе. prefetch_related делает второй запрос с IN для обратных связей и многие-ко-многим.

  • Python
  • Django
  • базы данных
230

Частые вопросы по теме

Короткие ответы на частые вопросы по этой теме.

Генератор чисел Фибоначчи, построчное чтение большого файла, разбиение списка на пачки по N элементов. Иногда просят переписать генератор классом с __iter__ и __next__. Потренируйте оба варианта на одной задаче и сравните, что пришлось хранить в полях вручную.

На middle достаточно упомянуть, что у генератора есть send, throw и close, а yield from передает обход другому генератору. Подробно их разбирают на senior. Если интервьюер спросит глубже, объясните хотя бы, что send передает значение внутрь генератора.

На выгрузках, которые не помещаются в память: построчное чтение CSV, постраничный обход внешнего API, QuerySet.iterator() в Django. Если такая задача была у вас, расскажите, сколько памяти уходило до перехода на генератор и после. Даже примерные цифры звучат убедительнее общих слов.

Общие вопросы на интервью

Общий вопросС опытомЧасто

Почему вы хотите работать у нас?

Назовите две-три причины, которые связывают вас именно с этой компанией: продукт, задачи, масштаб, команда. Каждую подкрепите фактом, который нашли сами: новость, проект, текст вакансии, свой опыт клиента. Потом покажите, что принесете со своей стороны. Слова о стабильности и известном бренде подходят любой компании, поэтому на них ответ не держится.

  • мотивация
  • о компании
290
Общий вопросБез опытаЧасто

Какие у вас сильные стороны?

Хватит двух-трех сильных сторон, которые нужны на этой работе, если к каждой есть пример: что сделали и какой был результат. Берите качества из текста вакансии, а не из списка «ответственный, коммуникабельный». Без опыта примеры ищите в учебе, практике и подработке. Говорите спокойно, без лишней скромности и без хвастовства.

  • сильные стороны
  • без опыта
276
Общий вопросБез опытаЧасто

Кем вы видите себя через 5 лет?

Расскажите, какие задачи хотите решать через несколько лет и чему для этого научитесь. Свяжите план с тем, что дает эта компания, и покажите первый шаг, который уже сделали. Точную должность называть не обязательно. Важнее, чтобы план был реальным и вел через эту работу, а не мимо нее.

  • мотивация
  • карьерные планы
289
ИсторияС опытомЧасто

Расскажите о конфликте с коллегой: из-за чего он возник и как вы его решили?

Расскажите один реальный конфликт по рабочему вопросу: из-за чего разошлись, чего хотела каждая сторона и как вы договорились. Говорите спокойно, без оценок коллеги. Покажите, что вы искали решение, где-то уступили и сохранили рабочие отношения. Закончите результатом и тем, что теперь делаете, чтобы похожий спор не повторился.

  • конфликты
  • работа в команде
252
ИсторияС опытомЧасто

Каким профессиональным достижением вы гордитесь больше всего?

Назовите одно достижение, близкое к задачам новой работы, и расскажите его как историю: какая была проблема, что сделали лично вы и что изменилось в цифрах. Сильнее всего звучит результат, который держится и после вас: новый порядок работы, правило, схема. Если результат общий, прямо скажите, какая часть в нем ваша.

  • достижения
  • результат в цифрах
276
Общий вопросБез опытаЧасто

Опыта работы еще нет, а интервьюер просит рассказать о себе: что вы скажете?

Начните с того, кто вы сейчас и на какую работу пришли. Вместо стажа расскажите об учебе, практике и подработке, которые похожи на задачи вакансии, и назовите один результат с цифрой. Закончите тем, почему хотите начать карьеру именно здесь. Уложитесь в одну-две минуты и не пересказывайте резюме по порядку.

  • о себе
  • без опыта
244

Вопросы руководителю на интервью

ИсторияРуководительЧасто

Как вы делегируете задачи: что отдаете команде, а что оставляете себе?

Назовите свое правило: что вы отдаете команде и что оставляете себе, и покажите его на одной задаче. Расскажите, кому и почему передали, какие полномочия и рамки дали, как проверяли без мелкого контроля. Закончите честным итогом: что получилось хуже или медленнее, чем у вас, и что вы выиграли.

  • делегирование
  • команда
255
КейсРуководительЧасто

Два сотрудника вашей команды месяц не разговаривают друг с другом, и общий отчет уже сорвал срок — что сделаете?

Поговорите сначала с каждым по отдельности: что случилось, с чего началось и что мешает работать. Потом соберите обоих вместе и обсуждайте работу: кто за какие данные и шаги отвечает. За такой ссорой часто стоит размытая ответственность. Запишите договоренности, назовите новый срок для сорванного отчета и через пару недель проверьте, что все работает.

  • конфликт
  • ответственность
242
ИсторияРуководительЧасто

Расскажите о сотруднике, которого вы вырастили: каким он пришел и чего добился?

Возьмите одного человека и покажите путь: каким он пришел, какие задачи вы ему давали по нарастающей и чем помогали, кем он стал и за какой срок. Назовите цифру роста: новая должность, своя зона, люди в подчинении. Скажите честно, где он вырос сам, а где сработали ваши решения.

  • развитие сотрудников
  • наставничество
303
ИсторияРуководительЧасто

Расскажите о цели, которую ваша команда не выполнила: когда вы это поняли и что сделали?

Назовите цель с цифрой и честный итог. Главное в ответе — момент, когда вы поняли, что цель срывается, и по какой цифре это увидели. Дальше расскажите, кому и когда сказали, что пересобрали, чтобы спасти главное, и какой один вывод сделали для следующего плана.

  • цели
  • провал
241
Общий вопросРуководительЧасто

Как вы измеряете результат своей команды?

Назовите два-три показателя, которые отражают то, ради чего существует ваша команда, и их текущие цифры. Добавьте показатель качества, который не дает гнаться за одним числом. Скажите, как часто смотрите на цифры, кто их видит и какое решение вы приняли по ним в последний раз.

  • показатели
  • цели
216
ИсторияРуководительЧасто

Расскажите, как вы разложили цель компании на задачи для своей команды

Возьмите одну цель компании с цифрой и сроком и покажите, как вы ее разбили: на какие части, по какому признаку, какие личные цели получил каждый сотрудник. Расскажите, как следили за ходом и что меняли по дороге. Закончите итогом план-факт честно, даже если цель выполнена не целиком.

  • цели
  • планирование
227