Вот она, классическая формулировка задачи на собеседовании: "у тебя лог-файл на 10 гигабайт, нужно найти в нём все ошибки и вывести их сообщения - как это сделать, если весь файл в память не влезает?" Ответ - конвейер (пайплайн) из генераторов, где каждый этап обрабатывает данные по одной записи, никогда не материализуя всё целиком.