У меня есть текстовый файл:
11
2
3
4
11
111
Используя Python 2.7, я хочу превратить его в список списков строк, где разрывы строк делят элементы во внутреннем списке, а пустые строки делят элементы во внешнем списке. Например:
[["11","2","3","4"],["11"],["111"]]
И для этой цели я написал генераторную функцию, которая давала бы внутренние списки по одному за один раз, когда передал открытый файловый объект:
def readParag(fileObj):
currentParag = []
for line in fileObj:
stripped = line.rstrip()
if len(stripped) > 0: currentParag.append(stripped)
elif len(currentParag) > 0:
yield currentParag
currentParag = []
Это прекрасно работает, и я могу назвать это из понимания списка, создавая желаемый результат. Однако впоследствии мне пришло в голову, что я смогу сделать то же самое более кратко с помощью itertools.takewhile (с целью переписать генераторную функцию как выражение генератора, но мы оставим это на данный момент). Это то, что я пробовал:
from itertools import takewhile
def readParag(fileObj):
yield [ln.rstrip() for ln in takewhile(lambda line: line != "\n", fileObj)]
В этом случае полученный генератор дает только один результат (ожидаемый первый, т.е. ["11","2","3","4"]). Я надеялся, что вызов метода next снова заставит его снова оценить takewhile(lambda line: line != "\n", fileObj) в остальной части файла, что приведет к тому, что он даст другой список. Но нет: вместо этого я получил StopIteration. Поэтому я предположил, что выражение take while оценивалось один раз только в то время, когда был создан объект-генератор, а не каждый раз, когда я вызывал метод результирующего объекта-генератора next.
Это предположение заставило меня задаться вопросом, что произойдет, если я снова позвоню функции генератора. В результате он создал новый объект-генератор, который также дал один результат (ожидаемый второй, т.е. ["11"]), прежде чем набросить StopIteration на меня. Таким образом, на самом деле написать это как функцию-генератор дает тот же результат, что и если бы я написал его как обычную функцию, а return вместо списка yield.
Я думаю, я мог бы решить эту проблему, создав свой собственный класс вместо генератора (как в ответ Джона Милликина на этот вопрос). Но дело в том, что я надеялся написать что-то более сжатое, чем моя исходная функция генератора (возможно, даже выражение генератора). Может кто-нибудь сказать мне, что я делаю неправильно, и как правильно это сделать?
То, что вы пытаетесь сделать, - отличная работа для groupby:
from itertools import groupby
def read_parag(filename):
with open(filename) as f:
for k,g in groupby((line.strip() for line in f), bool):
if k:
yield list(g)
который даст:
>>> list(read_parag('myfile.txt')
[['11', '2', '3', '4'], ['11'], ['111']]
Или в одной строке:
[list(g) for k,g in groupby((line.strip() for line in open('myfile.txt')), bool) if k]
Другие ответы хорошо объясняют, что здесь происходит, вам нужно называть takewhile несколько раз, что ваш текущий генератор не делает. Вот довольно краткий способ получить нужное поведение с помощью встроенной функции iter() с аргументом дозорного:
from itertools import takewhile
def readParag(fileObj):
cond = lambda line: line != "\n"
return iter(lambda: [ln.rstrip() for ln in takewhile(cond, fileObj)], [])
Именно так должно вести себя .takewhile(). Пока условие истинно, оно вернет элементы из базового итеративного файла, и как только оно станет ложным, он будет автоматически переключиться на этап, выполняемый итерацией.
Обратите внимание, что так итераторы должны вести себя; воскрешение StopIteration означает именно это, перестаньте перебирать меня, я закончил.
Из глоссария python на "итераторе" :
Объект, представляющий поток данных. Повторные вызовы метода итераторов
next()возвращают последовательные элементы в потоке. Когда больше нет данных, вместо этого возникает исключениеStopIteration. На этом этапе объект итератора исчерпан, и любые дальнейшие вызовы его методуnext()снова поднимаютStopIteration.
Вы можете объединить takewhile с tee, чтобы узнать, есть ли в следующей партии больше результатов:
import itertools
def readParag(filename):
with open(filename) as f:
while True:
paras = itertools.takewhile(lambda l: l.strip(), f)
test, paras = itertools.tee(paras)
test.next() # raises StopIteration when the file is done
yield (l.strip() for l in paras)
Это дает генераторы, поэтому каждый полученный элемент сам по себе является генератором. Вы должны потреблять все элементы в этих генераторах, чтобы это продолжало работать; то же самое верно для метода groupby, указанного в другом ответе.
Если содержимое файла вписывается в память, гораздо проще получить группы, разделенные пустыми строками:
with open("filename") as f:
groups = [group.split() for group in f.read().split("\n\n")]
Этот подход можно сделать более надежным, используя re.split() вместо str.split() и путем фильтрации потенциальных пустых групп в результате четырех или более последовательных разрывов строк.
Это документированное поведение takewhile. Это условие выполняется, пока условие истинно. Он не запускается снова, если условие позже становится истинным снова.
Простое исправление заключается в том, чтобы ваша функция просто вызывала takewhile в цикле, останавливаясь, когда takewhile больше ничего не возвращает (т.е. в конце файла):
def readParag(fileObj):
while True:
nextList = [ln.rstrip() for ln in takewhile(lambda line: line != "\n", fileObj)]
if not nextList:
break
yield nextList
Вы можете вызвать takewhile несколько раз:
>>> def readParagGenerator(fileObj):
... group = [ln.rstrip() for ln in takewhile(lambda line: line != "\n", fileObj)]
... while len(group) > 0:
... yield group
... group = [ln.rstrip() for ln in takewhile(lambda line: line != "\n", fileObj)]
...
>>> list(readParagGenerator(StringIO(F)))
[['11', '2', '3', '4'], ['11'], ['111']]